#crawling Репозитории
Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #crawling, с общим числом 335,438 звёзд (в среднем 8,600 на проект). Лидером этой темы является D4Vinci/Scrapling, набравший 104,760 звёзд.
Всего репозиториев: 39
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.
Простой и быстрый веб-краулер, предназначенный для лёгкого и быстрого обнаружения конечных точек и активов в веб-приложении
Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.
📅🇨🇳 Данные о государственных праздниках Китая Автоматически собираются ежедневно из объявлений Госсовета
Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.
Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.
Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере
Это пример кода из <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Он предназначен для тех, кто никогда не изучал Python, и предлагает примеры в разных областях, связанных с автоматизацией задач, от Excel до дизайна, макросов и краулинга.
Извлечение, поиск и краулинг веб-страниц для ИИ-агентов. Создано с нуля на Rust. Без ключей, без аккаунтов. AGPL v3.
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.
SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).
Мидлвэр Scrapy для обработки страниц JavaScript с использованием Selenium
🕵️♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.
100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.
Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"
Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn
Часто задаваемые вопросы
Какой репозиторий по теме #crawling наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #crawling на GitHub — D4Vinci/Scrapling, набравший 104,760 звёзд. 🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Какие языки программирования чаще всего используются в репозиториях по теме #crawling?
Среди наиболее высоко оценённых проектов по теме #crawling на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #crawling?
Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #crawling (500 и более звёзд), с общим числом 335,438 звёзд и в среднем 8,600 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.