#scraping Репозитории
Откройте для себя 109 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scraping, с общим числом 768,143 звёзд (в среднем 7,047 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 109
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
Кастомный Selenium Chromedriver | Нулевая конфигурация | Проходит ВСЕ системы защиты от ботов (например, Distil / Imperva / Datadadome / CloudFlare IUAM)
Скрытый headless-браузер для ИИ-агентов — обходит Cloudflare, обнаружение ботов и антискрейпинг. Drop-in замена Puppeteer/Playwright.
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.
Tabula — это инструмент для освобождения таблиц данных, запертых внутри PDF-файлов
Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML
Pydoll — это библиотека для автоматизации браузеров на основе Chromium без WebDriver, предлагающая реалистичные взаимодействия.
🚀 Бесплатный список прокси HTTP, SOCKS4 и SOCKS5 * Обновляется каждые 5 минут * и API ротируемых прокси (более 100 стран)
Парсер API Twitter | Без ключа API | Внутренний API Twitter | Бесплатно | Парсер Twitter | Бот Twitter
Швейцарский армейский нож для скрапинга и извлечения данных из онлайн-ресурсов, сделанный для хакеров
Mechanize — это библиотека Ruby, которая упрощает автоматизированное взаимодействие с вебом.
Проведите обратную разработку любого веб-сайта и создайте типизированный API-клиент. Работает с Claude Code, Codex, Cursor и OpenCode.
Актуальный простой подделыватель useragent с базой данных реального мира
AnyCrawl 🚀: Node.js/TypeScript-краулер, который преобразует веб-сайты в данные, готовые для LLM, и извлекает структурированные результаты SERP из Google/Bing/Baidu/и т.д. Собственная многопоточность для пакетной обработки.
Браузер с отпечатками пальцев с открытым исходным кодом на основе Ungoogled Chromium. Браузер отпечатков пальцев Браузер конфиденциальности
Хотите БЕСПЛАТНО ИЗУЧАТЬ НОВОЕ? Не волнуйтесь, с помощью веб-скрейпинга и автоматизации этот скрипт найдет необходимые купоны Udemy и запишет вас на ПЛАТНЫЕ КУРСЫ UDEMY, АБСОЛЮТНО БЕСПЛАТНО!
Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.
Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.
Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.
Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.
Инструменты браузерного фингерпринтинга для анонимизации ваших скрейперов. Разработано Apify.
Продвинутая основа браузера конфиденциальности с унифицированной защитой отпечатков: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore
Невидимый Playwright: Playwright, который не могут обнаружить антибот-системы, поэтому никаких капч: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.
Утилита командной строки для создания снимков экрана веб-сайтов, записи видеодемонстраций и сбора данных с сайтов с помощью JavaScript
Шпаргалка по OSINT, список инструментов OSINT, вики, набор данных, статья, книга, OSINT красной команды для хакеров, советы по OSINT и ветка OSINT. Этот репозиторий будет расти каждый раз, когда будет проведено исследование, будет исследование, наука и технологии, учебные пособия. Пожалуйста, используйте его с умом.
Список инструментов и браузеров для защиты от обнаружения и гуманизации, включая решатели капчи и SMS-активацию.
Internet-in-a-Box - Постройте свою собственную БИБЛИОТЕКУ АЛЕКСАНДРИИ с помощью Raspberry Pi!
Скройте IP-адрес вашего скрейпера за облаком. Разверните прокси-серверы у разных облачных провайдеров, чтобы повысить успешность вашего скрейпинга.
В этом руководстве мы покажем, как собирать общедоступные данные Google с помощью Python и API Oxylabs.
Часто задаваемые вопросы
Какой репозиторий по теме #scraping наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #scraping на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #scraping?
Среди наиболее высоко оценённых проектов по теме #scraping на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #scraping?
Мы отслеживаем 109 активных репозиториев с открытым исходным кодом, отмеченных тегом #scraping (500 и более звёзд), с общим числом 768,143 звёзд и в среднем 7,047 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.