#scraper Репозитории
Откройте для себя 128 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scraper, с общим числом 792,441 звёзд (в среднем 6,190 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 128
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Создайте агентов, которые мониторят и действуют от вашего имени. Ваши агенты наготове!
Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:
Автоматический решатель CAPTCHA для вашего браузера. Работает с Selenium, Puppeteer, Playwright и другими.
Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
💡 Скачайте полный исходный код любого веб-сайта (включая все ресурсы). [ Javascripts, Stylesheets, Images ] с помощью Node.js
Анализ систем защиты от ботов с доступными контрмерами 🚿. Как победить систему защиты от ботов 👻 и обойти скрипты сбора отпечатков браузера 🕵️♂️ при веб-скрейпинге?
Парсер API Twitter | Без ключа API | Внутренний API Twitter | Бесплатно | Парсер Twitter | Бот Twitter
Швейцарский армейский нож для скрапинга и извлечения данных из онлайн-ресурсов, сделанный для хакеров
Управляемый сообществом способ читать и общаться с ИИ-ботами, работающий на chatGPT.
Сборщик данных, ориентированный в настоящее время на контент для взрослых (OnlyFans и т. д.) — регулярно обновляется
Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.
API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up
Плагин-скраппер для японских фильмов для Emby/Jellyfin, который извлекает информацию о фильмах с определенных сайтов.
Хотите БЕСПЛАТНО ИЗУЧАТЬ НОВОЕ? Не волнуйтесь, с помощью веб-скрейпинга и автоматизации этот скрипт найдет необходимые купоны Udemy и запишет вас на ПЛАТНЫЕ КУРСЫ UDEMY, АБСОЛЮТНО БЕСПЛАТНО!
Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.
Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.
Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.
Извлекайте метаданные из любого URL-адреса с помощью Open Graph, JSON-LD, HTML-метатегов и интеллектуальных механизмов резервного копирования.
:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.
API TikTok LIVE для Node.js: неофициальная библиотека для получения событий прямых трансляций (комментариев, подарков и т. д.) из TikTok LIVE в реальном времени.
Полностью бесплатный, частный, UI-ориентированный сервер MCP технической документации. Разработан с учетом потребностей кодеров и разработчиков программного обеспечения. Легкая интеграция в Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
Собирайте данные с сайтов вакансий в одну электронную таблицу без дубликатов.
Основная библиотека NewPipe для извлечения данных из сайтов потокового вещания
Бесплатный OSINT-инструмент для электронной почты: более 5 000 платформ, кластеризация идентичностей и обнаружение утечек данных. API-ключи не требуются. pip install mailaccess
Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.
Скачать веб-сайт в локальный каталог (включая все css, изображения, js и т. д.)
Узнайте, как создать собственный скрапер Google Jobs, который одновременно извлекает данные о вакансиях Google для нескольких поисковых запросов и географических местоположений с помощью Python и API Google Jobs Scraper от Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Scraper Google Play для сбора общедоступных сведений о приложениях, играх, фильмах и телешоу, книгах и многом другом.
Часто задаваемые вопросы
Какой репозиторий по теме #scraper наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #scraper на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #scraper?
Среди наиболее высоко оценённых проектов по теме #scraper на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #scraper?
Мы отслеживаем 128 активных репозиториев с открытым исходным кодом, отмеченных тегом #scraper (500 и более звёзд), с общим числом 792,441 звёзд и в среднем 6,190 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.