#web-scraping Репозитории
Откройте для себя 381 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-scraping, с общим числом 2,147,590 звёзд (в среднем 5,636 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 382
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Программа командной строки для скачивания видео с YouTube.com и других видео-сайтов
Открытая библиотека Python для ИИ-агентов, работающих в браузере, и Browser Use Cloud: скрытые браузеры и размещённый API для агентов.
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев
Legado 3.0 Book Reader с мощными элементами управления и полным набором функций ❤️ Чтение 3.0, Чтение — это инструмент, позволяющий настраивать источники для чтения онлайн-контента, предоставляющий любителям сетевой литературы удобный, быстрый и комфортный опыт пробного чтения.
Клонируйте любой веб-сайт с помощью одной команды, используя ИИ-агенты для кодирования
Лучший и самый простой инструмент для обнаружения изменений на сайтах, мониторинга веб-страниц и получения уведомлений об изменениях. Идеально подходит для отслеживания изменений контента, снижения цен, уведомлений о поступлении товара и мониторинга взлома сайтов — MCP включён! Всё бесплатно или воспользуйтесь нашим тарифом SaaS!
Незаметный Chromium, проходящий все тесты на обнаружение ботов. Прямая замена Playwright с патчами отпечатков на уровне исходного кода. Пройдено более 50 тестов.
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
SDK для извлечения данных и взаимодействия с любым сайтом в интернете. Начните с Claude Code, Codex, Eve, Mastra и других инструментов.
Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust
🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
Изолированная от сетей альтернатива NotebookLM с открытым исходным кодом, ориентированная на конфиденциальность. ИИ-агент, который исследует, преобразует и редактирует ваши документы. Присоединяйтесь к нашему Discord: https://discord.gg/ejRNvftDp9
Преобразуйте веб-сайты с документацией, репозитории GitHub и PDF-файлы в навыки Claude AI с функцией автоматического обнаружения конфликтов
🚂 Помощник по покупке билетов 12306, поддержка кластера, несколько аккаунтов, многозадачная покупка билетов и управление веб-страницами
Открытый ИИ-агент для автоматизации работы в интернете. Используйте свой настоящий браузер с выполненным входом, чтобы автоматизировать повседневные задачи.
Быстрая и надежная автоматизация браузера для сквозного тестирования, сбора данных и скрытной работы. Обходит обнаружение ботов с помощью режима CDP. Интегрируется с pytest, Playwright и MCP.
Практичный загрузчик Douyin для скачивания отдельных материалов и содержимого профилей пакетами, с отображением прогресса, повторными попытками, дедупликацией на основе SQLite и поддержкой резервного режима через браузер. Инструмент для пакетного скачивания из Douyin, поддерживающий видео, альбомы изображений, подборки и музыку (оригинальный звук).
Скрытый headless-браузер для ИИ-агентов — обходит Cloudflare, обнаружение ботов и антискрейпинг. Drop-in замена Puppeteer/Playwright.
jsoup: анализатор HTML для Java, предназначенный для редактирования, очистки, скрапинга и безопасности от XSS в HTML.
Автоматический решатель CAPTCHA для вашего браузера. Работает с Selenium, Puppeteer, Playwright и другими.
Мост автоматизации браузера высокой производительности и оркестратор многократных экземпляров с продвинутой скрытой инъекцией и панелью реального времени.
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
FreeAskInternet — это совершенно бесплатный, ЧАСТНЫЙ и ЛОКАЛЬНО работающий агрегатор поиска и генератор ответов, использующий МНОЖЕСТВО LLM, без необходимости в GPU. Пользователь может задать вопрос, и система выполнит многодвижковый поиск и объединит результаты поиска с LLM, чтобы сгенерировать ответ на основе результатов поиска. Все это БЕСПЛАТНО для использования.
Сбор данных с помощью краулера Xiaohongshu (RED), обратный инжиниринг Xiaohongshu, личные сообщения, прямые трансляции и комплексные решения для работы на Xiaohongshu
Этот репозиторий GitHub — мощная коллекция API, которые вы можете сразу начать использовать для создания чего угодно: от простых автоматизаций до полномасштабных приложений. Один из самых ценных списков API на GitHub — и точка. 💪
сбор данных из Google Maps. Извлекает данные, такие как название, адрес, номер телефона, URL сайта, рейтинг, количество отзывов, широту и долготу, отзывы, email и многое другое для каждого места
Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.
Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.
Автоматический захват билетов Barley, поддерживает выбор людей, городов, дат сеансов, цен
Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML
Pydoll — это библиотека для автоматизации браузеров на основе Chromium без WebDriver, предлагающая реалистичные взаимодействия.
Python-привязка для форка curl-impersonate через cffi. HTTP-клиент, который может имитировать отпечатки TLS/JA3/HTTP2 браузера.
CLI для автоматизации браузера, созданный для ИИ-агентов. Прорывайте антибот-барьеры, передавайте задачи людям на разных платформах, когда застряли. Параллельное выполнение нескольких задач, независимая работа с несколькими сессиями, изолированный просмотр с нескольких учетных записей.
Клон для глубоких исследований с открытым исходным кодом. Агент ИИ, который анализирует большие объемы веб-данных, извлеченных с помощью Firecrawl.
Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.
EyeWitness предназначен для создания снимков экрана веб-сайтов, предоставления информации о серверных заголовках и, по возможности, определения учетных данных по умолчанию.
Часто задаваемые вопросы
Какой репозиторий по теме #web-scraping наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #web-scraping на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #web-scraping?
Среди наиболее высоко оценённых проектов по теме #web-scraping на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Go.
Как рассчитывается рейтинг репозиториев по теме #web-scraping?
Мы отслеживаем 381 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-scraping (500 и более звёзд), с общим числом 2,147,590 звёзд и в среднем 5,636 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.