#web-crawler Репозитории
Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-crawler, с общим числом 470,326 звёзд (в среднем 12,059 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 39
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust
Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
Принимайте, анализируйте и оптимизируйте любые форматы данных ➡️ от документов до мультимедиа ➡️ для повышения совместимости с фреймворками GenAI
Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.
Идеальный веб-ресурс для вашего ИИ-агента кодирования — локальный поиск, извлечение, сканирование и исследование через MCP. Без ключей API, без облака, $0/запрос. Открытая бета-версия.
API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up
Сканируйте веб-сайт, начиная с URL, находите релевантные страницы и извлекайте данные — все это под руководством вашего запроса на естественном языке.
Быстрая локальная веб-экстракция контента для LLM. Скрапинг, краулинг, извлечение структурированных данных — всё на Rust. CLI, REST API и сервер MCP.
Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.
Интернет-поисковик для текстовых веб-сайтов. Индексирование маленькой, старой и странной паутины.
CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)
20 ноября 2017 -- Распределённый движок поиска с открытым исходным кодом и паук/краулер, написанный на C/C++ для Linux на Intel/AMD. От gigablast dot com, где доступны бинарные файлы для загрузки. См. файл README.md в самом низу этой страницы для инструкций.
Стоя на плечах гигантов — Создайте навыки ИИ, построенные на проверенных методологиях специалистов.
Проверка неработающих ссылок, которая сканирует веб-сайты и проверяет ссылки. Находите неработающие ссылки, мертвые ссылки и недопустимые URL-адреса на веб-сайтах, в документации и локальных файлах. Идеально подходит для SEO-аудитов и CI/CD.
Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.
Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере
Бесплатный десктопный SEO-краулер — open source альтернатива Screaming Frog и подобным инструментам. Краулинг сайтов, анализ ссылок, извлечение SEO-данных и экспорт результатов без абонентских платежей. Полностью настраиваемый и расширяемый!
Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов
🔥 Этот репозиторий содержит полные примеры приложений, включая веб-сайты и другие проекты, разработанные с использованием Firecrawl.
Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.
🔍 Поисковая система Интернета с открытым исходным кодом, разработанная на Go, с руководством "Создайте свою собственную поисковую систему Интернета"
Расширение для браузера, предназначенное для сбора информации со страниц в сценариях обнаружения уязвимостей SRC, которое автоматически собирает конфиденциальную информацию и подозрительные улики со страниц и связанных ресурсов, поддерживая базовое сканирование, глубокое рекурсивное сканирование, массовое тестирование API, экспорт результатов и пользовательскую настройку регулярных выражений.
Скрипт на Python, позволяющий людям без опыта программирования массово привлекать качественных потенциальных клиентов. В этом репозитории будут собраны различные универсальные методы генерации лидов.
Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"
Открытая веб‑инфраструктура для ИИ. Скрапинг, краулинг и автоматизация веба, очистка markdown, сессии браузера — всё готово для ваших агентов.
Единственный open-source toolkit, который может скачивать финансовые отчеты SEC EDGAR и извлекать текстовые данные из конкретных разделов элементов в аккуратные и структурированные JSON-файлы. Представлен на WWW 2025 @ Сидней, Австралия (https://dl.acm.org/doi/10.1145/3701716.3715289)
Часто задаваемые вопросы
Какой репозиторий по теме #web-crawler наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #web-crawler на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #web-crawler?
Среди наиболее высоко оценённых проектов по теме #web-crawler на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, Go.
Как рассчитывается рейтинг репозиториев по теме #web-crawler?
Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-crawler (500 и более звёзд), с общим числом 470,326 звёзд и в среднем 12,059 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.