#web-crawling Репозитории
Откройте для себя 38 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-crawling, с общим числом 211,837 звёзд (в среднем 5,574 на проект). Лидером этой темы является unclecode/crawl4ai, набравший 87,627 звёзд.
Всего репозиториев: 38
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
Сервер Node, использующий Headless Chrome для отображения страницы, отрисованной JavaScript, в виде HTML. Для использования совместно с промежуточным ПО prerender.
Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.
Репозиторий содержит парсер и сопоставитель robots.txt от Google в виде библиотеки C++ (соответствующей C++11).
WebCollector — это фреймворк для веб-сканирования с открытым исходным кодом на основе Java. Он предоставляет простые интерфейсы для сканирования Интернета, вы можете настроить многопоточный веб-сканер менее чем за 5 минут.
Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.
Готовый к эксплуатации сервер MCP с функциями поиска, извлечения, картирования и сканирования в реальном времени.
Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.
Возможности веб-сканирования и RAG для ИИ-агентов и ИИ-помощников по кодированию
Простая, гибкая, распределенная Java-библиотека для сканирования с поддержкой SpringBoot; Гибкая, распределенная библиотека для сканирования.
🔥 Open Source Perplexity, аналогичный поисковой системе, с цитатами в реальном времени, потоковой передачей ответов и данными в реальном времени на базе Firecrawl
Инструмент на Python, используемый для обнаружения конечных точек, потенциальных параметров, списка слов для конкретной цели и секретов.
данные Xiaohongshu, сбор данных XHS, реверс-инжиниринг Xiaohongshu, реверс-инжиниринг XS Xiaohongshu, скрейпер Xiaohongshu, данные Xiaohongshu
Сервер с открытым исходным кодом API для парсинга таких платформ, как Douyin (a_bogus последняя версия), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo и т. д. Быстрое развертывание в один клик с помощью Docker.
📖 Сервер MCP для получения deepwiki.com и последних знаний в Cursor и других редакторах кода
Основанная на невероятной работе сообщества open source, эта платформа автоматизации ИИ управляется сообществом. Наша цель — объединить языковые модели со специализированными инструментами для таких задач, как веб-поиск, сканирование и выполнение кода Python, а также отблагодарить сообщество, которое сделало это возможным.
☁️ Самый быстрый конвертер HTML в markdown на GitHub. Оптимизирован для LLM и поддерживает стриминг.
Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.
Автоматизированная система искусственного интеллекта (фреймворк Python), предназначенная для анализа любого типа контента веб-сайтов и создания структурированных отчетов с использованием API Claude 3.5 Sonnet и Firecrawl. Несмотря на то, что в настоящее время система настроена для корпоративных тематических исследований в области искусственного интеллекта, ее архитектура может быть адаптирована для различных потребностей в анализе контента.
Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"
Извлекайте веб-страницы с помощью headless Chrome, сохраняя все извлеченные ресурсы, включая файлы JavaScript. Запускайте произвольный JavaScript на многих веб-страницах и смотрите возвращаемые значения
🎉🎈 ≪ 📧 Сервис Подписки на Еженедельные События Разработчиков по электронной почте ≫, получаемый каждую неделю по электронной почте
Часто задаваемые вопросы
Какой репозиторий по теме #web-crawling наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #web-crawling на GitHub — unclecode/crawl4ai, набравший 87,627 звёзд. Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Какие языки программирования чаще всего используются в репозиториях по теме #web-crawling?
Среди наиболее высоко оценённых проектов по теме #web-crawling на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Go.
Как рассчитывается рейтинг репозиториев по теме #web-crawling?
Мы отслеживаем 38 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-crawling (500 и более звёзд), с общим числом 211,837 звёзд и в среднем 5,574 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.