Git Stars Git Stars

#web-crawling Репозитории

Откройте для себя 38 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-crawling, с общим числом 211,837 звёзд (в среднем 5,574 на проект). Лидером этой темы является unclecode/crawl4ai, набравший 87,627 звёзд.

38
Всего репозиториев
211,837
Всего звезд
5,574
Среднее количество звезд на репозиторий

Всего репозиториев: 38

1
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
2
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
3
lexmount/moli

Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-10
4
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
5
prerender/prerender

Сервер Node, использующий Headless Chrome для отображения страницы, отрисованной JavaScript, в виде HTML. Для использования совместно с промежуточным ПО prerender.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Обновлено 2026-05-05 📅 Создано 2013-09-26
6
MontFerret/ferret

Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Обновлено 2026-11-19 📅 Создано 2018-08-23
7
omkarcloud/botasaurus

Универсальный фреймворк для создания непобедимых скрейперов

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Обновлено 2026-11-13 📅 Создано 2023-05-09
8
google/robotstxt

Репозиторий содержит парсер и сопоставитель robots.txt от Google в виде библиотеки C++ (соответствующей C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Обновлено 2026-04-01 📅 Создано 2019-06-11
9
CrawlScript/WebCollector

WebCollector — это фреймворк для веб-сканирования с открытым исходным кодом на основе Java. Он предоставляет простые интерфейсы для сканирования Интернета, вы можете настроить многопоточный веб-сканер менее чем за 5 минут.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Обновлено 2026-02-10 📅 Создано 2014-07-12
10
digininja/CeWL

CeWL — это генератор пользовательских списков слов

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Обновлено 2026-06-24 📅 Создано 2016-04-22
11
brightdata/brightdata-mcp

Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-04-15
12
tavily-ai/tavily-mcp

Готовый к эксплуатации сервер MCP с функциями поиска, извлечения, картирования и сканирования в реальном времени.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-01-27
13
dataabc/weibo-search

Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Обновлено 2026-06-05 📅 Создано 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Возможности веб-сканирования и RAG для ИИ-агентов и ИИ-помощников по кодированию

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Обновлено 2025-07-25 📅 Создано 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Простая, гибкая, распределенная Java-библиотека для сканирования с поддержкой SpringBoot; Гибкая, распределенная библиотека для сканирования.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Обновлено 2026-11-17 📅 Создано 2015-11-06
16
firecrawl/fireplexity

🔥 Open Source Perplexity, аналогичный поисковой системе, с цитатами в реальном времени, потоковой передачей ответов и данными в реальном времени на базе Firecrawl

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2025-08-22 📅 Создано 2025-06-19
17
DanMcInerney/xsscrapy

XSS паук - 66/66 wavsep XSS обнаружен

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Обновлено 2024-06-13 📅 Создано 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Инструмент на Python, используемый для обнаружения конечных точек, потенциальных параметров, списка слов для конкретной цели и секретов.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Обновлено 2026-03-08 📅 Создано 2022-04-14
19
submato/xhscrawl

данные Xiaohongshu, сбор данных XHS, реверс-инжиниринг Xiaohongshu, реверс-инжиниринг XS Xiaohongshu, скрейпер Xiaohongshu, данные Xiaohongshu

submato
⭐ 1,533 👤 submato User 🕐 Обновлено 2026-11-02 📅 Создано 2023-07-05
20
ShilongLee/Crawler

Сервер с открытым исходным кодом API для парсинга таких платформ, как Douyin (a_bogus последняя версия), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo и т. д. Быстрое развертывание в один клик с помощью Docker.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Обновлено 2026-10-19 📅 Создано 2024-05-24
21
wummel/linkchecker

проверить ссылки в веб-документах или полных веб-сайтах

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Обновлено 2024-11-07 📅 Создано 2012-12-19
22
regenrek/deepwiki-mcp

📖 Сервер MCP для получения deepwiki.com и последних знаний в Cursor и других редакторах кода

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Обновлено 2026-03-20 📅 Создано 2025-04-28
23
mvdbos/php-spider

Настраиваемый и расширяемый PHP веб-сканер

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Обновлено 2026-11-02 📅 Создано 2013-02-25
24
scrapinghub/frontera

Масштабируемый рубеж для веб-краулеров

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Обновлено 2025-06-06 📅 Создано 2014-11-22
25
Darwin-lfl/langmanus

Основанная на невероятной работе сообщества open source, эта платформа автоматизации ИИ управляется сообществом. Наша цель — объединить языковые модели со специализированными инструментами для таких задач, как веб-поиск, сканирование и выполнение кода Python, а также отблагодарить сообщество, которое сделало это возможным.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Обновлено 2025-03-17 📅 Создано 2025-03-18
26
harlan-zw/mdream

☁️ Самый быстрый конвертер HTML в markdown на GitHub. Оптимизирован для LLM и поддерживает стриминг.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Обновлено 2026-11-21 📅 Создано 2025-04-16
27
changfengoss/pub

Инструменты для научного доступа в Интернет

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Обновлено 2026-10-22 📅 Создано 2021-08-30
28
tiliondev/fortress

Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Обновлено 2026-11-03 📅 Создано 2026-07-02
29
hyperbrowserai/mcp

Реализация сервера MCP для hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Обновлено 2025-11-20 📅 Создано 2025-02-25
30
rubycdp/vessel

Быстрый высокоуровневый фреймворк Ruby для веб-краулинга

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Обновлено 2026-11-03 📅 Создано 2019-09-17
31
spatie/laravel-export

Создать статический пакет сайта из приложения Laravel

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Обновлено 2026-11-06 📅 Создано 2019-03-18
32
muratcankoylan/AI-Investigator

Автоматизированная система искусственного интеллекта (фреймворк Python), предназначенная для анализа любого типа контента веб-сайтов и создания структурированных отчетов с использованием API Claude 3.5 Sonnet и Firecrawl. Несмотря на то, что в настоящее время система настроена для корпоративных тематических исследований в области искусственного интеллекта, ее архитектура может быть адаптирована для различных потребностей в анализе контента.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Обновлено 2024-11-05 📅 Создано 2024-11-04
33
cxcscmu/Craw4LLM

Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-17
34
ArchiveTeam/wpull

Веб-загрузчик и сканер, совместимый с Wget.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Обновлено 2024-04-29 📅 Создано 2013-12-07
35
unconv/gpt4v-browsing

Веб-скрапинг с использованием GPT-4 Vision API и Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Обновлено 2024-01-31 📅 Создано 2023-11-24
36
detectify/page-fetch

Извлекайте веб-страницы с помощью headless Chrome, сохраняя все извлеченные ресурсы, включая файлы JavaScript. Запускайте произвольный JavaScript на многих веб-страницах и смотрите возвращаемые значения

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Обновлено 2026-07-03 📅 Создано 2021-06-03
37
firecrawl/llmstxt-generator

🔥 Создавайте файлы llms.txt и llms-full.txt для любого веб-сайта!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2025-06-17 📅 Создано 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 ≪ 📧 Сервис Подписки на Еженедельные События Разработчиков по электронной почте ≫, получаемый каждую неделю по электронной почте

brave-people
⭐ 512 👤 brave-people Organization 🕐 Обновлено 2024-06-07 📅 Создано 2021-02-08

Часто задаваемые вопросы

1

Какой репозиторий по теме #web-crawling наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #web-crawling на GitHub — unclecode/crawl4ai, набравший 87,627 звёзд. Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

2

Какие языки программирования чаще всего используются в репозиториях по теме #web-crawling?

Среди наиболее высоко оценённых проектов по теме #web-crawling на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Go.

3

Как рассчитывается рейтинг репозиториев по теме #web-crawling?

Мы отслеживаем 38 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-crawling (500 и более звёзд), с общим числом 211,837 звёзд и в среднем 5,574 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.