Git Stars Git Stars

#web-crawler Репозитории

Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #web-crawler, с общим числом 470,326 звёзд (в среднем 12,059 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

39
Всего репозиториев
470,326
Всего звезд
12,059
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript Rust Go JavaScript Java C# C++

Всего репозиториев: 39

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
4
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
5
lexmount/moli

Лучший безголовый браузер для ИИ-агентов. Лёгкий, быстрый и высокосовместимый. Создан на Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-10
6
crawlab-team/crawlab

Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Обновлено 2026-02-10 📅 Создано 2019-02-10
7
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
8
adithya-s-k/omniparse

Принимайте, анализируйте и оптимизируйте любые форматы данных ➡️ от документов до мультимедиа ➡️ для повышения совместимости с фреймворками GenAI

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Обновлено 2025-12-12 📅 Создано 2024-06-04
9
firecrawl/firecrawl-mcp-server

Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-12-06
10
BruceDone/awesome-crawler

Сборник крутых веб-краулеров и спайдеров на разных языках

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Обновлено 2024-06-16 📅 Создано 2016-10-10
11
KnockOutEZ/wigolo

Идеальный веб-ресурс для вашего ИИ-агента кодирования — локальный поиск, извлечение, сканирование и исследование через MCP. Без ключей API, без облака, $0/запрос. Открытая бета-версия.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-12
12
divinelabio/Argus

Полный набор инструментов для сбора информации

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Обновлено 2025-12-10 📅 Создано 2024-10-01
13
Anakin-Inc/anakin

API для веб-скрейпинга с открытым исходным кодом. Превращайте любой сайт в чистый Markdown или структурированный JSON. Антидетект-браузер, автоматический выбор прокси, возможность самохостинга. Одна команда: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Обновлено 2026-08-18 📅 Создано 2026-03-17
14
apache/nutch

Apache Nutch — это расширяемый и масштабируемый веб-краулер

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Обновлено 2026-11-17 📅 Создано 2009-05-21
15
oxylabs/ai-crawler-py

Сканируйте веб-сайт, начиная с URL, находите релевантные страницы и извлекайте данные — все это под руководством вашего запроса на естественном языке.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Обновлено 2026-08-21 📅 Создано 2025-09-17
16
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
17
0xMassi/webclaw

Быстрая локальная веб-экстракция контента для LLM. Скрапинг, краулинг, извлечение структурированных данных — всё на Rust. CLI, REST API и сервер MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-10
18
sjdirect/abot

Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Обновлено 2026-07-17 📅 Создано 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Интернет-поисковик для текстовых веб-сайтов. Индексирование маленькой, старой и странной паутины.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Обновлено 2026-11-18 📅 Создано 2023-03-20
20
gildas-lormeau/single-file-cli

CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Обновлено 2026-11-18 📅 Создано 2022-05-31
21
gigablast/open-source-search-engine

20 ноября 2017 -- Распределённый движок поиска с открытым исходным кодом и паук/краулер, написанный на C/C++ для Linux на Intel/AMD. От gigablast dot com, где доступны бинарные файлы для загрузки. См. файл README.md в самом низу этой страницы для инструкций.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Обновлено 2024-01-10 📅 Создано 2013-08-02
22
GBSOSS/skill-from-masters

Стоя на плечах гигантов — Создайте навыки ИИ, построенные на проверенных методологиях специалистов.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Обновлено 2026-02-16 📅 Создано 2026-01-08
23
JustinBeckwith/linkinator

Проверка неработающих ссылок, которая сканирует веб-сайты и проверяет ссылки. Находите неработающие ссылки, мертвые ссылки и недопустимые URL-адреса на веб-сайтах, в документации и локальных файлах. Идеально подходит для SEO-аудитов и CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Обновлено 2026-11-20 📅 Создано 2019-02-12
24
fastcrw/crw

Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-02
25
webrecorder/browsertrix-crawler

Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Обновлено 2026-11-19 📅 Создано 2020-11-02
26
PhialsBasement/LibreCrawl

Бесплатный десктопный SEO-краулер — open source альтернатива Screaming Frog и подобным инструментам. Краулинг сайтов, анализ ссылок, извлечение SEO-данных и экспорт результатов без абонентских платежей. Полностью настраиваемый и расширяемый!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Обновлено 2026-11-10 📅 Создано 2025-09-27
27
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
28
apache/stormcrawler

Масштабируемый, зрелый и универсальный веб-краулер на основе Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Обновлено 2026-11-17 📅 Создано 2013-04-12
29
RimoChan/sese-engine

【sese-engine】Поисковая система новой эры!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Обновлено 2025-05-10 📅 Создано 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Этот репозиторий содержит полные примеры приложений, включая веб-сайты и другие проекты, разработанные с использованием Firecrawl.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Обновлено 2026-01-13 📅 Создано 2024-06-22
31
postmodern/spidr

Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Обновлено 2026-01-12 📅 Создано 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Поисковая система Интернета с открытым исходным кодом, разработанная на Go, с руководством "Создайте свою собственную поисковую систему Интернета"

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Обновлено 2026-08-27 📅 Создано 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Расширение для браузера, предназначенное для сбора информации со страниц в сценариях обнаружения уязвимостей SRC, которое автоматически собирает конфиденциальную информацию и подозрительные улики со страниц и связанных ресурсов, поддерживая базовое сканирование, глубокое рекурсивное сканирование, массовое тестирование API, экспорт результатов и пользовательскую настройку регулярных выражений.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Обновлено 2026-09-16 📅 Создано 2025-08-21
34
Madi-S/Lead-Generation

Скрипт на Python, позволяющий людям без опыта программирования массово привлекать качественных потенциальных клиентов. В этом репозитории будут собраны различные универсальные методы генерации лидов.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Обновлено 2026-09-23 📅 Создано 2020-12-14
35
cxcscmu/Craw4LLM

Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-17
36
vakra-dev/reader

Открытая веб‑инфраструктура для ИИ. Скрапинг, краулинг и автоматизация веба, очистка markdown, сессии браузера — всё готово для ваших агентов.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Обновлено 2026-10-06 📅 Создано 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Незаметный веб-скрейпинг и бесшовная обработка HTML на Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Обновлено 2026-09-19 📅 Создано 2024-08-04
38
lefterisloukas/edgar-crawler

Единственный open-source toolkit, который может скачивать финансовые отчеты SEC EDGAR и извлекать текстовые данные из конкретных разделов элементов в аккуратные и структурированные JSON-файлы. Представлен на WWW 2025 @ Сидней, Австралия (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Обновлено 2025-07-18 📅 Создано 2021-09-24
39
erevus-cn/pocscan

Воля быть niubility скан-фреймворком

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Обновлено 2025-07-01 📅 Создано 2016-02-02

Часто задаваемые вопросы

1

Какой репозиторий по теме #web-crawler наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #web-crawler на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #web-crawler?

Среди наиболее высоко оценённых проектов по теме #web-crawler на GitHub чаще всего используются языки программирования Python, TypeScript, Rust, Go.

3

Как рассчитывается рейтинг репозиториев по теме #web-crawler?

Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #web-crawler (500 и более звёзд), с общим числом 470,326 звёзд и в среднем 12,059 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.