Git Stars Git Stars

#crawler Репозитории

Откройте для себя 162 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #crawler, с общим числом 1,111,814 звёзд (в среднем 6,863 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

162
Всего репозиториев
1.1M
Всего звезд
6,863
Среднее количество звезд на репозиторий
Языки программирования: Python Go TypeScript JavaScript HTML PHP C# Java

Всего репозиториев: 162

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
3
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
4
scrapy/scrapy

Scrapy, быстрый фреймворк высокого уровня для веб-краулинга и скрапинга на Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Обновлено 2026-11-19 📅 Создано 2010-02-22
5
NaiboWang/EasySpider

Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Обновлено 2026-11-16 📅 Создано 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
7
iawia002/lux

👾 Быстрая и простая библиотека для загрузки видео и CLI-инструмент, написанный на Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Обновлено 2026-03-29 📅 Создано 2018-02-24
8
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
9
gocolly/colly

Элегантный фреймворк для парсинга и краулинга на Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Обновлено 2026-10-16 📅 Создано 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool для веб-сканера

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Обновлено 2026-06-15 📅 Создано 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Обновлено 2026-11-20 📅 Создано 2021-11-07
12
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
13
projectdiscovery/katana

Фреймворк для сканирования и паучивания следующего поколения.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-01-02
14
codelucas/newspaper

newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Обновлено 2026-10-26 📅 Создано 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Некоторые очень интересные примеры краулеров на Python, дружелюбные для новичков, в основном для парсинга сайтов вроде Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ и т.д. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Обновлено 2025-06-28 📅 Создано 2019-03-13
16
s0md3v/Photon

Невероятно быстрый краулер, разработанный для OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Обновлено 2026-10-17 📅 Создано 2018-03-30
17
crawlab-team/crawlab

Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Обновлено 2026-02-10 📅 Создано 2019-02-10
18
code4craft/webmagic

Масштабируемый фреймворк веб-краулера для Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Обновлено 2025-12-20 📅 Создано 2013-04-23
19
injetlee/Python

Скрипт на Python. Эмуляция входа в Zhihu, веб‑скрейпинг, работа с Excel, публичный аккаунт WeChat, удалённый запуск.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Обновлено 2026-05-09 📅 Создано 2016-06-23
20
guyueyingmu/avbook

Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Обновлено 2024-06-01 📅 Создано 2017-02-19
21
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
22
TeamWiseFlow/xiaobei

Агент по привлечению клиентов через собственные медиа, разработанный специально для OPC и малого и среднего бизнеса

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-04-24
23
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
24
hect0x7/JMComic-Crawler-Python

Python API для JMComic | Предоставляет доступ к JinManTiantang через API Python, поддерживая как веб-, так и мобильные версии | Загрузчик JinManTiantang GitHub Actions🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Обновлено 2026-11-13 📅 Создано 2023-04-02
25
alirezamika/autoscraper

Умный, автоматический, быстрый и легкий веб-скрейпер для Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Обновлено 2026-07-29 📅 Создано 2020-08-31
26
mvdctop/Movie_Data_Capture

ИИ-краулер метаданных локальных медиа

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Обновлено 2026-11-17 📅 Создано 2019-05-26
27
adbar/trafilatura

Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Обновлено 2026-11-20 📅 Создано 2019-04-08
28
BruceDone/awesome-crawler

Сборник крутых веб-краулеров и спайдеров на разных языках

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Обновлено 2024-06-16 📅 Создано 2016-10-10
29
bda-research/node-crawler

Веб-краулер/Паук для NodeJS + jQuery на стороне сервера ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Обновлено 2026-06-18 📅 Создано 2010-11-25
30
chyroc/WechatSogou

Интерфейс краулера публичных аккаунтов WeChat на основе поиска WeChat от Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Обновлено 2026-10-23 📅 Создано 2016-05-09
31
rmax/scrapy-redis

Компоненты на основе Redis для Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Обновлено 2026-11-21 📅 Создано 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Практика 🐍 различных сайтов, краулеры данных электронной коммерции 🕷. Включает 🕸: Товары Taobao, публичные аккаунты WeChat, Dianping, Qichacha, сайты вакансий, Xianyu, задачи Ali, Cnblogs, Weibo, Baidu Tieba, фильмы Douban, Baotu.com, Quan jing wang, музыка Douban, бюро по надзору за лекарствами какой-то провинции, новости Sohu, сбор текста машинного обучения, сбор активов fofa, Autohome, Национальное бюро статистики, количество включений ключевых слов Baidu, общий каталог пауков, Toutiao, рецензии на фильмы Douban, Ctrip, магазин приложений Xiaomi, Anjuke, гостевые дома Tujia ❤️❤️❤️. Демонстрационный проект краулера WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Обновлено 2024-05-22 📅 Создано 2019-03-29
33
DedSecInside/TorBot

Инструмент OSINT для Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Обновлено 2026-11-12 📅 Создано 2017-05-17
34
niespodd/browser-fingerprinting

Анализ систем защиты от ботов с доступными контрмерами 🚿. Как победить систему защиты от ботов 👻 и обойти скрипты сбора отпечатков браузера 🕵️‍♂️ при веб-скрейпинге?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Обновлено 2026-07-27 📅 Создано 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Этот проект предназначен для сбора всех новостей, документов и законодательных актов, связанных с судебными и нарушениями, касающимися разработчиков веб‑скрейперов в материковой Китае. Он направлен на помощь специалистам отрасли веб‑скрейпинга, работающим в материковой Китае, в понимании соответствующих законов и избежание нарушения норм соблюдения данных.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Обновлено 2026-03-12 📅 Создано 2019-09-29
36
dataabc/weibo-crawler

Краулер Sina Weibo, с использованием Python для извлечения данных Sina Weibo и скачивания изображений и видео Weibo

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Обновлено 2026-11-06 📅 Создано 2019-06-25
37
myreader-io/myGPTReader

Управляемый сообществом способ читать и общаться с ИИ-ботами, работающий на chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Обновлено 2026-02-05 📅 Создано 2023-03-08
38
kanasimi/work_crawler

Инструмент для скачивания комиксов и романов:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Обновлено 2026-10-12 📅 Создано 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, библиотека веб-краулинга по стандарту .NET. Это легковесный, эффективный и быстрый фреймворк высокого уровня для веб-краулинга и скрейпинга.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Обновлено 2026-04-03 📅 Создано 2016-03-21
40
constverum/ProxyBroker

Прокси [Поисковик | Проверяльщик | Сервер]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Обновлено 2024-03-18 📅 Создано 2015-10-11
41
MikeChongCan/scylla

Интеллектуальный пул прокси для людей™ для извлечения контента из интернета и создания собственных больших языковых моделей в эту новую эпоху ИИ

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Обновлено 2026-11-03 📅 Создано 2018-04-10
42
Arachni/arachni

Фреймворк сканера безопасности веб-приложений

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Обновлено 2026-04-22 📅 Создано 2010-08-25
43
hardkoded/puppeteer-sharp

API .NET для Headless Chrome

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Обновлено 2026-11-21 📅 Создано 2017-09-30
44
edoardottt/cariddi

Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Обновлено 2026-11-19 📅 Создано 2021-04-27
45
3441293738/creatorhub

Мониторинг · сбор · републикация контента на разных платформах. Одна веб-панель для управления Douyin / Xiaohongshu / Kuaishou / каналами WeChat / TikTok / Bilibili / Instagram / международной версией Xiaohongshu (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Обновлено 2026-08-21 📅 Создано 2021-02-08
47
sqzw-x/mdcx

Скрейпер метаданных фильмов

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Обновлено 2026-08-23 📅 Создано 2023-11-06
48
elliotgao2/toapi

Каждый веб-сайт предоставляет API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Обновлено 2026-08-27 📅 Создано 2017-11-27
49
Tuhinshubhra/RED_HAWK

Инструмент все в одном для сбора информации, сканирования уязвимостей и краулинга. Обязательный инструмент для всех пентестеров

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Обновлено 2024-07-31 📅 Создано 2017-06-11
50
CharlesPikachu/videodl

Videodl: Лёгкий видеоскачиватель, написанный на чистом Python. (Лёгкий видеоскачиватель, приоритет HD без водяных знаков, поддерживает Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED и другие крупные стриминговые платформы.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Обновлено 2026-11-21 📅 Создано 2018-07-10

Часто задаваемые вопросы

1

Какой репозиторий по теме #crawler наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #crawler на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #crawler?

Среди наиболее высоко оценённых проектов по теме #crawler на GitHub чаще всего используются языки программирования Python, Go, TypeScript, JavaScript.

3

Как рассчитывается рейтинг репозиториев по теме #crawler?

Мы отслеживаем 162 активных репозиториев с открытым исходным кодом, отмеченных тегом #crawler (500 и более звёзд), с общим числом 1,111,814 звёзд и в среднем 6,863 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.