Git Stars Git Stars

#crawler Репозитории

162
Всего репозиториев
1.1M
Всего звезд
6,863
Среднее количество звезд на репозиторий
Языки программирования: Python Go JavaScript PHP Java Rust TypeScript C#

Всего репозиториев: 162

51
thewhiteh4t/FinalRecon

Все в одном веб-разведка

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 Обновлено 2026-10-31 📅 Создано 2019-03-28
52
Qianlitp/crawlergo

Мощный краулер браузера для сканеров уязвимостей веб

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 Обновлено 2025-03-11 📅 Создано 2019-12-25
53
facundoolano/google-play-scraper

Скрапер на Node.js для получения данных из Google Play

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Обновлено 2026-10-17 📅 Создано 2015-04-07
54
howie6879/owllook

owllook-Поисковая система романов

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Обновлено 2026-10-30 📅 Создано 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: API для входа в некоторые веб-сайты с использованием requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Обновлено 2024-08-09 📅 Создано 2019-02-25
56
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
57
jaeles-project/gospider

Gospider - Быстрый веб-паук, написанный на Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Обновлено 2024-04-21 📅 Создано 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 Обновлено 2026-11-05 📅 Создано 2015-11-02
59
geziyor/geziyor

Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Обновлено 2026-07-02 📅 Создано 2019-06-06
60
jae-jae/QueryList

:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Обновлено 2026-10-20 📅 Создано 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-Картографирование киберпространства, перечисление поддоменов, сканирование портов, обнаружение конфиденциальной информации, сканирование уязвимостей, распределенные узлы

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 Обновлено 2026-10-11 📅 Создано 2024-02-27
62
xtuhcy/gecco

Легкий веб-краулер, простой в использовании

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 Обновлено 2026-10-09 📅 Создано 2015-12-12
63
fhamborg/news-please

news-please - Интегрированный веб-краулер и экстрактор информации для новостей, который просто работает

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 Обновлено 2026-04-14 📅 Создано 2016-12-18
64
lorien/grab

Фреймворк для веб-скрейпинга

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Обновлено 2025-09-19 📅 Создано 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect — это PHP-класс для обнаружения ботов/краулеров/пауков через пользовательский агент

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Обновлено 2026-11-16 📅 Создано 2015-03-23
66
friuns2/Leaked-GPTs

Утечки промптов GPT обходят ограничение в 25 сообщений или позволяют попробовать GPT без подписки Plus.

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 Обновлено 2024-01-17 📅 Создано 2023-11-27
67
sjdirect/abot

Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Обновлено 2026-07-17 📅 Создано 2013-08-08
68
goclone-dev/goclone

Website Cloner - Использует мощные Go-процедуры для клонирования веб-сайтов на ваш компьютер за считанные секунды.

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 Обновлено 2026-06-02 📅 Создано 2020-03-23
69
AAndyProgram/SCrawler

Загрузчик медиа с любых сайтов, включая Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid и т. д.

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 Обновлено 2026-11-08 📅 Создано 2021-12-07
70
watercrawl/WaterCrawl

Преобразование веб-контента в данные, готовые для LLM

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Обновлено 2026-08-17 📅 Создано 2024-12-15
71
zorlan/skycaiji

Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Обновлено 2026-10-07 📅 Создано 2018-02-26
72
TeamNewPipe/NewPipeExtractor

Основная библиотека NewPipe для извлечения данных из сайтов потокового вещания

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Обновлено 2026-11-19 📅 Создано 2017-03-01
73
elliotgao2/gain

Фреймворк для веб-скрейпинга на основе asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Обновлено 2026-08-09 📅 Создано 2017-05-31
74
coder-hxl/x-crawl

Гибкая библиотека краулера для Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Обновлено 2026-11-21 📅 Создано 2023-01-22
75
JSREI/ast-hook-for-js-RE

Решение для роуминга памяти браузера (исследуется...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 Обновлено 2024-05-07 📅 Создано 2021-01-15
76
lixi5338619/lxSpider

Сборник кейсов веб-скрапинга. Включая, но не ограничиваясь: «Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, различные индексы, VIP, Wanfang, ZLibrary, Oalib, романы, тендерные сайты, закупочные сайты, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu»

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 Обновлено 2024-05-09 📅 Создано 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Открытый индексатор файлов, поисковая система файлов и управление данными и аналитика на базе Elasticsearch

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 Обновлено 2026-03-25 📅 Создано 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Обновлено 2026-11-03 📅 Создано 2026-06-11
79
u3c3/BT-btt

Представление магнитного сайта U3C3 и обновление домена

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Обновлено 2025-01-01 📅 Создано 2020-04-28
80
howie6879/ruia

Асинхронный микрофреймворк для веб-скрейпинга на Python 3.6+, основанный на asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Обновлено 2026-10-30 📅 Создано 2018-07-10
81
rushter/selectolax

Python-библиотека для движков Modest и Lexbor. Быстрый парсер HTML5 с CSS-селекторами для Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Обновлено 2026-11-10 📅 Создано 2017-11-26
82
gildas-lormeau/single-file-cli

CLI-инструмент для сохранения точной копии полной веб-страницы в одном HTML-файле (на основе SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Обновлено 2026-11-18 📅 Создано 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver многопроцессный веб-краулер изображений (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Обновлено 2026-11-12 📅 Создано 2018-11-21
84
orangecoding/fredy

❤️ Fredy — [F]ind [R]eal [E]state [D]amn Eas[y] (находи настоящую недвижимость без лишних усилий) — Fredy продолжает искать новые квартиры, дома и другие варианты жилья в Европе на таких платформах, как ImmoScout24, Immowelt и eBay Kleinanzeigen, и мгновенно отправляет результаты через Slack, Telegram, электронную почту, Discord или ntfy, чтобы вы могли сосредоточиться на более важных вещах в жизни ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Обновлено 2026-11-19 📅 Создано 2018-01-15
85
erma0/douyin

Douyin Crawler – сбор общедоступных данных, таких как главная страница аккаунта, лайки, коллекции, оригинальные музыкальные треки, темы, поиск, сборники, работы, подписки, подписчики и т. д.

erma0
⭐ 1,625 👤 erma0 User 🕐 Обновлено 2026-08-14 📅 Создано 2022-05-29
86
ArchiveTeam/grab-site

Веб-краулер архивариуса: вывод WARC, информационная панель для всех сканирований, динамические шаблоны игнорирования

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Обновлено 2025-05-23 📅 Создано 2015-02-05
87
srx-2000/spider_collection

Python-краулеры, текущий запас: Парсинг песен NetEase Cloud Music, Парсинг видео Bilibili, Парсинг вопросов и ответов Zhihu, Парсинг обоев, Парсинг видео xvideos, Парсинг аудиокниг, Краулер Weibo, Парсинг информации Anjuke + визуализация данных, Извлекатель обложек видео Bilibili, Инкапсуляция пула прокси IP, Краулер пользователей Zhihu уровня миллиона + анализ данных, Краулер пользователей GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Обновлено 2024-04-23 📅 Создано 2020-02-04
88
0x676e67/wreq-python

Эргономичный, ориентированный на конфиденциальность HTTP-клиент на Python

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Обновлено 2026-11-15 📅 Создано 2025-02-10
89
rebrowser/rebrowser-patches

Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Обновлено 2026-11-02 📅 Создано 2024-08-06
90
dadoonet/fscrawler

Elasticsearch Краулер файловой системы (Краулер FS)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 Обновлено 2026-11-19 📅 Создано 2012-06-08
91
xisuo67/XHS-Spider

Инструмент для сбора данных Xiaohongshu, пакетной загрузки изображений веб-сайтов и видеоресурсов, инструмент для сбора данных с очень привлекательным внешним видом (пакетная загрузка, извлечение видео, изображений) Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 Обновлено 2025-12-16 📅 Создано 2023-04-25
92
openwpm/OpenWPM

Каркас для измерения конфиденциальности в Интернете

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 Обновлено 2026-10-13 📅 Создано 2014-06-10
93
darbra/sperm

Подборка интересных статей по обратному инжинирингу, стоит ознакомиться

darbra
⭐ 1,427 👤 darbra User 🕐 Обновлено 2026-04-13 📅 Создано 2022-03-02
94
kgspider/crawler

Обмен кодом веб-скрапинга брата К, обратная разработка JS, продвинутый веб-скрапинг. Подпишитесь на официальный аккаунт WeChat: Веб-скрапинг брата К

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Обновлено 2025-05-12 📅 Создано 2021-08-24
95
lorey/mlscraper

🤖 Автоматически собирайте данные с HTML-сайтов, просто предоставляя примеры

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Обновлено 2024-03-17 📅 Создано 2020-07-30
96
felipecsl/wombat

Легковесный веб-краулер/скраппер на Ruby с элегантным DSL, который извлекает структурированные данные из страниц.

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 Обновлено 2026-10-27 📅 Создано 2011-11-14
97
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) Инструментарий для аудита и эксплуатации.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Обновлено 2026-07-12 📅 Создано 2018-08-21
98
fastcrw/crw

Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-03-02
99
dwisiswant0/go-dork

Самый быстрый сканер Dork, написанный на Go.

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 Обновлено 2024-02-04 📅 Создано 2020-07-13
100
kiddyuchina/Beanbun

Beanbun — это многопроцессный фреймворк для веб-скрапинга, написанный на PHP, с хорошей открытостью и высокой масштабируемостью, основанный на Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Обновлено 2026-05-26 📅 Создано 2017-04-13