Git Stars Git Stars

#crawler Репозитории

162
Всего репозиториев
1.1M
Всего звезд
6,863
Среднее количество звезд на репозиторий

Всего репозиториев: 162

101
Zeal-L/BiliBili-Manga-Downloader

Удобный загрузчик комиксов Bilibili с графическим интерфейсом, поддерживающий поиск комиксов по ключевым словам и вход по QR-коду, 'черную технологию' для загрузки разблокированных глав, многопоточную загрузку, различные форматы сохранения, локальное управление комиксами и проверку обновлений в один клик!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 Обновлено 2025-07-23 📅 Создано 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Быстро соберите информацию (например, подписчики, теги и т.д.) профиля Instagram.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 Обновлено 2024-03-19 📅 Создано 2017-02-15
103
seveniruby/AppCrawler

Инструмент автоматического обхода приложений на базе Appium

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 Обновлено 2026-04-20 📅 Создано 2016-02-16
104
webrecorder/browsertrix-crawler

Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Обновлено 2026-11-19 📅 Создано 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k — ответвление популярного Newspaper3k. Извлечение статей, заголовков и метаданных с новостных сайтов.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Обновлено 2026-11-01 📅 Создано 2023-10-22
106
dixudx/tumblr-crawler

Легко скачивайте все фото/видео из блогов Tumblr. Скачивайте изображения и видео из указанных блогов Tumblr

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 Обновлено 2025-12-26 📅 Создано 2016-04-15
107
codelibs/fess

Сервер корпоративного поиска и поиска по сайтам с открытым исходным кодом, предназначенный для самостоятельного хостинга на базе OpenSearch. Поддерживает индексацию веб-ресурсов, файлов, баз данных и облачных источников, более 20 языков, REST API, а также семантический поиск и AI/RAG. Лицензия Apache-2.0.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-09-13
108
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, парсер для извлечения результатов поиска Baidu, в настоящее время поддерживает веб-поиск Baidu, поиск изображений Baidu, поиск Baidu Knows, поиск видео Baidu, поиск новостей Baidu, поиск Baidu Wenku, поиск опыта Baidu и поиск Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Обновлено 2024-06-14 📅 Создано 2020-10-03
110
elixir-crawly/crawly

Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-09
111
0x676e67/wreq

Эргономичный HTTP-клиент на Rust с поддержкой конфиденциальности

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Обновлено 2026-11-20 📅 Создано 2024-09-19
112
wujunwei928/parse-video

Golang Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Обновлено 2026-11-08 📅 Создано 2022-07-12
113
vifreefly/kimuraframework

Создавайте веб‑скрейперы на Ruby, используя чистый DSL с поддержкой ИИ. Kimurai использует ИИ, чтобы определить, где находятся данные, затем кэширует селекторы и выполняет скрейпинг только на Ruby. Получите интеллектуальные возможности LLM без задержек на запросы и стоимости токенов.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Обновлено 2026-01-27 📅 Создано 2018-08-23
114
antibrow/antibrow

Антидетект-браузер на уровне ядра с API Playwright, которое вы уже используете. SDK для Python и Node, поддержка MCP, неограниченное количество локальных профилей. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Обновлено 2026-09-28 📅 Создано 2026-07-29
115
darbra/awesome-ai-reverse

Реверс-инжиниринг с ИИ — всё за один раз

darbra
⭐ 1,026 👤 darbra User 🕐 Обновлено 2026-09-29 📅 Создано 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Обновлено 2026-09-27 📅 Создано 2023-10-04
117
apache/stormcrawler

Масштабируемый, зрелый и универсальный веб-краулер на основе Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Обновлено 2026-11-17 📅 Создано 2013-04-12
118
pea3nut/Pxer

Инструмент для pixiv.net. Краулер P-станции, доступный для всех

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 Обновлено 2025-03-03 📅 Создано 2015-12-16
119
spidersuite/SpiderSuite

Релизы, вики и дорожная карта SpiderSuite (веб-сканер безопасности)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Обновлено 2026-08-13 📅 Создано 2023-04-05
120
fredwu/crawler

Высокопроизводительный веб-краулер / скрейпер на Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-08
121
ma6254/FictionDown

Скачивание романов|Скрапинг романов|起点|笔趣阁|Экспорт Markdown|Экспорт txt|Конвертация epub|Фильтрация рекламы|Автоматическая корректура

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Обновлено 2025-01-21 📅 Создано 2019-03-03
122
xiaoxiunique/x-kit

Инструменты протокола на чистом Python и исследовательские заметки для X.com с наборами данных учетных записей Twitter VibeLoft

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 Обновлено 2026-11-04 📅 Создано 2024-12-16
123
0xAllenChen/spider_reverse

Случаи обратного инжиниринга веб-краулеров, завершено: TLS-отпечаток | Ruishu | Zhenkunxing | NetEase Yudun | Обратное проектирование/декомпиляция мини-программ WeChat (Baida Xingxi) | Tonghuashun | RPC-дешифрование | Jiasule | Ползунок-CAPTCHA Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Платформа больших данных по промышленной политике | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Обновлено 2026-11-17 📅 Создано 2023-06-02
124
TikHub/TikHub-API-Python-SDK

Высокопроизводительный асинхронный решатель капчи (Captcha Solver) для Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X) с API (интерфейсом) временной почты (Temp Mail).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Обновлено 2026-10-03 📅 Создано 2022-12-17
125
hellock/icrawler

Фреймворк многопоточного краулера с многими встроенными краулерами изображений.

hellock
⭐ 936 Python 👤 hellock User 🕐 Обновлено 2025-12-10 📅 Создано 2016-03-19
126
JoMingyu/google-play-scraper

Google Play скрейпер для Python, вдохновленный <facundoolano/google-play-scraper>

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 Обновлено 2024-08-05 📅 Создано 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb может сканировать веб-страницы, читать PDF, DOCX, TXT и извлекать основное содержание, а затем отвечать на ваши вопросы на основе содержания или обобщать ключевые моменты.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 Обновлено 2026-05-25 📅 Создано 2023-03-09
128
scrapinghub/scrapyrt

HTTP API для пауков Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Обновлено 2026-10-13 📅 Создано 2015-01-06
129
rndinfosecguy/Scavenger

Краулер (бот), ищущий утечки на сайтах для публикации текста.

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 Обновлено 2026-11-20 📅 Создано 2018-03-10
130
skrapeit/skrape.it

Библиотека на базе Kotlin для тестирования, скрапинга и парсинга, предоставляющая возможность анализа и извлечения данных из HTML (отрендеренного на сервере и на клиенте). Она делает особый акцент на удобстве использования и высокую степень читаемости, предоставляя интуитивный DSL. Она предназначена для использования как библиотека тестирования, но также может использоваться для удобного скрапинга веб-сайтов.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 Обновлено 2026-10-20 📅 Создано 2019-01-14
131
StJudeWasHere/seonaut

Инструмент для аудита SEO с открытым исходным кодом.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Обновлено 2026-10-08 📅 Создано 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) — это менеджер загрузок для Windows, macOS и Linux.

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 Обновлено 2026-05-04 📅 Создано 2019-07-04
133
BlessedRebuS/Krawl

Krawl — это настраиваемый, легковесный, облачный веб-сервер для обмана и анти-краулер, который создает фальшивые веб-приложения с низко висящими уязвимостями, используя реалистичные случайно генерируемые приманные данные и HTML-шаблоны, сгенерированные ИИ.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-10
134
postmodern/spidr

Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Обновлено 2026-01-12 📅 Создано 2009-03-08
135
tiliondev/fortress

Скрытый движок Chromium, который предотвращает блокировку скрейперов и браузерных агентов благодаря изменению всего одной строки кода.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Обновлено 2026-11-03 📅 Создано 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Простой, но полезный код урока по веб-скрейпингу на Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Обновлено 2024-04-07 📅 Создано 2017-12-29
137
fffonion/xeHentai

Загрузчик Doujinshi Загрузка джентльменских комиксов

fffonion
⭐ 808 Python 👤 fffonion User 🕐 Обновлено 2026-11-15 📅 Создано 2013-03-23
138
fanyong920/jvppeteer

Java API для Chrome и Firefox

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 Обновлено 2026-10-04 📅 Создано 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother — это вооружённая платформа OSINT, включающая перебор имён пользователей (более чем на 473 платформах), визуальную разведку по четырём векторам, отслеживание с помощью Sky Radar, анализ криптовалютных кошельков, сбор сведений об SSL, восстановление цифрового следа, извлечение EXIF-данных, продвинутый поиск с помощью дорков и сетевую разведку.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 Обновлено 2026-11-14 📅 Создано 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

Мощный инструмент для обратной разработки cookie JS: инструмент визуализации для мониторинга изменений cookie JS и хук для cookie JS с условными точками останова

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 Обновлено 2026-01-28 📅 Создано 2022-07-22
141
lixi5338619/lxBook

Репозиторий кода книги «Продвинутая практика реверс-инжиниринга веб-скрапинга»

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 Обновлено 2026-01-26 📅 Создано 2021-11-16
142
xuxueli/xxl-crawler

Легковесный фреймворк веб-краулера. (Фреймворк краулера на Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Обновлено 2026-08-08 📅 Создано 2017-10-17
143
polyrabbit/hacker-news-digest

📰 Пусть LLM перескажет для вас Hacker News

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Обновлено 2026-11-21 📅 Создано 2014-09-17
144
TumblThreeApp/TumblThree

Приложение для резервного копирования блогов Tumblr и Twitter

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 Обновлено 2026-11-14 📅 Создано 2018-12-29
145
PyPtt/PyPtt

Лучшая PTT-библиотека

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 Обновлено 2026-11-13 📅 Создано 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Обновлено 2024-04-05 📅 Создано 2018-12-21
147
chushuai/wscan

Wscan — это сканер безопасности веб-сайтов, ориентированный на веб-безопасность и призванный сделать веб-безопасность доступной для всех.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 Обновлено 2026-09-21 📅 Создано 2022-05-06
148
tasos-py/Search-Engines-Scraper

Поиск в Google, Bing, Yahoo и других поисковых системах с помощью Python

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 Обновлено 2025-04-02 📅 Создано 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL быстро скачивает содержимое курса из Moodle (например, PDF лекций)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 Обновлено 2026-10-22 📅 Создано 2019-12-19
150
cxcscmu/Craw4LLM

Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-17