Git Stars Git Stars

#spider Репозитории

92
Всего репозиториев
325,814
Всего звезд
3,541
Среднее количество звезд на репозиторий

Всего репозиториев: 92

51
kiddyuchina/Beanbun

Beanbun — это многопроцессный фреймворк для веб-скрапинга, написанный на PHP, с хорошей открытостью и высокой масштабируемостью, основанный на Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Обновлено 2026-05-26 📅 Создано 2017-04-13
52
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider, парсер для извлечения результатов поиска Baidu, в настоящее время поддерживает веб-поиск Baidu, поиск изображений Baidu, поиск Baidu Knows, поиск видео Baidu, поиск новостей Baidu, поиск Baidu Wenku, поиск опыта Baidu и поиск Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Обновлено 2024-06-14 📅 Создано 2020-10-03
54
elixir-crawly/crawly

Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-09
55
skygazer42/DL-Hub

LLM Большие модели Заметки 50 статей Этот репозиторий содержит практические проекты в таких областях, как машинное обучение, глубокое обучение, компьютерное зрение, обработка естественного языка, большие модели, веб-скрапинг и т. д.

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 Обновлено 2026-08-30 📅 Создано 2022-04-05
56
wujunwei928/parse-video

Golang Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Обновлено 2026-11-08 📅 Создано 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog, простой, красивый, мощный и адаптивный Java-блог

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 Обновлено 2025-03-16 📅 Создано 2018-04-10
58
1061700625/WeChat_Article

Сбор статей из публичных аккаунтов WeChat

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 Обновлено 2026-06-17 📅 Создано 2019-02-21
59
gsh199449/spider

Настраиваемый веб-паук с удобной веб-консолью

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 Обновлено 2026-06-03 📅 Создано 2016-11-24
60
spidersuite/SpiderSuite

Релизы, вики и дорожная карта SpiderSuite (веб-сканер безопасности)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Обновлено 2026-08-13 📅 Создано 2023-04-05
61
QIN2DIM/V2RSS

:rocket: Сбор|Бесплатно|Высокое качество|Подписка?

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 Обновлено 2026-11-17 📅 Создано 2020-06-02
62
LoseNine/Crack-JS-Spider

Обратное проектирование JS, взлом параметров шифрования JS против скрейпинга, уже взломан ползунок Geetest w (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (обновлено 2020-06-30), пароль Taobao, вход в Tianan Insurance, вход в Bilibili, вход в Fang.com, вход в WPS, вход в Weibo, Youdao Translate, вход в Netease, вход в WeChat Official Account, вход в Air China Network, вход в Jmubiao, вход в Student Information Management System, вход в Gengying Finance, вход в Chongqing Science and Technology Resource Sharing Platform, загрузка Netease Cloud Music, парсинг видеоссылок в один клик, вход в Cailianshe.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 Обновлено 2024-05-03 📅 Создано 2020-02-09
63
fredwu/crawler

Высокопроизводительный веб-краулер / скрейпер на Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-08
64
ma6254/FictionDown

Скачивание романов|Скрапинг романов|起点|笔趣阁|Экспорт Markdown|Экспорт txt|Конвертация epub|Фильтрация рекламы|Автоматическая корректура

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Обновлено 2025-01-21 📅 Создано 2019-03-03
65
0xAllenChen/spider_reverse

Случаи обратного инжиниринга веб-краулеров, завершено: TLS-отпечаток | Ruishu | Zhenkunxing | NetEase Yudun | Обратное проектирование/декомпиляция мини-программ WeChat (Baida Xingxi) | Tonghuashun | RPC-дешифрование | Jiasule | Ползунок-CAPTCHA Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Платформа больших данных по промышленной политике | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Обновлено 2026-11-17 📅 Создано 2023-06-02
66
hellock/icrawler

Фреймворк многопоточного краулера с многими встроенными краулерами изображений.

hellock
⭐ 936 Python 👤 hellock User 🕐 Обновлено 2025-12-10 📅 Создано 2016-03-19
67
alltheplaces/alltheplaces

Набор спайдеров и скрейперов для извлечения информации о местоположении из мест, которые публикуют свою локацию в интернете.

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-06-15
68
BlessedRebuS/Krawl

Krawl — это настраиваемый, легковесный, облачный веб-сервер для обмана и анти-краулер, который создает фальшивые веб-приложения с низко висящими уязвимостями, используя реалистичные случайно генерируемые приманные данные и HTML-шаблоны, сгенерированные ИИ.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-10
69
kingschan1204/istock

:point_right: Java-краулер акций на базе Spring Boot (поддерживает только акции A), если нравится :heart: пожалуйста :star: . Версия обновления V2 в разработке!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 Обновлено 2024-12-27 📅 Создано 2017-03-09
70
postmodern/spidr

Универсальная библиотека Ruby для веб-скрейпинга, которая может сканировать сайт, несколько доменов, определенные ссылки или бесконечно. Spidr разработан для скорости и простоты использования.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Обновлено 2026-01-12 📅 Создано 2009-03-08
71
DoiiarX/NLCISBNPlugin

Плагин источника/метаданных calibre на основе поиска ISBN Национальной библиотеки Китая. https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 Обновлено 2026-01-07 📅 Создано 2023-12-14
72
bahaabdelwahed/killshot

Фреймворк для тестирования на проникновение, инструмент для сбора информации и сканер уязвимостей веб-сайтов

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 Обновлено 2025-12-07 📅 Создано 2018-10-27
73
montaro2017/bili_novel_packer

Упаковщик ранобэ, который собирает контент с сайтов Bili Light Novel (bilinovel.com linovelib.com) и упаковывает его в формат EPUB, поддерживая обложки, иллюстрации, оглавление и объединение отдельных томов.

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 Обновлено 2026-11-13 📅 Создано 2023-02-20
74
xuxueli/xxl-crawler

Легковесный фреймворк веб-краулера. (Фреймворк краулера на Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Обновлено 2026-08-08 📅 Создано 2017-10-17
75
polyrabbit/hacker-news-digest

📰 Пусть LLM перескажет для вас Hacker News

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Обновлено 2026-11-21 📅 Создано 2014-09-17
76
signal18/replication-manager

Signal 18 repman - Менеджер репликации для MySQL / MariaDB / Percona Server

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Обновлено 2024-04-05 📅 Создано 2018-12-21
78
wujunwei928/parse-video-py

Python-скрипт для удаления водяных знаков из коротких видео: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Национальное короткое видео, Pipi Забавный, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 Обновлено 2026-11-08 📅 Создано 2024-04-03
79
xinlingqudongX/TSDK

SDK для краулера Taobao, используется для открытой платформы Taobao или для входа и парсинга Taobao, Tmall, Alibaba

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 Обновлено 2026-03-26 📅 Создано 2018-12-06
80
casual-silva/NewsCrawl

Корпоративный проект с открытым исходным кодом для сбора новостей общественного мнения: поддерживает запуск любого количества краулеров одним щелчком мыши, запланированные задачи краулеров, пакетное удаление краулеров; развертывание краулеров одним щелчком; визуализация мониторинга краулеров; настройка стратегии распределения краулеров в кластере; 👉 Готовая документация по развертыванию Docker одним щелчком уже решила проблемы за вас.

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 Обновлено 2026-05-23 📅 Создано 2022-07-08
81
darbra/sign

Подходы и опыт реверс-инжиниринга параметров приложений, реверс-инжиниринг Android

darbra
⭐ 667 👤 darbra User 🕐 Обновлено 2024-06-13 📅 Создано 2020-05-26
82
spiritLHLS/Hang-up-items

Проект анкеты, рекомендация облачных серверов, проект подвески, бесплатный прокси, сбор различных скриптов. Добро пожаловать в верхний правый угол, нажмите на колокольчик, чтобы своевременно получать информацию об обновлениях. (Не форкайте, ведите себя скромно)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 Обновлено 2026-11-13 📅 Создано 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery — это универсальный фреймворк/промежуточное ПО для веб-краулинга, реализованное на основе таких фреймворков, как Vert.x и RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Обновлено 2026-06-05 📅 Создано 2017-11-26
84
cv-cat/catbus

Одна команда для работы с Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com и X: единые команды и вывод в формате JSON для людей и ИИ-агентов

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-27
85
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
86
l4rm4nd/LinkedInDumper

Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Обновлено 2026-08-21 📅 Создано 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro Визуальный инструмент управления для просмотра проектов краулеров Scrapy+Scrapyd и планового запуска задач краулеров, обновленная версия SpiderAdmin

mouday
⭐ 614 Python 👤 mouday User 🕐 Обновлено 2026-06-15 📅 Создано 2021-01-25
88
jadehh/TVSpider

Репозиторий парсера фильмов и кошачьих фильмов

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 Обновлено 2024-09-18 📅 Создано 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy: Сбор бесплатных прокси из интернета. (Огромное количество высококачественных бесплатных прокси по всему миру, поддержка сканирования десятков источников бесплатных прокси, фильтрация прокси по пользовательским правилам, необходимо для веб-скрапинга и анализа данных, ежедневное обновление с большим количеством бесплатных прокси.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Обновлено 2026-11-21 📅 Создано 2018-10-29
90
zhuyingda/webster

Надежный высокоуровневый фреймворк для веб-краулинга и скрейпинга для Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Обновлено 2025-03-12 📅 Создано 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions — это открытый TOR-спайдер / краулер onion-сервисов, размещённый на zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Обновлено 2026-11-19 📅 Создано 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 Программа визуализации и анализа данных комментариев Bilibili -- создатели контента могут использовать её для выбора тем и понимания своей аудитории.

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 Обновлено 2025-06-27 📅 Создано 2025-06-03