Git Stars Git Stars

#crawl Репозитории

Откройте для себя 11 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #crawl, с общим числом 27,381 звёзд (в среднем 2,489 на проект). Лидером этой темы является kangvcar/InfoSpider, набравший 8,275 звёзд.

11
Всего репозиториев
27,381
Всего звезд
2,489
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript JavaScript Java

Всего репозиториев: 11

1
kangvcar/InfoSpider

INFO-SPIDER — это инструментарий веб-краулера🧰, объединяющий множество источников данных, призванный помочь пользователям безопасно и быстро получать свои данные. Код инструмента является открытым, а процесс — прозрачным. Поддерживаемые источники данных включают GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Генерация альбомов WeChat Moments, История просмотров браузера, 12306, Blog Garden, CSDN Blog, OSCHINA Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Обновлено 2026-04-21 📅 Создано 2020-07-11
2
201206030/novel-plus

novel-plus — это многофункциональная CMS для управления романами, поддерживающая несколько платформ (ПК, WAP, приложения и мини-программы). В системе есть рекомендации, поиск и рейтинги романов, чтение, книжные полки, рецензии и списки книг, сбор романов из Интернета, центр участников, раздел для авторов, пополнение счёта и подписки, а также публикация новостей.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Обновлено 2026-11-17 📅 Создано 2020-05-02
3
any4ai/AnyCrawl

AnyCrawl 🚀: Node.js/TypeScript-краулер, который преобразует веб-сайты в данные, готовые для LLM, и извлекает структурированные результаты SERP из Google/Bing/Baidu/и т.д. Собственная многопоточность для пакетной обработки.

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 Обновлено 2026-11-12 📅 Создано 2025-03-31
4
ReaJason/xhs

Обертка запросов на основе веб-клиента Xiaohongshu. https://reajason.github.io/xhs/

ReaJason
⭐ 2,177 Python 👤 ReaJason User 🕐 Обновлено 2025-07-01 📅 Создано 2023-04-03
5
coder-hxl/x-crawl

Гибкая библиотека краулера для Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Обновлено 2026-11-21 📅 Создано 2023-01-22
6
ArchiveTeam/grab-site

Веб-краулер архивариуса: вывод WARC, информационная панель для всех сканирований, динамические шаблоны игнорирования

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Обновлено 2025-05-23 📅 Создано 2015-02-05
7
tavily-ai/tavily-python

SDK Python от Tavily позволяет легко взаимодействовать с API Tavily, предоставляя полный спектр наших функций поиска, извлечения, краулинга, картирования и исследования непосредственно из ваших программ на Python. Легко интегрируйте интеллектуальный поиск, извлечение контента и возможности исследования в ваши приложения, используя мощные функции Tavily.

tavily-ai
⭐ 1,432 Python 👤 tavily-ai Organization 🕐 Обновлено 2026-10-26 📅 Создано 2023-09-01
8
darbra/sperm

Подборка интересных статей по обратному инжинирингу, стоит ознакомиться

darbra
⭐ 1,427 👤 darbra User 🕐 Обновлено 2026-04-13 📅 Создано 2022-03-02
9
LoseNine/Crack-JS-Spider

Обратное проектирование JS, взлом параметров шифрования JS против скрейпинга, уже взломан ползунок Geetest w (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (обновлено 2020-06-30), пароль Taobao, вход в Tianan Insurance, вход в Bilibili, вход в Fang.com, вход в WPS, вход в Weibo, Youdao Translate, вход в Netease, вход в WeChat Official Account, вход в Air China Network, вход в Jmubiao, вход в Student Information Management System, вход в Gengying Finance, вход в Chongqing Science and Technology Resource Sharing Platform, загрузка Netease Cloud Music, парсинг видеоссылок в один клик, вход в Cailianshe.

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 Обновлено 2024-05-03 📅 Создано 2020-02-09
10
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
11
philschmid/clipper.js

Конвертер и сканер HTML в Markdown.

philschmid
⭐ 606 TypeScript 👤 philschmid User 🕐 Обновлено 2024-01-09 📅 Создано 2023-09-27

Часто задаваемые вопросы

1

Какой репозиторий по теме #crawl наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #crawl на GitHub — kangvcar/InfoSpider, набравший 8,275 звёзд. INFO-SPIDER — это инструментарий веб-краулера🧰, объединяющий множество источников данных, призванный помочь пользователям безопасно и быстро получать свои данные. Код инструмента является открытым, а процесс — прозрачным. Поддерживаемые источники данных включают GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Генерация альбомов WeChat Moments, История просмотров браузера, 12306, Blog Garden, CSDN Blog, OSCHINA Blog, JianShu.

2

Какие языки программирования чаще всего используются в репозиториях по теме #crawl?

Среди наиболее высоко оценённых проектов по теме #crawl на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Java.

3

Как рассчитывается рейтинг репозиториев по теме #crawl?

Мы отслеживаем 11 активных репозиториев с открытым исходным кодом, отмеченных тегом #crawl (500 и более звёзд), с общим числом 27,381 звёзд и в среднем 2,489 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.