Git Stars Git Stars

#crawler Репозитории

162
Всего репозиториев
1.1M
Всего звезд
6,863
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript JavaScript Java Go

Всего репозиториев: 162

151
fengzhizi715/NetDiscovery

NetDiscovery — это универсальный фреймворк/промежуточное ПО для веб-краулинга, реализованное на основе таких фреймворков, как Vert.x и RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Обновлено 2026-06-05 📅 Создано 2017-11-26
152
cv-cat/catbus

Одна команда для работы с Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com и X: единые команды и вывод в формате JSON для людей и ИИ-агентов

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Обновлено 2026-11-20 📅 Создано 2026-09-27
153
rajatomar788/pywebcopy

Локально сохраняет веб-страницы на ваш жесткий диск с изображениями, CSS, JS и ссылками как есть.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 Обновлено 2025-05-13 📅 Создано 2018-07-23
154
scrapfly/Antibot-Detector

Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Обновлено 2026-11-17 📅 Создано 2025-09-03
155
yhy0/Jie

Jie выделяется как комплексный инструмент для оценки безопасности и эксплуатации, тщательно разработанный для веб-приложений. Его надежный набор функций включает сканирование уязвимостей, сбор информации и эксплуатацию, что делает его незаменимым набором инструментов как для специалистов по безопасности, так и для пентестеров. 挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 Обновлено 2024-07-05 📅 Создано 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: Сбор бесплатных прокси из интернета. (Огромное количество высококачественных бесплатных прокси по всему миру, поддержка сканирования десятков источников бесплатных прокси, фильтрация прокси по пользовательским правилам, необходимо для веб-скрапинга и анализа данных, ежедневное обновление с большим количеством бесплатных прокси.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Обновлено 2026-11-21 📅 Создано 2018-10-29
157
vakra-dev/reader

Открытая веб‑инфраструктура для ИИ. Скрапинг, краулинг и автоматизация веба, очистка markdown, сессии браузера — всё готово для ваших агентов.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Обновлено 2026-10-06 📅 Создано 2026-01-07
158
zhuyingda/webster

Надежный высокоуровневый фреймворк для веб-краулинга и скрейпинга для Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Обновлено 2025-03-12 📅 Создано 2017-11-04
159
MikeMeliz/TorCrawl.py

Краулинг и извлечение (обычных или onion) веб-страниц через сеть TOR

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 Обновлено 2026-06-29 📅 Создано 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions — это открытый TOR-спайдер / краулер onion-сервисов, размещённый на zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Обновлено 2026-11-19 📅 Создано 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ Самостоятельно размещаемый многоканальный мониторинг цен на авиабилеты: сбор подробной информации о рейсах → отправка текстовых и графических уведомлений через DingTalk → усиленные оповещения в четыре уровня при достижении заданных условий. Для внутренних и международных маршрутов (направления на пяти континентах) используется единый процесс сбора, проверки и отправки уведомлений. Данные хранятся на вашем устройстве, все настройки доступны в веб-интерфейсе. Проект с открытым исходным кодом и бесплатный.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 Обновлено 2026-11-18 📅 Создано 2026-09-15
162
AlexMathew/scrapple

Фреймворк для создания полуавтоматических экстракторов веб-контента

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Обновлено 2026-01-16 📅 Создано 2014-12-13