Git Stars Git Stars

#crawler Dépôts

162
Total des Dépôts
1.1M
Nombre total d'étoiles
6,863
Moyenne d'Étoiles/Dépôt
151
fengzhizi715/NetDiscovery

NetDiscovery est un framework/middleware de crawling à usage général implémenté sur la base de frameworks tels que Vert.x et RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Mis à jour 2026-06-05 📅 Créé 2017-11-26
152
cv-cat/catbus

Une seule commande pour utiliser Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com et X : des commandes unifiées et une sortie JSON pour les humains et les agents d’IA

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-27
153
rajatomar788/pywebcopy

Enregistre localement les pages web sur votre disque dur avec les images, CSS, JS et liens tels quels.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 Mis à jour 2025-05-13 📅 Créé 2018-07-23
154
scrapfly/Antibot-Detector

Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2025-09-03
155
yhy0/Jie

Jie se distingue comme un outil complet d'évaluation de la sécurité et d'exploitation méticuleusement conçu pour les applications web. Sa suite robuste de fonctionnalités comprend l'analyse des vulnérabilités, la collecte d'informations et l'exploitation, ce qui en fait une boîte à outils indispensable pour les professionnels de la sécurité et les testeurs d'intrusion. 挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 Mis à jour 2024-07-05 📅 Créé 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy : Collecte de proxys gratuits sur Internet. (Grande quantité de proxys gratuits de haute qualité dans le monde entier, prise en charge du crawling de dizaines de sources de partage de proxys gratuits, filtrage de proxys avec des règles personnalisées, essentiel pour le scraping web et l'analyse de données, mis à jour quotidiennement avec une grande quantité de proxys gratuits.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Mis à jour 2026-11-21 📅 Créé 2018-10-29
157
vakra-dev/reader

Infrastructure web open source pour l'IA. Scrapez, explorez et automatisez le web, nettoyez le markdown, les sessions de navigateur, prêt pour vos agents.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Mis à jour 2026-10-06 📅 Créé 2026-01-07
158
zhuyingda/webster

Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Mis à jour 2025-03-12 📅 Créé 2017-11-04
159
MikeMeliz/TorCrawl.py

Crawler et extraire des pages web (ordinaires ou onion) via le réseau TOR

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 Mis à jour 2026-06-29 📅 Créé 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions est un robot d’exploration TOR open source / un robot d’exploration des services cachés onion, hébergé à l’adresse zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Mis à jour 2026-11-19 📅 Créé 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ Surveillance multicanale des tarifs aériens, hébergée sur votre propre serveur : collecte des détails des vols → notifications texte et image via DingTalk → alertes renforcées en quatre niveaux lorsque les critères sont atteints. Les vols nationaux et internationaux (destinations sur les cinq continents) utilisent le même processus de collecte, d’évaluation et de notification. Les données restent sur votre machine, tous les réglages se font sur le Web, et la solution est open source et gratuite.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 Mis à jour 2026-11-18 📅 Créé 2026-09-15
162
AlexMathew/scrapple

Un framework pour la création d'extracteurs de contenu web semi-automatiques

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Mis à jour 2026-01-16 📅 Créé 2014-12-13