#crawler Dépôts
162 dépôts au total
NetDiscovery est un framework/middleware de crawling à usage général implémenté sur la base de frameworks tels que Vert.x et RxJava 2.
Une seule commande pour utiliser Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com et X : des commandes unifiées et une sortie JSON pour les humains et les agents d’IA
Enregistre localement les pages web sur votre disque dur avec les images, CSS, JS et liens tels quels.
Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.
Jie se distingue comme un outil complet d'évaluation de la sécurité et d'exploitation méticuleusement conçu pour les applications web. Sa suite robuste de fonctionnalités comprend l'analyse des vulnérabilités, la collecte d'informations et l'exploitation, ce qui en fait une boîte à outils indispensable pour les professionnels de la sécurité et les testeurs d'intrusion. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy : Collecte de proxys gratuits sur Internet. (Grande quantité de proxys gratuits de haute qualité dans le monde entier, prise en charge du crawling de dizaines de sources de partage de proxys gratuits, filtrage de proxys avec des règles personnalisées, essentiel pour le scraping web et l'analyse de données, mis à jour quotidiennement avec une grande quantité de proxys gratuits.)
Infrastructure web open source pour l'IA. Scrapez, explorez et automatisez le web, nettoyez le markdown, les sessions de navigateur, prêt pour vos agents.
Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.
Fresh Onions est un robot d’exploration TOR open source / un robot d’exploration des services cachés onion, hébergé à l’adresse zlal32teyptf4tvi.onion
✈️ Surveillance multicanale des tarifs aériens, hébergée sur votre propre serveur : collecte des détails des vols → notifications texte et image via DingTalk → alertes renforcées en quatre niveaux lorsque les critères sont atteints. Les vols nationaux et internationaux (destinations sur les cinq continents) utilisent le même processus de collecte, d’évaluation et de notification. Les données restent sur votre machine, tous les réglages se font sur le Web, et la solution est open source et gratuite.
Un framework pour la création d'extracteurs de contenu web semi-automatiques