#spider Dépôts
92 dépôts au total
Beanbun est un framework de crawling web multiprocessus écrit en PHP, avec une bonne ouverture et une haute évolutivité, basé sur Workerman.
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
BaiduSpider, un robot d'exploration qui récupère les résultats de recherche Baidu, prend actuellement en charge la recherche web Baidu, la recherche d'images Baidu, la recherche Baidu Knows, la recherche vidéo Baidu, la recherche d'actualités Baidu, la recherche Baidu Wenku, la recherche d'expériences Baidu et la recherche Baidu Baike.
Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.
LLM Grands modèles Notes 50 articles Ce dépôt contient des projets pratiques dans des domaines tels que l'apprentissage automatique, l'apprentissage profond, la vision par ordinateur, le traitement du langage naturel, les grands modèles, le web scraping, etc.
Suppression de filigrane de vidéos courtes Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Versions, wiki et feuille de route de SpiderSuite (explorateur de sécurité web)
JS Reverse Engineering, décryptage des paramètres de cryptage anti-scraping JS, curseur Geetest W déjà décrypté (2022.2.19), QQ Music sign (2022.2.13), Pinduoduo anti_content, Boss Zhipin zp_token, Zhihu x-zse-96, Kugou kg_mid/dfid, Vipshop mars_cid, China Judgments Online (mis à jour le 2020-06-30), mot de passe Taobao, connexion Tianan Insurance, connexion Bilibili, connexion Fang.com, connexion WPS, connexion Weibo, Youdao Translate, connexion Netease, connexion WeChat Official Account, connexion Air China Network, connexion Jmubiao, connexion Student Information Management System, connexion Gengying Finance, connexion Chongqing Science and Technology Resource Sharing Platform, téléchargement Netease Cloud Music, analyse de lien vidéo en un clic, connexion Cailianshe.
Téléchargement de romans|Récupération de romans|起点|笔趣阁|Exporter Markdown|Exporter txt|Convertir epub|Filtrage des publicités|Correction automatique
Études de cas de rétro-ingénierie de robots d'exploration, terminées : Empreinte TLS | Ruishu | Zhenkunxing | NetEase Yudun | Rétro-ingénierie/décompilation de mini-programmes WeChat (Baida Xingxi) | Tonghuashun | Démystification RPC | Jiasule | Code CAPTCHA à curseur Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plateforme de données massives sur les politiques industrielles | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.
Un ensemble de spiders et de scrapers pour extraire les informations de localisation des lieux qui publient leur position sur Internet.
Krawl est un serveur de tromperie web personnalisable, léger et natif du cloud, et un anti-crawler qui crée des applications web factices avec des vulnérabilités faciles à exploiter en utilisant des données d'appât réalistes générées aléatoirement et des modèles HTML générés par IA.
:point_right: Un crawler d'actions Java basé sur Spring Boot (ne supporte que les actions A), si vous :heart: veuillez :star: . La version d'upgrade V2 est en développement !
Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.
Un plugin source/métadonnées Calibre basé sur la recherche ISBN de la Bibliothèque nationale de Chine. https://doiiars.com/article/NLCISBNPlugin
Un cadre de test d'intrusion, un outil de collecte d'informations et un scanner de vulnérabilités de sites web
Un «Light Novel Packer» (Empaqueteur de romans légers) qui extrait le contenu des sites de romans légers Bili (bilinovel.com linovelib.com) et le regroupe au format EPUB. Il prend en charge les couvertures, les illustrations, la table des matières et la fusion des volumes séparés.
Signal 18 repman - Gestionnaire de Réplication pour MySQL / MariaDB / Percona Server
🕵️♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.
Web crawler Python pour enlever les filigranes des courtes vidéos : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Vidéo courte nationale, Pipi drôle, Xigua Video, Huya, Li Video, AcFun, Vidéo Haokan...
SDK de crawler Taobao, utilisé pour la plateforme ouverte Taobao ou pour la connexion et le crawling de Taobao, Tmall, Alibaba
Projet open source d'entreprise de crawling d'actualités et d'opinion publique : prend en charge l'exécution en un clic d'un nombre quelconque de crawlers, les tâches planifiées de crawlers, la suppression par lots de crawlers ; déploiement en un clic des crawlers ; visualisation de la surveillance des crawlers ; configuration de la stratégie de répartition des crawlers en cluster ; 👉 La documentation de déploiement Docker prête à l'emploi a déjà résolu les problèmes pour vous.
Approches et expériences pour la rétro-ingénierie des paramètres d'application, rétro-ingénierie Android
Projet de questionnaire, recommandation de serveur cloud, projet d'accrochage, proxy gratuit, collection de divers scripts. Bienvenue en haut à droite pour cliquer sur la cloche afin de recevoir des informations de mise à jour en temps voulu. (Ne pas forker, discrètement)
NetDiscovery est un framework/middleware de crawling à usage général implémenté sur la base de frameworks tels que Vert.x et RxJava 2.
Une seule commande pour utiliser Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com et X : des commandes unifiées et une sortie JSON pour les humains et les agents d’IA
Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.
Script Python 3 pour décharger/extraire/extraire les employés d'une entreprise de l'API LinkedIn
spider-admin-pro Un outil de gestion visuelle pour la visualisation de projets de crawler Scrapy+Scrapyd et la planification programmée des tâches de crawler, la version améliorée de SpiderAdmin
FreeProxy : Collecte de proxys gratuits sur Internet. (Grande quantité de proxys gratuits de haute qualité dans le monde entier, prise en charge du crawling de dizaines de sources de partage de proxys gratuits, filtrage de proxys avec des règles personnalisées, essentiel pour le scraping web et l'analyse de données, mis à jour quotidiennement avec une grande quantité de proxys gratuits.)
Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.
Fresh Onions est un robot d’exploration TOR open source / un robot d’exploration des services cachés onion, hébergé à l’adresse zlal32teyptf4tvi.onion
🎯 Logiciel d'analyse de visualisation des données des commentaires de Bilibili -- les créateurs peuvent l'utiliser pour guider leur choix de sujets et comprendre leur base de fans.