#crawler Dépôts
162 dépôts au total
Un téléchargeur de mangas Bilibili facile à utiliser, doté d'une interface graphique, prenant en charge la recherche de mangas par mots-clés et la connexion par code QR, avec une technologie de pointe pour télécharger les chapitres non déverrouillés, téléchargement multi-thread, divers formats de sauvegarde, gestion des mangas locaux, et une vérification des mises à jour en un clic !
📝 Récupérez rapidement les informations (par ex. abonnés, tags, etc.) d'un profil Instagram.
Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker
📰 Newspaper4k, un fork du bien-aimé Newspaper3k. Extraction d'articles, de titres et de métadonnées à partir de sites d'information.
Téléchargez facilement toutes les photos/vidéos des blogs Tumblr. Téléchargez les images et vidéos des blogs Tumblr spécifiés
Serveur de recherche d'entreprise et de site web, open-source et auto-hébergé, basé sur OpenSearch. Indexe des sources web, fichiers, bases de données et cloud, prend en charge plus de 20 langues, API REST, et recherche sémantique avec IA/RAG. Licence Apache-2.0.
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
BaiduSpider, un robot d'exploration qui récupère les résultats de recherche Baidu, prend actuellement en charge la recherche web Baidu, la recherche d'images Baidu, la recherche Baidu Knows, la recherche vidéo Baidu, la recherche d'actualités Baidu, la recherche Baidu Wenku, la recherche d'expériences Baidu et la recherche Baidu Baike.
Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.
Suppression de filigrane de vidéos courtes Golang : Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Créez des scrapeurs web en Ruby avec un DSL propre et assisté par IA. Kimurai utilise l'IA pour déterminer où se trouvent les données, puis met en cache les sélecteurs et scrape avec du Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de tokens.
Navigateur furtif au niveau du noyau avec l’API Playwright que vous utilisez déjà. SDK Python et Node, compatible MCP, profils locaux illimités. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
SiteOne Crawler est un outil d'exploration et d'analyse de sites Web multiplateforme pour l'optimisation du référencement, de la sécurité, de l'accessibilité et des performances, idéal pour les développeurs, les ingénieurs DevOps, les ingénieurs QA et les consultants. Prend en charge Windows, macOS et Linux (x64 et arm64).
Versions, wiki et feuille de route de SpiderSuite (explorateur de sécurité web)
Téléchargement de romans|Récupération de romans|起点|笔趣阁|Exporter Markdown|Exporter txt|Convertir epub|Filtrage des publicités|Correction automatique
Outils de protocole purement Python et notes de recherche pour X.com, avec des ensembles de données de comptes Twitter VibeLoft
Études de cas de rétro-ingénierie de robots d'exploration, terminées : Empreinte TLS | Ruishu | Zhenkunxing | NetEase Yudun | Rétro-ingénierie/décompilation de mini-programmes WeChat (Baida Xingxi) | Tonghuashun | Démystification RPC | Jiasule | Code CAPTCHA à curseur Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plateforme de données massives sur les politiques industrielles | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
API (interface) asynchrone haute performance pour résoudre les Captchas (solveur de code de vérification) de Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) avec Temp Mail (e-mail temporaire).
Un framework de crawler multi-thread avec de nombreux crawlers d'images intégrés fournis.
Google Play scraper pour Python inspiré par <facundoolano/google-play-scraper>
ChatWeb peut explorer les pages Web, lire les PDF, DOCX, TXT et extraire le contenu principal, puis répondre à vos questions en fonction du contenu ou résumer les points clés.
Robot d’exploration (bot) recherchant des fuites sur des sites de partage de texte.
Une bibliothèque basée sur Kotlin pour les tests, le scraping et l'analyse qui fournit la capacité d'analyser et d'extraire des données à partir de HTML (rendu côté serveur et client). Elle met un accent particulier sur la facilité d'utilisation et un haut niveau de lisibilité en fournissant un DSL intuitif. Elle vise à être une bibliothèque de tests, mais peut également être utilisée pour scraper des sites web de manière pratique.
ArrowDL (Arrow Downloader) est un gestionnaire de téléchargements pour Windows, macOS et Linux.
Krawl est un serveur de tromperie web personnalisable, léger et natif du cloud, et un anti-crawler qui crée des applications web factices avec des vulnérabilités faciles à exploiter en utilisant des données d'appât réalistes générées aléatoirement et des modèles HTML générés par IA.
Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.
Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.
Code de tutoriel simple mais utile pour le web scraping en Python.
The Big Brother est une plateforme OSINT militarisée proposant l’énumération de noms d’utilisateur (plus de 473 plateformes), du renseignement visuel à quatre vecteurs, le suivi Sky Radar, l’analyse de portefeuilles crypto, du renseignement SSL, la reconstitution de l’empreinte numérique, l’extraction des données EXIF, la recherche avancée par dorks et la reconnaissance réseau.
Outil puissant d'ingénierie inverse des cookies JavaScript : outil de visualisation pour la surveillance des modifications de cookies JS et hook de cookies JS avec points d'arrêt conditionnels
Répertoire de code pour le livre « Pratiques avancées de rétro-ingénierie de web scraping »
🕵️♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.
Wscan est un scanner de sécurité web axé sur la sécurité du web, dédié à rendre la sécurité du web accessible à tous.
Rechercher sur Google, Bing, Yahoo et autres moteurs de recherche avec Python
Moodle-DL télécharge rapidement le contenu des cours depuis Moodle (par ex. PDF de conférences)