#crawler Dépôts
162 dépôts au total
DecryptLogin : API pour se connecter à certains sites web en utilisant requests.
Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.
:spider: Le framework de crawler PHP progressif ! Framework de collecte PHP progressif élégant.
ScopeSentry-Cartographie du cyberespace, énumération des sous-domaines, analyse des ports, découverte d'informations sensibles, analyse des vulnérabilités, nœuds distribués
news-please - Un crawler web intégré et un extracteur d'informations pour les actualités qui fonctionne simplement
🕷 CrawlerDetect est une classe PHP pour détecter les robots/robots d'indexation/spiders via l'agent utilisateur
Les invites GPT divulguées contournent la limite de 25 messages ou pour essayer les GPT sans abonnement Plus.
Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.
Website Cloner - Utilise de puissantes routines Go pour cloner des sites Web sur votre ordinateur en quelques secondes.
Téléchargeur de médias depuis n'importe quel site, y compris Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid etc.
Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.
La bibliothèque principale de NewPipe pour extraire des données des sites de streaming
Solution d'itinérance de mémoire du navigateur (en cours d'exploration...)
Recueil d'exemples de scraping web. Incluant, sans s'y limiter, "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, divers indices, VIP, Wanfang, ZLibrary, Oalib, Romans, sites d'appel d'offres, sites d'approvisionnement, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"
Diskover Community Edition - Indexeur de fichiers open source, moteur de recherche de fichiers et gestion et analyse de données alimentés par Elasticsearch
Scraper BOSS Zhipin / Outil de scraping de données d'emploi BOSS Zhipin, basé sur le protocole Chrome CDP pour réutiliser les sessions de connexion réelles, contourner l'anti-scraping des polices et générer des JSON/CSV de salaires en texte clair + analyse des compétences salariales.
Liaison Python aux moteurs Modest et Lexbor. Analyseur HTML5 rapide avec sélecteurs CSS pour Python.
Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trouver un bien immobilier, super facilement) - Fredy continue de rechercher de nouveaux appartements, maisons et logements en Europe sur des plateformes comme ImmoScout24, Immowelt et eBay Kleinanzeigen, puis vous envoie instantanément les résultats via Slack, Telegram, e-mail, Discord ou ntfy, afin que vous puissiez vous concentrer sur les choses les plus importantes de la vie ;)
Crawler Douyin - Collecte de données publiques telles que la page de profil du compte, les likes, les collections, les sons musicaux originaux, les sujets, la recherche, les collections, les œuvres, les suivis, les abonnés, etc.
Le robot d'exploration Web de l'archiviste : sortie WARC, tableau de bord pour tous les crawls, modèles d'ignorance dynamiques
Rampants Python, inventaire actuel : Extraction de chansons NetEase Cloud Music, Extraction de vidéos Bilibili, Extraction de Q&R Zhihu, Extraction de fonds d'écran, Extraction de vidéos xvideos, Extraction de livres audio, Rampant Weibo, Extraction d'informations Anjuke + visualisation de données, Extracteur de couvertures de vidéos Bilibili, Encapsulation de pool de proxies IP, Rampant d'utilisateurs Zhihu de niveau million + analyse de données, Rampant d'utilisateurs GitHub
Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.
Collecte de données Xiaohongshu, outil de téléchargement en masse d'images de sites Web et de ressources vidéo, outil de collecte de données à l'apparence très attrayante (téléchargement en masse, extraction vidéo, images) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Partage de code de web scraping de frère K, rétro-ingénierie JS, web scraping avancé. Suivez le compte public WeChat : frère K Web-Scraping
🤖 Scrapez des données de sites Web HTML automatiquement en fournissant simplement des exemples
Crawler/scraper web Ruby léger avec un DSL élégant qui extrait des données structurées des pages.
Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.
Beanbun est un framework de crawling web multiprocessus écrit en PHP, avec une bonne ouverture et une haute évolutivité, basé sur Workerman.