#web-scraping Dépôts
382 dépôts au total
AI Map est un outil de cartographie de sites web alimenté par l'IA, développé par Oxylabs AI Studio, qui utilise des invites en langage naturel pour découvrir et extraire intelligemment les URL pertinentes de n'importe quel site web.
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (trouver un bien immobilier, super facilement) - Fredy continue de rechercher de nouveaux appartements, maisons et logements en Europe sur des plateformes comme ImmoScout24, Immowelt et eBay Kleinanzeigen, puis vous envoie instantanément les résultats via Slack, Telegram, e-mail, Discord ou ntfy, afin que vous puissiez vous concentrer sur les choses les plus importantes de la vie ;)
🖱️ Générez des mouvements de souris similaires à ceux d'un humain avec puppeteer ou sur n'importe quel plan 2D
Recherche Web auto-hébergée pour les agents d’IA et le SEO. Google, Bing, Yandex, Baidu, DuckDuckGo et Ecosia, affichés dans un véritable navigateur : résultats classés et Markdown propre des pages. API, CLI, MCP 🎉
Version Python non détectée de la bibliothèque de test et d'automatisation Playwright.
Une extension simple pour Chrome (et Firefox) qui convertit les romans web (et d'autres pages web) en EPUB.
AgentQL est une suite d'outils pour connecter votre IA au web. Doté d'un langage de requête et d'intégrations Playwright pour interagir avec les éléments et extraire des données rapidement, avec précision et à grande échelle. Comprend une API REST, des SDK Python et JavaScript, un débogueur de navigateur.
Recherchez un logement à louer sur la carte : épuisé de parcourir toute la ville à la recherche d’une location ? Essayez une autre méthode et cherchez directement votre location sur la carte ! [Compte officiel et mini-programme WeChat : 人生删除指南]
Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.
Collectez des réponses structurées à partir d'un scraper ChatGPT en envoyant une invite avec des identifiants API de scraping ChatGPT valides. Activez la recherche en direct, injectez le contexte HTML et automatisez des flux de travail intelligents de scraper ChatGPT en quelques paramètres seulement.
WebAI2API : Outil de conversion d'IA web en API basé sur Camoufox, compatible avec LMArena/Gemini et plus, concurrence multi-fenêtres et isolation des comptes. | Web AI vers OpenAI API via Camoufox. Prend en charge LMArena/Gemini et plus, concurrence multi-fenêtres & isolation des comptes.
Utilisez l'API Web Scraper pour extraire des données de Google Finance, y compris les titres boursiers, les prix et les variations de prix en pourcentage.
Puppeteer pour Python indétectable par les systèmes anti-bots, sans CAPTCHA : la même API, Firefox headless furtif et anti-détection, une empreinte numérique indétectable, contournement de la détection des bots, scraping web et automatisation du navigateur.
📖 Serveur MCP pour récupérer deepwiki.com et obtenir les dernières connaissances dans Cursor et d'autres éditeurs de code
Client HTTP Go avec reconnaissance de traits TLS/HTTP2 identique à celle du navigateur. Contournement de la détection de bots en reproduisant parfaitement Chrome, Firefox et Safari au niveau cryptographique (JA3/JA4, empreinte Akamai, ordre des en-têtes). Prend en charge HTTP/1.1, HTTP/2, HTTP/3, sessions, cookies et proxys.
Script Python3 pour télécharger des livres archive.org au format PDF
Nouveau plugin de source de métadonnées Douban pour Calibre. Douban ne fournit plus d'API de livres au public, il ne peut donc utiliser que le web crawling pour obtenir des données. Ceci est un plugin Calibre Douban basé sur le web crawling.
🔥 Plateforme de surveillance web alimentée par l'IA. Créez des éclaireurs automatisés qui parcourent le web et envoient des alertes par e‑mail lorsqu'ils trouvent ce que vous cherchez.
WebLoop : WebKit scriptable et sans tête avec une API Go. Comme PhantomJS, mais pour Go.
Flyscrape est un outil de web scraping en ligne de commande conçu pour ceux qui n'ont pas de compétences avancées en programmation.
Crawler Dianping (peut parcourir tout le site, résout le cryptage des polices dynamiques, pas d'OCR). Mise à jour continue
Outil d'enrichissement de données alimenté par l'IA qui transforme les e-mails en ensembles de données riches avec des profils d'entreprise, des données de financement, des piles technologiques et plus encore en utilisant Firecrawl et une IA multi-agents
Kspider est une plateforme de crawling qui permet de définir des workflows de crawling de manière graphique, permettant de réaliser un workflow de crawling sans code. Kspider ne se limite pas au crawling web, mais peut également être utilisé pour les tests d'automatisation WEB. D'autres fonctionnalités vous attendent à découvrir.
Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.
Un traqueur de prix automatisé utilisant Bright Data, Playwright, React et Flask.
Moteur d’empreinte numérique Chromium au niveau du code source, évalué comme un Chrome ordinaire par les sites de détection. Moteur d’empreinte numérique Chromium au niveau du code source qui passe les tests de détection des bots. Il ne s’agit pas d’une injection JavaScript, mais de correctifs C++ compilés dans le binaire.
Le travailleur acharné pour la récupération par lots de liens magnétiques AV ou couvertures
Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.
Obtenez cookies.txt, n'envoyez JAMAIS d'informations à l'extérieur.
Une extension web pour clipper des informations depuis une page web. Enregistrez-la sur votre machine locale pour éviter l'invalidation des informations. Pas d'inscription ennuyeuse, pas de frais.
Connexion automatique au site web netlib.re pour maintenir le domaine actif