#web-scraper Dépôts
Découvrez 36 dépôts GitHub open source actifs associés à #web-scraper, cumulant 565,282 étoiles au total (soit une moyenne de 15,702 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
36 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Donnez à votre agent IA les yeux pour explorer l’ensemble d’Internet. Lisez et recherchez sur Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu — une seule interface en ligne de commande, aucune frais d’API.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Le meilleur navigateur headless pour les agents d’IA. Léger, rapide et hautement compatible. Développé en Rust
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
extraire des données de Google Maps. Extrait des données telles que le nom, l'adresse, le numéro de téléphone, l'URL du site web, la note, le nombre d'avis, la latitude et la longitude, les avis, l'email et plus pour chaque lieu
Une collection de superbes web crawlers et spiders en différentes langues
Extension de navigateur de qualité professionnelle, privilégiant le traitement local, qui transforme n’importe quelle page web en Markdown fidèle et adapté aux LLM, entièrement dans l’environnement d’exécution du navigateur. Sans cloud, axée sur la confidentialité et spécialement conçue pour les flux de travail liés à l’IA.
Racler les réponses du mode IA de Google à grande échelle sans blocages.
Un puissant outil de web scraping alimenté par LLM | OpenAI, Gemini et Ollama
PHP Curl Class facilite l'envoi de requêtes HTTP et l'intégration avec les API web.
Le processus d'extraction de données de produits d'Amazon à l'aide de Python, y compris les titres, les évaluations, les prix, les images et les descriptions.
Un guide pour extraire les titres, auteurs et citations de Google Scholar en utilisant Python et l'API Oxylabs SERP Scraper.
Un code pour extraire les articles les plus vendus, les résultats de recherche et les offres actuellement disponibles d'Amazon en utilisant Python et l'API Oxylabs E-Commerce Scraper.
Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)
Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.
Extraction, recherche et exploration web pour agents IA. Conçu de zéro en Rust. Sans clés, sans comptes. AGPL v3.
AI Scraper est un outil de scraping puissant et un agent de scraping conçu pour automatiser l'extraction de données avec une précision inégalée. Idéal pour les tâches de scraping IA évolutives sur diverses sources web, cet outil simplifie les opérations de scraping complexes en flux de travail efficaces et intelligents.
Une bibliothèque Ruby polyvalente pour le web scraping qui peut crawler un site, plusieurs domaines, certains liens ou indéfiniment. Spidr est conçu pour être rapide et facile à utiliser.
100 % gratuit et alternative open-source complète à Firecrawl edge avec une extraction de liens meilleure pour les agents - que vous pouvez déployer vous-même sur Cloudflare ou Vercel.
Récupérer les données de l'utilisateur sur les réseaux sociaux
Guides de démarrage rapide Python pour tirer le meilleur parti de l'essai gratuit de l'API Web Scraper d'Oxylabs.
API de scraping web tout-en-un pour l’extraction de données en temps réel à grande échelle : proxys, gestion des CAPTCHA, rendu JavaScript et analyse en une seule requête, avec des résultats au format HTML ou JSON structuré.
Foire aux questions
Quel est le dépôt #web-scraper le plus populaire sur GitHub ?
Le projet #web-scraper open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #web-scraper ?
Parmi les projets #web-scraper les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Rust, Go.
Comment le classement des dépôts #web-scraper est-il calculé ?
Nous suivons 36 dépôts open source actifs associés à #web-scraper (500+ étoiles), totalisant 565,282 étoiles, avec une moyenne de 15,702 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.