#scraping Dépôts
Découvrez 109 dépôts GitHub open source actifs associés à #scraping, cumulant 768,143 étoiles au total (soit une moyenne de 7,047 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
109 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.
🕵️♂️ Constituez un dossier sur une personne à partir de son nom d’utilisateur sur 6 000 sites web
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
Chromedriver Selenium personnalisé | Zéro configuration | Passe TOUS les systèmes de mitigation des bots (comme Distil / Imperva / Datadadome / CloudFlare IUAM)
Navigateur headless furtif pour agents IA — contourne Cloudflare, détection de bots et anti-scraping. Remplacement drop-in de Puppeteer/Playwright.
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
Un récupérateur Web intelligent, automatique, rapide et léger pour Python
Tabula est un outil pour libérer les tableaux de données piégés à l'intérieur des fichiers PDF
Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : Crawling, scraping, extraction, sortie au format CSV, JSON, HTML, MD, TXT, XML
Pydoll est une bibliothèque pour automatiser les navigateurs basés sur Chromium sans WebDriver, offrant des interactions réalistes.
🚀 Liste de proxys HTTP, SOCKS4 et SOCKS5 gratuits * Mise à jour toutes les 5 minutes * et API de proxy rotatif (plus de 100 pays)
Extracteur d'API Twitter | Sans clé API | API Interne de Twitter | Gratuit | Extracteur Twitter | Bot Twitter
Outil multifonction pour le scraping et l'extraction de données à partir d'actifs en ligne, conçu pour les hackers
Mechanize est une bibliothèque Ruby qui facilite l'interaction web automatisée.
Collection de sujets utiles en science des données avec des articles, des vidéos et du code
Faites de l’ingénierie inverse sur n’importe quel site web pour le transformer en client API typé. Compatible avec Claude Code, Codex, Cursor et OpenCode.
Falsificateur d'user agent simple et à jour avec base de données du monde réel
AnyCrawl 🚀 : Un crawler Node.js/TypeScript qui transforme les sites Web en données prêtes pour les LLM et extrait des résultats SERP structurés de Google/Bing/Baidu/etc. Multi-threading natif pour le traitement en masse.
Un navigateur d'empreintes digitales open source basé sur Ungoogled Chromium. Navigateur d'empreintes digitales Navigateur de confidentialité
Vous voulez APPRENDRE DE NOUVELLES CHOSES GRATUITEMENT ? Ne vous inquiétez pas, grâce à la puissance du web-scraping et de l'automatisation, ce script trouvera les coupons Udemy nécessaires et vous inscrira aux COURS UDEMY PAYANTS, ABSOLUMENT GRATUITS !
Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.
Apprenez étape par étape à scraper les données de Google Trends et à effectuer une comparaison des résultats à l'aide de Python et de l'API SERP d'Oxylabs. Extrayez les mots-clés, leur popularité, la répartition par région, les requêtes associées, et bien plus encore.
Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.
Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.
Outils d'empreintes digitales de navigateur pour anonymiser vos scrapers. Développé par Apify.
Noyau avancé de navigateur privé avec défense unifiée des empreintes digitales: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore
Playwright invisible : un Playwright que les systèmes antibots ne peuvent pas détecter, donc pas de CAPTCHA : la même API, Firefox headless furtif et anti-détection, empreinte numérique indétectable, contourne la détection des bots, scraping web et automatisation du navigateur en Python.
Un utilitaire en ligne de commande pour prendre des captures d'écran de sites Web, enregistrer des démonstrations vidéo et extraire des sites à l'aide de JavaScript
Une liste sélectionnée de ressources Puppeteer formidables.
Fiche de triche OSINT, liste d'outils OSINT, wiki, ensemble de données, article, livre, OSINT d'équipe rouge pour les hackers et astuces OSINT et branche OSINT. Ce dépôt grandira à chaque fois qu'il y aura de la recherche, il y a de la recherche, de la science et de la technologie, des tutoriels. Veuillez l'utiliser à bon escient.
Liste des outils et navigateurs anti-détection et d'humanisation, y compris les solveurs de captcha et l'activation par SMS.
Internet-in-a-Box - Construisez votre propre BIBLIOTHÈQUE D'ALEXANDRIE avec un Raspberry Pi !
Masquez l'IP de votre scraper derrière le cloud. Provisionnez des serveurs proxy sur différents fournisseurs de cloud pour améliorer le succès de votre scraping.
Dans ce tutoriel, nous montrons comment récupérer les données publiques de Google avec Python et l'API Oxylabs.
Obtenez des données propres à partir de documents complexes, alimentés par des modèles de vision-langage ⚡
Foire aux questions
Quel est le dépôt #scraping le plus populaire sur GitHub ?
Le projet #scraping open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #scraping ?
Parmi les projets #scraping les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Go, JavaScript.
Comment le classement des dépôts #scraping est-il calculé ?
Nous suivons 109 dépôts open source actifs associés à #scraping (500+ étoiles), totalisant 768,143 étoiles, avec une moyenne de 7,047 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.