#scraper Dépôts
Découvrez 128 dépôts GitHub open source actifs associés à #scraper, cumulant 792,441 étoiles au total (soit une moyenne de 6,190 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
128 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.
La bibliothèque rapide, flexible et élégante pour l'analyse et la manipulation de HTML et XML.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée :
Résolveur CAPTCHA automatisé pour votre navigateur. Fonctionne avec Selenium, Puppeteer, Playwright, et plus encore.
Système de gestion de films AV, avmoo, javbus, javlibrary Crawler, Bibliothèque de films AV en ligne, Base de données de liens magnétiques AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Un récupérateur Web intelligent, automatique, rapide et léger pour Python
Une collection de superbes web crawlers et spiders en différentes langues
Transformez n'importe quelle page Web en données structurées à l'aide des LLM
💡 Téléchargez le code source complet de n'importe quel site web (y compris tous les assets). [ Javascripts, Stylesheets, Images ] en utilisant Node.js
Analyse des systèmes de protection contre les bots avec les contre-mesures disponibles 🚿. Comment vaincre les systèmes anti-bots 👻 et contourner les scripts d'empreintes digitales de navigateur 🕵️♂️ lors du scraping web ?
Extracteur d'API Twitter | Sans clé API | API Interne de Twitter | Gratuit | Extracteur Twitter | Bot Twitter
Outil multifonction pour le scraping et l'extraction de données à partir d'actifs en ligne, conçu pour les hackers
Une façon communautaire de lire et de discuter avec des robots IA, alimentée par chatGPT.
Outil de collecte de données actuellement axé sur le contenu pour adultes (OnlyFans, etc.) — mis à jour régulièrement
Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.
API de web scraping open-source. Transformez n'importe quel site web en Markdown propre ou en JSON structuré. Navigateur anti-détection, sélection automatique de proxy, auto-hébergé. Une seule commande : make up
Un plugin scraper pour films japonais Emby/Jellyfin qui récupère les informations sur les films à partir de certains sites web.
Un puissant outil de web scraping alimenté par LLM | OpenAI, Gemini et Ollama
Vous voulez APPRENDRE DE NOUVELLES CHOSES GRATUITEMENT ? Ne vous inquiétez pas, grâce à la puissance du web-scraping et de l'automatisation, ce script trouvera les coupons Udemy nécessaires et vous inscrira aux COURS UDEMY PAYANTS, ABSOLUMENT GRATUITS !
Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.
Apprenez étape par étape à scraper les données de Google Trends et à effectuer une comparaison des résultats à l'aide de Python et de l'API SERP d'Oxylabs. Extrayez les mots-clés, leur popularité, la répartition par région, les requêtes associées, et bien plus encore.
Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.
Extrayez les métadonnées de n'importe quelle URL en utilisant Open Graph, JSON-LD, les balises meta HTML et des mécanismes de secours intelligents.
:spider: Le framework de crawler PHP progressif ! Framework de collecte PHP progressif élégant.
API TikTok LIVE pour Node.js : une bibliothèque non officielle permettant de recevoir en temps réel des événements de diffusion en direct (commentaires, cadeaux, etc.) depuis TikTok LIVE.
Serveur MCP de documentation technique entièrement gratuit, privé et basé sur l'interface utilisateur. Conçu pour les codeurs et les développeurs de logiciels. Intégration facile dans Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
Extraire les sites d'emploi dans une seule feuille de calcul sans doublons.
La bibliothèque principale de NewPipe pour extraire des données des sites de streaming
Outil OSINT gratuit pour les adresses e-mail, plus de 5 000 plateformes, regroupement des identités et détection des fuites de données. Aucune clé API requise. pip install mailaccess
Scraper BOSS Zhipin / Outil de scraping de données d'emploi BOSS Zhipin, basé sur le protocole Chrome CDP pour réutiliser les sessions de connexion réelles, contourner l'anti-scraping des polices et générer des JSON/CSV de salaires en texte clair + analyse des compétences salariales.
Télécharger le site web dans un répertoire local (y compris tous les css, images, js, etc.)
Apprenez à créer votre propre scraper Google Jobs qui extrait simultanément les offres d'emploi de Google pour plusieurs requêtes de recherche et emplacements géographiques avec Python et l'API Google Jobs Scraper d'Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Scrapeur Google Play pour collecter les détails publics des applications, jeux, films et séries télévisées, livres, et plus encore.
Foire aux questions
Quel est le dépôt #scraper le plus populaire sur GitHub ?
Le projet #scraper open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #scraper ?
Parmi les projets #scraper les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Go, JavaScript.
Comment le classement des dépôts #scraper est-il calculé ?
Nous suivons 128 dépôts open source actifs associés à #scraper (500+ étoiles), totalisant 792,441 étoiles, avec une moyenne de 6,190 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.