#data-extraction Dépôts
Découvrez 131 dépôts GitHub open source actifs associés à #data-extraction, cumulant 729,329 étoiles au total (soit une moyenne de 5,567 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
131 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Le SDK pour extraire des données et interagir avec n’importe quel site web. Commencez avec Claude Code, Codex, Eve, Mastra et bien plus encore.
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
rga : ripgrep, mais aussi recherche dans les PDF, livres électroniques, documents Office, zip, tar.gz, etc.
Collecte de données par crawler Xiaohongshu (RED), rétro-ingénierie de Xiaohongshu, messages privés, diffusion en direct et solutions d'exploitation globale sur Xiaohongshu
CLI d'automatisation de navigateur conçue pour les agents IA. Brisez les murs anti-bot, passez aux humains sur plusieurs plateformes en cas de blocage. Exécution parallèle de plusieurs tâches, fonctionnement indépendant de plusieurs sessions, navigation isolée de plusieurs comptes.
Un clone de recherche approfondie open source. Agent IA qui raisonne sur de grandes quantités de données Web extraites avec Firecrawl.
Langage d'automatisation de données déclaratif et runtime Go pour les workflows d'extraction structurée.
Extraire des mots-clés d'une phrase ou remplacer des mots-clés dans des phrases.
Successeur d'Undetected-Chromedriver. Fournit un framework ultra-rapide pour l'automatisation web, le web scraping, les bots et toute autre idée créative normalement entravée par des systèmes anti-bots gênants comme Captcha / CloudFlare / Imperva / hCaptcha.
Exemples de code du livre Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Un extracteur agentique pour les plateformes de messagerie. Noria reçoit des messages et des URL par chat, collecte des données sur le Web afin d’évaluer le contenu selon des grilles de notation personnalisées (par exemple, pour des offres d’emploi ou des bourses), puis envoie directement au numéro de messagerie attribué un résumé structuré assorti d’un score de correspondance calculé.
Langage, moteur et outils pour exprimer, tester et évaluer des règles de langage composables sur des chaînes d'entrée.
WebCollector est un framework de crawler web open source basé sur Java. Il fournit des interfaces simples pour explorer le Web, vous pouvez configurer un crawler web multi-thread en moins de 5 minutes.
Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.
PdfParser, une bibliothèque PHP autonome, fournit divers outils pour extraire des données d'un fichier PDF.
Le dépôt d'hébergement des règles de Kazumi, les contributions sont les bienvenues ^•ﻌ•^
Migrer les listes de lecture Netease Cloud/Qishui/QQ Music vers Apple/Youtube/Spotify Music
Serveur MCP prêt pour la production avec recherche en temps réel, extraction, cartographie et crawl.
La plateforme d'automatisation de navigateur auto-hébergée indétectable. Alimentée par Camoufox (Firefox) pour un taux de détection de 0 %. Conçue pour la rapidité, la confidentialité et l'évolutivité.
Obtenir des informations sur les résultats de recherche Weibo, la recherche pouvant être une recherche par mot-clé Weibo ou une recherche par sujet Weibo
DocLayout-YOLO : Amélioration de l'analyse de la mise en page des documents grâce à des données synthétiques diverses et à une perception adaptative du global au local
Extrayez des données structurées et des insights de documents à l’aide de grands modèles de langage et de modèles de décision
Cet outil extrait et affiche les données de la fonctionnalité Rappel dans Windows 11, offrant un moyen facile d'accéder aux informations sur les instantanés d'activité de votre PC.
Spécifiez de manière déclarative comment extraire des éléments d'un document JSON, en PHP
Analyseur intelligent pour le catalogue « Chitai-Gorod ». Collecte et structuration de données à haute vitesse basée sur tous les paramètres spécifiés : de l’ISBN à la dynamique des remises.
Un module Python pour extraire les provinces, villes et districts des chaînes de caractères en chinois simplifié et effectuer des mappings, des validations et des tracés simples
Convertit un fichier PDF en fichier texte tout en conservant la mise en page du PDF d’origine. Cette fonction est notamment utile pour extraire le contenu d’un tableau d’un fichier PDF. Il s’agit d’une sous-classe de la classe PDFTextStripper de la bibliothèque Apache PDFBox.
Foire aux questions
Quel est le dépôt #data-extraction le plus populaire sur GitHub ?
Le projet #data-extraction open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #data-extraction ?
Parmi les projets #data-extraction les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Rust.
Comment le classement des dépôts #data-extraction est-il calculé ?
Nous suivons 131 dépôts open source actifs associés à #data-extraction (500+ étoiles), totalisant 729,329 étoiles, avec une moyenne de 5,567 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.