#data-extraction Dépôts
131 dépôts au total
:truck: Flux de travail de préparation de données agiles rendus faciles avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark
Serveur d'interface API open-source pour le scraping de plateformes telles que Douyin (a_bogus dernière version), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Déploiement rapide en un clic avec Docker.
Outil de requête d'informations sensibles sur les heapdumps, par exemple pour rechercher des mots de passe en texte clair, AK, SK, etc. dans les heapdumps spring
Extrayez facilement des données grâce à notre API de scraping basée sur l'IA. Simplifiez l'extraction de données, obtenez des sorties JSON propres et adaptez-vous aux modifications de pages. Essayez-la gratuitement dès aujourd'hui !
Une boîte à outils Python conviviale mais puissante pour l'analyse et l'automatisation financières, conçue pour rendre l'investissement moderne accessible à tous
Flyscrape est un outil de web scraping en ligne de commande conçu pour ceux qui n'ont pas de compétences avancées en programmation.
Crawler Dianping (peut parcourir tout le site, résout le cryptage des polices dynamiques, pas d'OCR). Mise à jour continue
CommonForms — modèles ouverts pour détecter automatiquement les champs de formulaire PDF
Outil d'enrichissement de données alimenté par l'IA qui transforme les e-mails en ensembles de données riches avec des profils d'entreprise, des données de financement, des piles technologiques et plus encore en utilisant Firecrawl et une IA multi-agents
Alternative rapide et légère à Firecrawl/Tavily en Rust. API de web scraping, crawler et recherche avec serveur MCP pour agents IA. API compatible avec Firecrawl (/scrape, /crawl, /search). 2,3x plus rapide que Tavily, 1,5x plus rapide que Firecrawl sur des benchmarks de 1K URL. 6 Mo de RAM, binaire unique. Auto-hébergement ou cloud géré.
Le travailleur acharné pour la récupération par lots de liens magnétiques AV ou couvertures
La bibliothèque PDF la plus rapide pour Python et Rust. Extraction de texte, extraction d'images, conversion en markdown, création et édition de PDF. Moyenne de 0,8 ms, 5× plus rapide que les leaders du secteur, taux de réussite de 100 % sur 3 830 PDF. MIT/Apache-2.0.
Un outil pour scraper LinkedIn sans restrictions API pour la reconnaissance de données
⛏️ Le moteur d'extraction derrière Maigret : transformez n'importe quelle URL de profil en un enregistrement OSINT structuré sur plus de 150 sites
Une bibliothèque Rust pour extraire des données utiles des documents HTML, adaptée au web scraping.
Bibliothèque pour fournir une interface client simple à l'API REST de Strava (v3).
Classement des résultats de recherche Google Scholar basé sur le nombre de citations
Pour exporter les bases de données de vocabulaire de MoMo Vokabeltrainer et générer des bases de données de vocabulaire personnalisées adaptées pour List Vokabeltrainer, BuBei Vokabeltrainer, Oulu Dictionary, etc.
Assistant IA local et open-source pour vos données. Unifiez tâches, notes, documents, photos et favoris. Privé, auto-hébergé et extensible via des API.
Une version compatible avec Python 3 de goose http://goose3.readthedocs.io/en/latest/index.html
Un outil en ligne de commande et une API pour récupérer des données de Twitter gratuitement !
Concours 2019CCF-BDCI Lauréat du Prix de la Meilleure Exploration Innovante Champion du sujet d'extraction d'éléments de carte d'identité basée sur OCR Équipe Tianchen Poxiao Code source du sujet
Accédez programmatiquement à vos données de suivi des repas stockées dans MyFitnessPal
Framework de gestion de données pour Python qui fournit des fonctionnalités pour décrire, extraire, valider et transformer des données tabulaires
Un framework chatbot/GraphRAG qui crée des agents multi-LLM à partir des commentaires d'utilisateurs de plateformes sociales et leur permet de débattre sur des sujets spécifiques.
Une extension de navigateur : principalement utilisée pour prendre des notes dans WeChat Read, elle est très utile pour les lecteurs qui utilisent fréquemment Markdown pour prendre des notes.