#data-collection Dépôts
Découvrez 52 dépôts GitHub open source actifs associés à #data-collection, cumulant 268,114 étoiles au total (soit une moyenne de 5,156 étoiles par projet). Le projet en tête de ce thème est NanmiCoder/MediaCrawler, avec 71,528 étoiles.
52 dépôts au total
Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires
Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.
Mouvement de données open-source pour les pipelines ELT et les agents IA — des API, bases de données et fichiers vers les entrepôts de données, lacs de données et applications IA. Auto-hébergé et Cloud.
🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.
Ce dépôt GitHub est une collection impressionnante d'API que vous pouvez commencer à utiliser immédiatement pour construire tout, des simples automatisations aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub, point final. 💪
Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.
Pipelines de données pour la configuration du cloud et les données de sécurité. Créez des solutions d'inventaire des actifs cloud, de CSPM, de FinOps et de gestion des vulnérabilités. Extraction à partir d'AWS, Azure, GCP et de plus de 70 sources cloud et SaaS.
ResearchKit est un framework logiciel open source qui permet de créer facilement des applications pour la recherche médicale ou pour d'autres projets de recherche.
Jitsu est une alternative open-source à Segment. Moteur d'ingestion de données entièrement scriptable pour les équipes de données modernes. Configurez un pipeline de données en temps réel en quelques minutes, pas en jours
Exigences et détails que les universités nationales ne précisent pas lors des admissions, mais qui affectent concrètement la qualité de la vie étudiante
Exemples de code du livre Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Ingénierie inverse de TikTok, crawler TikTok, toutes les API TikTok, messages privés, surveillance des salles de diffusion en direct
Conçu pour être utilisé avec Flipper, faites simplement glisser le dossier dans NFC
Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.
Fournir des moyens de surveillance pour les projets frontend : 【pointage, comportement, performance, exception, requête, ressource, route, exposition, enregistrement d'écran】
Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.
Real-World Masked Face Dataset, ensemble de données de visages masqués du monde réel
Analyseur intelligent pour le catalogue « Chitai-Gorod ». Collecte et structuration de données à haute vitesse basée sur tous les paramètres spécifiés : de l’ISBN à la dynamique des remises.
Le SDK officiel de suivi Sensors Data pour Android est un SDK léger pour la collecte et le suivi des données du côté Android, incluant des fonctionnalités de suivi de code, de suivi complet, de cartes de clics et de suivi complet visuel. Le suivi complet est implémenté par intégration avec le plugin officiel de suivi Sensors Data pour Android. Le plugin officiel de suivi Sensors Data pour Android utilise la technologie d'instrumentation de bytecode (ASM) pour implémenter le suivi complet du côté Android (sans suivi, suivi sans code, suivi sans trace, suivi automatique).
IoT DC3 — Connectez le monde physique à l’IA. Un environnement d’exécution IoT industriel open source pour l’IA physique : 36 pilotes de protocoles, acheminement des données de la périphérie vers le cloud et passerelle d’outils MCP permettant aux agents d’IA d’agir sur les appareils dans une boucle sûre, contrôlable et traçable.
Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.
Compétence de recherche X/Twitter pour Claude Code et OpenClaw. Recherche agentique, suivi de fils, plongées approfondies, briefings sourcés.
Le Washington Post compile une base de données de chaque fusillade mortelle aux États-Unis par un policier en service depuis 2015.
Plugin Player Analytics pour les plateformes de serveurs Minecraft - Consultez l'activité des joueurs de votre serveur en toute simplicité. :calendar:
🌊 Synchronisez en continu les systèmes où vos données résident avec les systèmes où vous _souhaitez_ qu'elles résident, en gérant vos flux de données avec Estuary. 🌊
Le SDK officiel de suivi Web JavaScript de Shence Data est un SDK léger de collecte de données et de suivi pour les plateformes Web et H5. Il utilise la technologie JavaScript native pour implémenter des fonctions telles que le suivi basé sur le code, le suivi complet, le suivi complet visuel, les cartes de chaleur web et les cartes de portée.
Comment soumettre des formulaires HTML vers Google Sheets. (Mis à jour pour l'éditeur de script 2026)
Une liste complète d'outils pouvant être utilisés pour trouver des informations relatives à un véhicule spécifique.
SOAPHound est un outil de collecte de données .NET développé sur mesure qui peut être utilisé pour énumérer les environnements Active Directory via le protocole Active Directory Web Services (ADWS).
Intègre les sources Xiangse Guguan existantes sur le Web, le robot d'exploration met à jour automatiquement les sources de livres chaque semaine
ODK Collect est une application Android pour remplir des formulaires. Elle a été utilisée pour collecter des milliards de points de données dans des environnements difficiles à travers le monde. Contribuez et rendez le monde meilleur ! ✨📋✨
Proxys résidentiels, de datacenter, d’ISP et mobiles avec plus de 90 millions d’adresses IP dans plus de 200 pays, ainsi que des API de scraping et SERP. Exemples de code en Python, Node.js, PHP, Go, Java, C#, Ruby et curl.
L'outil de pool de proxy Deadpool peut récupérer des proxys socks5 de haute qualité à partir de plateformes de cartographie d'espace réseau telles que Hunter, Quake, Fofa, ou importer des proxys socks5 localement, et utiliser les proxys de manière rotative pour la redirection du trafic.
Lorsque Augur a atteint ses limites, nous avons créé Aveloxis : une collecte fiable des données de métriques OSS. Collecter 40 000 dépôts en 3 jours, c'est plutôt bien, non ?
Weibo-COV : Un ensemble de données à grande échelle sur les médias sociaux relatifs au COVID-19 provenant de Weibo
Un paquet pour travailler avec les données SEC. Intègre les points de terminaison de Datamule.
Module Node.js pour vous aider à comprendre comment votre outil est utilisé en signalant anonymement les métriques d'utilisation à Google Analytics
Collecte de big data, plateforme d'extraction, zdh_web est la plateforme de gestion visuelle pour les services de la série zdh, incluant des modules tels que la collecte de données, la planification, les autorisations, le flux d'approbation, le marketing de domaine privé, etc.
Foire aux questions
Quel est le dépôt #data-collection le plus populaire sur GitHub ?
Le projet #data-collection open source le mieux classé sur GitHub est NanmiCoder/MediaCrawler, avec 71,528 étoiles. Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires
Quels langages de programmation sont les plus utilisés dans les dépôts #data-collection ?
Parmi les projets #data-collection les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, JavaScript, Java, Go.
Comment le classement des dépôts #data-collection est-il calculé ?
Nous suivons 52 dépôts open source actifs associés à #data-collection (500+ étoiles), totalisant 268,114 étoiles, avec une moyenne de 5,156 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.