Git Stars Git Stars

#data-collection Dépôts

Découvrez 52 dépôts GitHub open source actifs associés à #data-collection, cumulant 268,114 étoiles au total (soit une moyenne de 5,156 étoiles par projet). Le projet en tête de ce thème est NanmiCoder/MediaCrawler, avec 71,528 étoiles.

52
Total des Dépôts
268,114
Nombre total d'étoiles
5,156
Moyenne d'Étoiles/Dépôt
1
NanmiCoder/MediaCrawler

Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-06-09
2
NaiboWang/EasySpider

Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Mis à jour 2026-11-16 📅 Créé 2020-07-18
3
airbytehq/airbyte

Mouvement de données open-source pour les pipelines ELT et les agents IA — des API, bases de données et fichiers vers les entrepôts de données, lacs de données et applications IA. Auto-hébergé et Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Mis à jour 2026-11-20 📅 Créé 2021-11-07
5
cporter202/API-mega-list

Ce dépôt GitHub est une collection impressionnante d'API que vous pouvez commencer à utiliser immédiatement pour construire tout, des simples automatisations aux applications à grande échelle. L'une des listes d'API les plus précieuses sur GitHub, point final. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Mis à jour 2026-11-19 📅 Créé 2025-12-09
6
firecrawl/firecrawl-mcp-server

Serveur MCP officiel de Firecrawl, l’API de contexte pour les agents d’IA : recherchez, extrayez et interagissez avec le Web, et analysez, explorez, cartographiez et utilisez Agent et Monitor depuis n’importe quel client MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-12-06
7
snowplow/snowplow

Le leader en Infrastructure de Données Clients

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Mis à jour 2026-10-19 📅 Créé 2012-03-01
8
cloudquery/cloudquery

Pipelines de données pour la configuration du cloud et les données de sécurité. Créez des solutions d'inventaire des actifs cloud, de CSPM, de FinOps et de gestion des vulnérabilités. Extraction à partir d'AWS, Azure, GCP et de plus de 70 sources cloud et SaaS.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit est un framework logiciel open source qui permet de créer facilement des applications pour la recherche médicale ou pour d'autres projets de recherche.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2015-03-10
10
jitsucom/jitsu

Jitsu est une alternative open-source à Segment. Moteur d'ingestion de données entièrement scriptable pour les équipes de données modernes. Configurez un pipeline de données en temps réel en quelques minutes, pas en jours

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2020-08-04
11
CollegesChat/university-information

Exigences et détails que les universités nationales ne précisent pas lors des admissions, mais qui affectent concrètement la qualité de la vie étudiante

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 Mis à jour 2026-10-18 📅 Créé 2021-06-25
12
REMitchell/python-scraping

Exemples de code du livre Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Mis à jour 2024-06-01 📅 Créé 2015-06-14
13
php-debugbar/php-debugbar

Barre de débogage pour PHP

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 Mis à jour 2026-10-25 📅 Créé 2013-06-07
14
cv-cat/DouYin_Spider

Ingénierie inverse de TikTok, crawler TikTok, toutes les API TikTok, messages privés, surveillance des salles de diffusion en direct

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Mis à jour 2026-10-23 📅 Créé 2023-10-17
15
Gioman101/FlipperAmiibo

Conçu pour être utilisé avec Flipper, faites simplement glisser le dossier dans NFC

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 Mis à jour 2024-08-15 📅 Créé 2022-04-22
16
scrapy/scrapyd

Un démon de service pour exécuter les spiders Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Mis à jour 2026-10-23 📅 Créé 2013-02-01
17
vladkens/twscrape

Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Mis à jour 2026-11-19 📅 Créé 2023-05-05
18
M-cheng-web/web-tracing

Fournir des moyens de surveillance pour les projets frontend : 【pointage, comportement, performance, exception, requête, ressource, route, exposition, enregistrement d'écran】

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 Mis à jour 2026-09-21 📅 Créé 2021-12-24
19
brightdata/brightdata-mcp

Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2025-04-15
20
SPX372928/MyIPTV

Source de diffusion en direct mobile avec protocole standard

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 Mis à jour 2026-02-19 📅 Créé 2020-04-07
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, ensemble de données de visages masqués du monde réel

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 Mis à jour 2024-11-20 📅 Créé 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

Analyseur intelligent pour le catalogue « Chitai-Gorod ». Collecte et structuration de données à haute vitesse basée sur tous les paramètres spécifiés : de l’ISBN à la dynamique des remises.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Mis à jour 2026-09-17 📅 Créé 2025-05-18
24
pyper-dev/pyper

Python concurrent simplifié

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Mis à jour 2025-02-04 📅 Créé 2024-05-22
25
sensorsdata/sa-sdk-android

Le SDK officiel de suivi Sensors Data pour Android est un SDK léger pour la collecte et le suivi des données du côté Android, incluant des fonctionnalités de suivi de code, de suivi complet, de cartes de clics et de suivi complet visuel. Le suivi complet est implémenté par intégration avec le plugin officiel de suivi Sensors Data pour Android. Le plugin officiel de suivi Sensors Data pour Android utilise la technologie d'instrumentation de bytecode (ASM) pour implémenter le suivi complet du côté Android (sans suivi, suivi sans code, suivi sans trace, suivi automatique).

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 Mis à jour 2026-11-04 📅 Créé 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — Connectez le monde physique à l’IA. Un environnement d’exécution IoT industriel open source pour l’IA physique : 36 pilotes de protocoles, acheminement des données de la périphérie vers le cloud et passerelle d’outils MCP permettant aux agents d’IA d’agir sur les appareils dans une boucle sûre, contrôlable et traçable.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 Mis à jour 2026-11-11 📅 Créé 2018-08-28
27
Decodo/Decodo

Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Mis à jour 2026-11-11 📅 Créé 2019-01-07
28
rohunvora/x-research-skill

Compétence de recherche X/Twitter pour Claude Code et OpenClaw. Recherche agentique, suivi de fils, plongées approfondies, briefings sourcés.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 Mis à jour 2026-02-19 📅 Créé 2026-02-08
29
washingtonpost/data-police-shootings

Le Washington Post compile une base de données de chaque fusillade mortelle aux États-Unis par un policier en service depuis 2015.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 Mis à jour 2026-10-14 📅 Créé 2015-06-30
31
plan-player-analytics/Plan

Plugin Player Analytics pour les plateformes de serveurs Minecraft - Consultez l'activité des joueurs de votre serveur en toute simplicité. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2016-12-08
32
estuary/flow

🌊 Synchronisez en continu les systèmes où vos données résident avec les systèmes où vous _souhaitez_ qu'elles résident, en gérant vos flux de données avec Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2020-02-13
33
sensorsdata/sa-sdk-javascript

Le SDK officiel de suivi Web JavaScript de Shence Data est un SDK léger de collecte de données et de suivi pour les plateformes Web et H5. Il utilise la technologie JavaScript native pour implémenter des fonctions telles que le suivi basé sur le code, le suivi complet, le suivi complet visuel, les cartes de chaleur web et les cartes de portée.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2015-11-06
34
levinunnink/html-form-to-google-sheet

Comment soumettre des formulaires HTML vers Google Sheets. (Mis à jour pour l'éditeur de script 2026)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 Mis à jour 2026-01-14 📅 Créé 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

Une liste complète d'outils pouvant être utilisés pour trouver des informations relatives à un véhicule spécifique.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 Mis à jour 2024-11-20 📅 Créé 2022-11-16
36
Cl0udG0d/Fofa-hack

Membre non payant, outil de collecte de données FOFA

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Mis à jour 2025-10-28 📅 Créé 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound est un outil de collecte de données .NET développé sur mesure qui peut être utilisé pour énumérer les environnements Active Directory via le protocole Active Directory Web Services (ADWS).

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 Mis à jour 2024-02-03 📅 Créé 2024-01-25
38
zqzess/MyWebStorage

Intègre les sources Xiangse Guguan existantes sur le Web, le robot d'exploration met à jour automatiquement les sources de livres chaque semaine

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Mis à jour 2026-11-16 📅 Créé 2021-05-18
39
getodk/collect

ODK Collect est une application Android pour remplir des formulaires. Elle a été utilisée pour collecter des milliards de points de données dans des environnements difficiles à travers le monde. Contribuez et rendez le monde meilleur ! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2015-08-04
40
quantumproxies/quantumproxies.io

Proxys résidentiels, de datacenter, d’ISP et mobiles avec plus de 90 millions d’adresses IP dans plus de 200 pays, ainsi que des API de scraping et SERP. Exemples de code en Python, Node.js, PHP, Go, Java, C#, Ruby et curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Mis à jour 2026-09-06 📅 Créé 2025-11-17
41
LAION-AI/audio-dataset

Ensemble de données audio pour l'entraînement de CLAP et d'autres modèles

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 Mis à jour 2026-01-08 📅 Créé 2022-03-07
42
thinkoaa/Deadpool

L'outil de pool de proxy Deadpool peut récupérer des proxys socks5 de haute qualité à partir de plateformes de cartographie d'espace réseau telles que Hunter, Quake, Fofa, ou importer des proxys socks5 localement, et utiliser les proxys de manière rotative pour la redirection du trafic.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 Mis à jour 2026-05-06 📅 Créé 2024-08-26
43
augurlabs/augur

Lorsque Augur a atteint ses limites, nous avons créé Aveloxis : une collecte fiable des données de métriques OSS. Collecter 40 000 dépôts en 3 jours, c'est plutôt bien, non ?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 Mis à jour 2026-08-04 📅 Créé 2017-01-05
44
bangumi-data/bangumi-data

Données brutes pour l'anime japonais

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2016-09-04
45
ohyicong/Google-Image-Scraper

Une bibliothèque pour scrap Google Images

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Mis à jour 2025-02-16 📅 Créé 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV : Un ensemble de données à grande échelle sur les médias sociaux relatifs au COVID-19 provenant de Weibo

nghuyong
⭐ 626 👤 nghuyong User 🕐 Mis à jour 2025-08-23 📅 Créé 2020-02-20
47
Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 Mis à jour 2026-06-20 📅 Créé 2025-06-25
48
john-friedman/datamule-python

Un paquet pour travailler avec les données SEC. Intègre les points de terminaison de Datamule.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 Mis à jour 2026-08-14 📅 Créé 2024-09-06
49
sindresorhus/insight

Module Node.js pour vous aider à comprendre comment votre outil est utilisé en signalant anonymement les métriques d'utilisation à Google Analytics

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 Mis à jour 2026-09-18 📅 Créé 2012-12-12
50
zhaoyachao/zdh_web

Collecte de big data, plateforme d'extraction, zdh_web est la plateforme de gestion visuelle pour les services de la série zdh, incluant des modules tels que la collecte de données, la planification, les autorisations, le flux d'approbation, le marketing de domaine privé, etc.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Mis à jour 2026-06-07 📅 Créé 2020-02-03

Foire aux questions

1

Quel est le dépôt #data-collection le plus populaire sur GitHub ?

Le projet #data-collection open source le mieux classé sur GitHub est NanmiCoder/MediaCrawler, avec 71,528 étoiles. Note Xiaohongshu | Crawler de commentaires, Vidéo Douyin | Crawler de commentaires, Vidéo Kuaishou | Crawler de commentaires, Vidéo Bilibili | Crawler de commentaires, Publication Weibo | Crawler de commentaires, Publication Baidu Tieba | Crawler de réponses de commentaires Baidu Tieba | Article Question/Réponse Zhihu | Crawler de commentaires

2

Quels langages de programmation sont les plus utilisés dans les dépôts #data-collection ?

Parmi les projets #data-collection les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, JavaScript, Java, Go.

3

Comment le classement des dépôts #data-collection est-il calculé ?

Nous suivons 52 dépôts open source actifs associés à #data-collection (500+ étoiles), totalisant 268,114 étoiles, avec une moyenne de 5,156 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.