Git Stars Git Stars

#data-pipelines Dépôts

Découvrez 50 dépôts GitHub open source actifs associés à #data-pipelines, cumulant 323,108 étoiles au total (soit une moyenne de 6,462 étoiles par projet). Le projet en tête de ce thème est twitter/the-algorithm, avec 73,884 étoiles.

50
Total des Dépôts
323,108
Nombre total d'étoiles
6,462
Moyenne d'Étoiles/Dépôt
1
twitter/the-algorithm

Code source de l'algorithme de recommandation X

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Mis à jour 2025-09-08 📅 Créé 2023-03-27
2
pathwaycom/pathway

Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2022-11-27
3
apache/airflow

Apache Airflow - Une plateforme pour créer, planifier et surveiller des workflows de manière programmatique

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2015-04-13
4
dagster-io/dagster

Une plateforme d'orchestration pour le développement, la production et l'observation des actifs de données.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-04-30
5
Unstructured-IO/unstructured

Convertissez des documents en données structurées sans effort. Unstructured est une solution ETL open-source pour transformer des documents complexes en formats propres et structurés pour les modèles linguistiques. Visitez notre site Web pour en savoir plus sur notre produit Platform de qualité professionnelle pour les flux de travail de production, le partitionnement, les enrichissements, le découpage et l'intégration.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler est la plateforme moderne d'orchestration de données. Agile pour créer des workflows haute performance avec low-code.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-03-01
7
kedro-org/kedro

Kedro est une boîte à outils pour la data science prête pour la production. Elle utilise les meilleures pratiques d'ingénierie logicielle pour vous aider à créer des pipelines d'ingénierie des données et de data science qui sont reproductibles, maintenables et modulaires.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2019-04-18
8
mage-ai/mage-ai

🧙 Créez, exécutez et gérez des pipelines de données pour l'intégration et la transformation des données.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Préparation simplifiée des données grâce aux opérateurs et pipelines les plus récents fondés sur les LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-10-13
10
fluvio-community/fluvio

🦀 Traitement de flux d'événements pour les développeurs afin de collecter et transformer les données en mouvement pour alimenter des applications intensives en données réactives.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2019-08-31
11
gayanvoice/top-github-users

Vérifiez votre classement sur GitHub ! N'oubliez pas de mettre une étoile ⭐ à ce dépôt.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Mis à jour 2026-11-21 📅 Créé 2021-06-03
12
StructuredLabs/preswald

Preswald est un packageur WASM pour les applications de données interactives basées sur Python : regroupez des flux de données complexes complets, en particulier des visualisations, en fichiers uniques, exécutables entièrement dans le navigateur, en utilisant Pyodide, DuckDB, Pandas et Plotly, Matplotlib, etc. Créez des tableaux de bord, des rapports et des notebooks qui s'exécutent hors ligne, se chargent rapidement et se partagent comme un document.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Mis à jour 2026-06-11 📅 Créé 2024-12-14
13
ucbepic/docetl

Un système de traitement de données et ETL piloté par LLM agentique

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2024-07-09
14
Netflix/maestro

Maestro : l'orchestrateur de flux de travail de Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Mis à jour 2026-11-06 📅 Créé 2024-04-17
15
meltano/meltano

Meltano : le moteur d'intégration de données déclaratif axé sur le code qui alimente vos idées les plus folles de produits basés sur les données et l'IA. Dites adieu à la rédaction, à la maintenance et à la mise à l'échelle de vos propres intégrations API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-06-21
16
elementary-data/elementary

La solution d'observabilité de données native pour dbt pour les ingénieurs de données et d'analyse. Surveillez vos pipelines de données en quelques minutes. Disponible en auto-hébergement ou en service cloud avec des fonctionnalités premium.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2021-08-30
17
feldera/feldera

Le Moteur de Calcul Incrémental Feldera

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-05-11
18
data-engineering-community/data-engineering-wiki

Le meilleur endroit pour apprendre l'ingénierie des données. Construit et maintenu par la communauté de l'ingénierie des données.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Mis à jour 2026-09-15 📅 Créé 2021-05-04
19
bruin-data/bruin

Créez des pipelines de données avec SQL et Python, ingérez des données provenant de différentes sources, ajoutez des contrôles de qualité et construisez des flux de bout en bout.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-08-03
20
yobix-ai/extractous

Extraction de données non structurées, rapide et efficace. Écrit en Rust avec des liaisons pour de nombreuses langues.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Mis à jour 2024-12-21 📅 Créé 2024-06-04
21
dashbitco/flow

Flux parallèles computationnels sur GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Mis à jour 2026-09-25 📅 Créé 2017-01-18
22
combust/mleap

MLeap: Déployer des pipelines ML en production

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Mis à jour 2026-11-09 📅 Créé 2016-08-23
23
pyper-dev/pyper

Python concurrent simplifié

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Mis à jour 2025-02-04 📅 Créé 2024-05-22
24
Netflix/mantis

Une plateforme qui facilite aux développeurs la création d'applications en temps réel, rentables et axées sur les opérations

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Mis à jour 2026-10-28 📅 Créé 2019-06-06
25
opendatadiscovery/odd-platform

La première plateforme open-source de découverte et d'observabilité des données. Nous facilitons la vie des praticiens de données afin que vous puissiez vous concentrer sur votre entreprise.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Mis à jour 2026-10-19 📅 Créé 2021-07-07
27
amphi-ai/amphi-etl

Préparation visuelle des données alimentée par Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Mis à jour 2026-08-24 📅 Créé 2024-03-20
28
gtoonstra/etl-with-airflow

Meilleures pratiques ETL avec Airflow, avec exemples

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Mis à jour 2024-09-25 📅 Créé 2016-10-16
29
meta-pytorch/data

Un dépôt PyTorch pour le chargement des données et les utilitaires à partager par les bibliothèques de domaine PyTorch.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2021-05-12
30
dataform-co/dataform

Dataform est un framework pour gérer les opérations de données basées sur SQL dans BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-09-03
31
fal-ai/fal

⚡ Le moyen le plus rapide de servir des modèles ML open source à des millions de personnes

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-11
32
ocsf/ocsf-schema

Schéma OCSF

ocsf
⭐ 917 👤 ocsf Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-04-16
33
mafintosh/pump

chaîner les flux ensemble et fermer tous s'il en est un qui se ferme

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Mis à jour 2026-02-28 📅 Créé 2013-08-14
35
artie-labs/transfer

Plateforme de réplication de base de données qui exploite la capture de données modifiées. Diffusez les données de production des bases de données vers votre entrepôt de données (Snowflake, BigQuery, Redshift, Databricks) en temps réel.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Mis à jour 2026-05-09 📅 Créé 2022-11-06
36
joboccara/pipes

Pipelines pour un code expressif sur les collections en C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Mis à jour 2024-10-30 📅 Créé 2017-02-19
37
astronomer/airflow-guides

Guides et documentation pour vous aider à démarrer avec Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Mis à jour 2025-11-15 📅 Créé 2018-05-17
38
tuplex/tuplex

Tuplex est un framework de traitement parallèle de données volumineuses qui exécute des pipelines de science des données écrites en Python à la vitesse du code compilé. Tuplex dispose d'API Python similaires à celles d'Apache Spark ou de Dask, mais au lieu d'invoquer l'interpréteur Python, Tuplex génère du bytecode LLVM optimisé pour le pipeline et l'ensemble de données d'entrée donnés.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Mis à jour 2025-08-10 📅 Créé 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Code pour les pipelines de données avec Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Mis à jour 2024-08-15 📅 Créé 2019-06-10
40
turbolytics/sql-flow

DuckDB pour les données en streaming

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Mis à jour 2026-11-21 📅 Créé 2023-11-21
41
raystack/optimus

Optimus est un orchestrateur de flux de travail facile à utiliser, fiable et performant pour la transformation des données, la modélisation des données, les pipelines et la gestion de la qualité des données.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Mis à jour 2024-06-08 📅 Créé 2021-03-22
42
datalab-to/pdftext

Extrayez rapidement du texte structuré des PDF

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Mis à jour 2026-10-22 📅 Créé 2024-04-24
43
digitalocean/firebolt

Framework Golang pour ETL en streaming, pipelines de données d'observabilité et applications de traitement d'événements

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Mis à jour 2024-06-14 📅 Créé 2019-10-31
44
noneback/go-taskflow

Un framework de programation parallèle de tâches à usage général en Go pur

noneback
⭐ 642 Go 👤 noneback User 🕐 Mis à jour 2026-08-16 📅 Créé 2024-03-06
45
cgrand/xforms

Transducteurs supplémentaires et fonctions de réduction pour Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Mis à jour 2024-01-22 📅 Créé 2015-09-03
46
singer-io/singer-python

Écrit le format Singer à partir de Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2016-10-28
47
apache/flink-playgrounds

Apache Flink Terrains de jeu

apache
⭐ 555 Java 👤 apache Organization 🕐 Mis à jour 2026-09-28 📅 Créé 2019-07-12
48
cas-bigdatalab/piflow

πflow est un moteur de flux de big data avec prise en charge de Spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2018-05-03
49
elementary-data/dbt-data-reliability

Ce package dbt capture les métadonnées, les artefacts et les résultats des tests afin que vous puissiez détecter les anomalies, surveiller la qualité des données et construire des tables de métadonnées. Il alimente Elementary OSS et fournit la couche de contexte plus large utilisée par le plan de contrôle complet Data & AI d'Elementary Cloud.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Programmation Spark en Python pour débutants

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Mis à jour 2024-07-25 📅 Créé 2020-05-31

Foire aux questions

1

Quel est le dépôt #data-pipelines le plus populaire sur GitHub ?

Le projet #data-pipelines open source le mieux classé sur GitHub est twitter/the-algorithm, avec 73,884 étoiles. Code source de l'algorithme de recommandation X

2

Quels langages de programmation sont les plus utilisés dans les dépôts #data-pipelines ?

Parmi les projets #data-pipelines les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Java, Rust.

3

Comment le classement des dépôts #data-pipelines est-il calculé ?

Nous suivons 50 dépôts open source actifs associés à #data-pipelines (500+ étoiles), totalisant 323,108 étoiles, avec une moyenne de 6,462 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.