Git Stars Git Stars

#data-pipelines Repository

Scopri 50 repository GitHub open source attivi contrassegnati con #data-pipelines, che raccolgono un totale di 323,108 stelle (con una media di 6,462 stelle per progetto). Il progetto leader di questo argomento è twitter/the-algorithm, con 73,884 stelle.

50
Totale Repository
323,108
Totale stelle
6,462
Media Stelle/Repo

50 repository in totale

1
twitter/the-algorithm

Codice sorgente per l'algoritmo di raccomandazione X

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Aggiornato 2025-09-08 📅 Creato 2023-03-27
2
pathwaycom/pathway

Framework ETL Python per l'elaborazione di stream, analisi in tempo reale, pipeline LLM e RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2022-11-27
3
apache/airflow

Apache Airflow - Una piattaforma per creare, pianificare e monitorare workflow in modo programmatico

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2015-04-13
4
dagster-io/dagster

Una piattaforma di orchestrazione per lo sviluppo, la produzione e l'osservazione di asset di dati.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-04-30
5
Unstructured-IO/unstructured

Converti documenti in dati strutturati senza sforzo. Unstructured è una soluzione ETL open-source per trasformare documenti complessi in formati puliti e strutturati per modelli linguistici. Visita il nostro sito web per saperne di più sul nostro prodotto Platform di livello enterprise per flussi di lavoro di livello di produzione, partizionamento, arricchimento, chunking e embedding.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler è la piattaforma moderna di orchestrazione dati. Agile per creare flussi di lavoro ad alte prestazioni con low-code.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2019-03-01
7
kedro-org/kedro

Kedro è una cassetta degli attrezzi per la data science pronta per la produzione. Utilizza le migliori pratiche di ingegneria del software per aiutarti a creare pipeline di data engineering e data science che siano riproducibili, manutenibili e modulari.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Aggiornato 2026-11-19 📅 Creato 2019-04-18
8
mage-ai/mage-ai

🧙 Costruisci, esegui e gestisci pipeline di dati per l'integrazione e la trasformazione dei dati.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Preparazione dei dati semplificata con gli operatori e le pipeline più recenti basati su LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2024-10-13
10
fluvio-community/fluvio

🦀 Elaborazione di flussi di eventi per sviluppatori per raccogliere e trasformare dati in movimento per alimentare applicazioni intensive di dati reattive.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Aggiornato 2026-11-05 📅 Creato 2019-08-31
11
gayanvoice/top-github-users

Controlla il tuo ranking su GitHub! Non dimenticare di mettere una ⭐ a questo repository.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Aggiornato 2026-11-21 📅 Creato 2021-06-03
12
StructuredLabs/preswald

Preswald è un packager WASM per applicazioni dati interattive basate su Python: impacchetta flussi di lavoro di dati complessi completi, in particolare visualizzazioni, in singoli file, eseguibili completamente nel browser, utilizzando Pyodide, DuckDB, Pandas e Plotly, Matplotlib, ecc. Crea dashboard, report e notebook che vengono eseguiti offline, si caricano velocemente e si condividono come un documento.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Aggiornato 2026-06-11 📅 Creato 2024-12-14
13
ucbepic/docetl

Un sistema per l'elaborazione dati e ETL basato su LLM agenti

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2024-07-09
14
Netflix/maestro

Maestro: Workflow Orchestrator di Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Aggiornato 2026-11-06 📅 Creato 2024-04-17
15
meltano/meltano

Meltano: il motore di integrazione dati dichiarativo e orientato al codice che alimenta le tue idee più sfrenate di prodotti basati sui dati e sull'IA. Dì addio alla scrittura, alla manutenzione e alla scalabilità delle tue integrazioni API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2021-06-21
16
elementary-data/elementary

La soluzione di data observability nativa per dbt per ingegneri di dati e analytics. Monitora le tue pipeline di dati in pochi minuti. Disponibile come servizio self-hosted o cloud con funzionalità premium.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2021-08-30
17
feldera/feldera

Il Motore di Calcolo Incrementale Feldera

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-11
18
data-engineering-community/data-engineering-wiki

Il posto migliore per imparare il data engineering. Costruito e mantenuto dalla community di data engineering.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Aggiornato 2026-09-15 📅 Creato 2021-05-04
19
bruin-data/bruin

Costruisci pipeline di dati con SQL e Python, acquisisci dati da diverse origini, aggiungi controlli di qualità e crea flussi end-to-end.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-08-03
20
yobix-ai/extractous

Estrazione di dati non strutturati, rapida ed efficiente. Scritto in Rust con binding per molte lingue.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Aggiornato 2024-12-21 📅 Creato 2024-06-04
21
dashbitco/flow

Flussi paralleli computazionali su GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Aggiornato 2026-09-25 📅 Creato 2017-01-18
22
combust/mleap

MLeap: Distribuire pipeline ML in produzione

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Aggiornato 2026-11-09 📅 Creato 2016-08-23
23
pyper-dev/pyper

Python concorrente reso semplice

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Aggiornato 2025-02-04 📅 Creato 2024-05-22
24
Netflix/mantis

Una piattaforma che rende facile per gli sviluppatori creare applicazioni in tempo reale, convenienti e focalizzate sulle operazioni

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Aggiornato 2026-10-28 📅 Creato 2019-06-06
25
opendatadiscovery/odd-platform

La prima piattaforma open-source per la scoperta e l'osservabilità dei dati. Semplifichiamo la vita ai professionisti dei dati in modo che tu possa concentrarti sul tuo business.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Aggiornato 2026-10-19 📅 Creato 2021-07-07
27
amphi-ai/amphi-etl

Preparazione visuale dei dati alimentata da Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Aggiornato 2026-08-24 📅 Creato 2024-03-20
28
gtoonstra/etl-with-airflow

Migliori pratiche ETL con Airflow, con esempi

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Aggiornato 2024-09-25 📅 Creato 2016-10-16
29
meta-pytorch/data

Un repository PyTorch per il caricamento dei dati e le utilità da condividere tra le librerie di dominio PyTorch.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Aggiornato 2026-11-12 📅 Creato 2021-05-12
30
dataform-co/dataform

Dataform è un framework per la gestione di operazioni sui dati basate su SQL in BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-09-03
31
fal-ai/fal

⚡ Il modo più veloce per servire modelli ML open source a milioni di persone

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-12-11
32
ocsf/ocsf-schema

Schema OCSF

ocsf
⭐ 917 👤 ocsf Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-04-16
33
mafintosh/pump

collega i flussi in sequenza e chiudi tutti se uno di essi si chiude

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Aggiornato 2026-02-28 📅 Creato 2013-08-14
35
artie-labs/transfer

Piattaforma di replica del database che sfrutta il change data capture. Trasmetti dati di produzione dai database al tuo data warehouse (Snowflake, BigQuery, Redshift, Databricks) in tempo reale.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Aggiornato 2026-05-09 📅 Creato 2022-11-06
36
joboccara/pipes

Pipeline per codice espressivo su collezioni in C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Aggiornato 2024-10-30 📅 Creato 2017-02-19
37
astronomer/airflow-guides

Guide e documentazione per aiutarti a partire con Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Aggiornato 2025-11-15 📅 Creato 2018-05-17
38
tuplex/tuplex

Tuplex è un framework di elaborazione parallela di big data che esegue pipeline di data science scritte in Python alla velocità del codice compilato. Tuplex ha API Python simili ad Apache Spark o Dask, ma invece di invocare l'interprete Python, Tuplex genera bytecode LLVM ottimizzato per la pipeline e il set di dati di input specificati.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Aggiornato 2025-08-10 📅 Creato 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Codice per pipeline di dati con Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Aggiornato 2024-08-15 📅 Creato 2019-06-10
40
turbolytics/sql-flow

DuckDB per dati in streaming

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-11-21
41
raystack/optimus

Optimus è un orchestratore di workflow facile da usare, affidabile e performante per la trasformazione dei dati, la modellazione dei dati, le pipeline e la gestione della qualità dei dati.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Aggiornato 2024-06-08 📅 Creato 2021-03-22
42
datalab-to/pdftext

Estrai rapidamente testo strutturato da PDF

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Aggiornato 2026-10-22 📅 Creato 2024-04-24
43
digitalocean/firebolt

Framework Golang per ETL in streaming, pipeline di dati di osservabilità e app di elaborazione eventi

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Aggiornato 2024-06-14 📅 Creato 2019-10-31
44
noneback/go-taskflow

Un framework di programmazione parallela di attività generico in Go puro

noneback
⭐ 642 Go 👤 noneback User 🕐 Aggiornato 2026-08-16 📅 Creato 2024-03-06
45
cgrand/xforms

Transducer extra e funzioni di riduzione per Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Aggiornato 2024-01-22 📅 Creato 2015-09-03
46
singer-io/singer-python

Scrive il formato Singer da Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Aggiornato 2026-11-02 📅 Creato 2016-10-28
47
apache/flink-playgrounds

Apache Flink Aree gioco

apache
⭐ 555 Java 👤 apache Organization 🕐 Aggiornato 2026-09-28 📅 Creato 2019-07-12
48
cas-bigdatalab/piflow

πflow è un motore di flusso di big data con supporto Spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2018-05-03
49
elementary-data/dbt-data-reliability

Questo pacchetto dbt cattura metadati, artefatti e risultati dei test in modo che tu possa rilevare anomalie, monitorare la qualità dei dati e costruire tabelle di metadati. Alimenta Elementary OSS e fornisce il layer di contesto più ampio utilizzato dal completo Data & AI Control Plane di Elementary Cloud.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Aggiornato 2026-11-18 📅 Creato 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Programmazione Spark in Python per principianti

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Aggiornato 2024-07-25 📅 Creato 2020-05-31

Domande frequenti

1

Qual è il repository #data-pipelines più popolare su GitHub?

Il progetto open source #data-pipelines più alto in classifica su GitHub è twitter/the-algorithm, con 73,884 stelle. Codice sorgente per l'algoritmo di raccomandazione X

2

Quali linguaggi di programmazione sono più utilizzati nei repository #data-pipelines?

Tra i progetti #data-pipelines più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, Java, Rust.

3

Come viene calcolata la classifica dei repository #data-pipelines?

Monitoriamo 50 repository open source attivi contrassegnati con #data-pipelines (500+ stelle), per un totale di 323,108 stelle e una media di 6,462 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.