Git Stars Git Stars

#data-pipelines Repositórios

Descubra 50 repositórios ativos de código aberto no GitHub marcados com #data-pipelines, acumulando um total de 323,108 estrelas (uma média de 6,462 por projeto). O líder deste tópico é twitter/the-algorithm, com 73,884 estrelas.

50
Total de Repositórios
323,108
Total de estrelas
6,462
Média de Estrelas/Repositório

50 repositórios no total

1
twitter/the-algorithm

Código-fonte para o Algoritmo de Recomendação X

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Atualizado 2025-09-08 📅 Criado 2023-03-27
2
pathwaycom/pathway

Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-11-27
3
apache/airflow

Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-04-13
4
dagster-io/dagster

Uma plataforma de orquestração para o desenvolvimento, produção e observação de ativos de dados.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-04-30
5
Unstructured-IO/unstructured

Converta documentos em dados estruturados sem esforço. Unstructured é uma solução ETL de código aberto para transformar documentos complexos em formatos limpos e estruturados para modelos de linguagem. Visite nosso site para saber mais sobre nosso produto Plataforma de nível empresarial para fluxos de trabalho de nível de produção, particionamento, enriquecimentos, divisão em blocos (chunking) e incorporação (embedding).

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Atualizado 2026-11-19 📅 Criado 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler é a moderna plataforma de orquestração de dados. Ágil para criar fluxo de trabalho de alta performance com baixo código

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-03-01
7
kedro-org/kedro

Kedro é um conjunto de ferramentas para ciência de dados pronta para produção. Ele usa as melhores práticas de engenharia de software para ajudar você a criar pipelines de engenharia de dados e ciência de dados que são reproduzíveis, manuteníveis e modulares.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Atualizado 2026-11-19 📅 Criado 2019-04-18
8
mage-ai/mage-ai

🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Preparação de dados simplificada com os mais recentes operadores e pipelines baseados em LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Atualizado 2026-11-18 📅 Criado 2024-10-13
10
fluvio-community/fluvio

processamento de fluxo de eventos 🦀 para desenvolvedores coletarem e transformarem dados em movimento para alimentar aplicações responsivas e intensivas em dados.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Atualizado 2026-11-05 📅 Criado 2019-08-31
11
gayanvoice/top-github-users

Verifique sua classificação no GitHub! Não se esqueça de dar uma estrela ⭐ para este repositório.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Atualizado 2026-11-21 📅 Criado 2021-06-03
12
StructuredLabs/preswald

Preswald é um empacotador WASM para aplicações de dados interativas baseadas em Python: agrupa fluxos de trabalho de dados complexos completos, particularmente visualizações, em arquivos únicos, executáveis completamente no navegador, usando Pyodide, DuckDB, Pandas e Plotly, Matplotlib, etc. Crie dashboards, relatórios e notebooks que rodam offline, carregam rapidamente e são compartilhados como um documento.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Atualizado 2026-06-11 📅 Criado 2024-12-14
13
ucbepic/docetl

Um sistema baseado em agentes para processamento de dados e ETL, impulsionado por LLM.

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Atualizado 2026-11-17 📅 Criado 2024-07-09
14
Netflix/maestro

Maestro: O Orquestrador de Fluxos de Trabalho da Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Atualizado 2026-11-06 📅 Criado 2024-04-17
15
meltano/meltano

Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e dimensionamento de suas próprias integrações de API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-06-21
16
elementary-data/elementary

A solução de observabilidade de dados nativa do dbt para engenheiros de dados e análises. Monitore seus pipelines de dados em minutos. Disponível como serviço auto-hospedado ou na nuvem com recursos premium.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Atualizado 2026-11-18 📅 Criado 2021-08-30
17
feldera/feldera

O Motor de Computação Incremental Feldera

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-11
18
data-engineering-community/data-engineering-wiki

O melhor lugar para aprender engenharia de dados. Construído e mantido pela comunidade de engenharia de dados.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Atualizado 2026-09-15 📅 Criado 2021-05-04
19
bruin-data/bruin

Construir pipelines de dados com SQL e Python, ingerir dados de diferentes fontes, adicionar verificações de qualidade e construir fluxos de ponta a ponta.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-08-03
20
yobix-ai/extractous

Extração de dados não estruturados de forma rápida e eficiente. Escrito em Rust com ligações (bindings) para muitas linguagens.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Atualizado 2024-12-21 📅 Criado 2024-06-04
21
dashbitco/flow

Fluxos paralelos computacionais sobre GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Atualizado 2026-09-25 📅 Criado 2017-01-18
22
combust/mleap

MLeap: Implante Pipelines de ML em Produção

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Atualizado 2026-11-09 📅 Criado 2016-08-23
23
pyper-dev/pyper

Python Concorrente Simplificado

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Atualizado 2025-02-04 📅 Criado 2024-05-22
24
Netflix/mantis

Uma plataforma que facilita para os desenvolvedores construir aplicações em tempo real, custo-efetivas e focadas em operações

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Atualizado 2026-10-28 📅 Criado 2019-06-06
25
opendatadiscovery/odd-platform

Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Atualizado 2026-10-19 📅 Criado 2021-07-07
27
amphi-ai/amphi-etl

Preparação visual de dados impulsionada por Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Atualizado 2026-08-24 📅 Criado 2024-03-20
28
gtoonstra/etl-with-airflow

Práticas recomendadas de ETL com Airflow, com exemplos

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Atualizado 2024-09-25 📅 Criado 2016-10-16
29
meta-pytorch/data

Um repositório PyTorch para carregamento de dados e utilitários a serem compartilhados pelas bibliotecas de domínio PyTorch.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Atualizado 2026-11-12 📅 Criado 2021-05-12
30
dataform-co/dataform

Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-09-03
31
fal-ai/fal

⚡ A maneira mais rápida de servir modelos de ML de código aberto para milhões

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-11
32
ocsf/ocsf-schema

Esquema OCSF

ocsf
⭐ 917 👤 ocsf Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-04-16
33
mafintosh/pump

conectar fluxos e fechar todos eles se um deles se fechar

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Atualizado 2026-02-28 📅 Criado 2013-08-14
35
artie-labs/transfer

Plataforma de replicação de banco de dados que aproveita a captura de alterações de dados. Transmita dados de produção de bancos de dados para seu data warehouse (Snowflake, BigQuery, Redshift, Databricks) em tempo real.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Atualizado 2026-05-09 📅 Criado 2022-11-06
36
joboccara/pipes

Pipelines para código expressivo em coleções em C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Atualizado 2024-10-30 📅 Criado 2017-02-19
37
astronomer/airflow-guides

Guias e documentação para ajudá-lo a começar a usar o Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Atualizado 2025-11-15 📅 Criado 2018-05-17
38
tuplex/tuplex

Tuplex é um framework de processamento paralelo de big data que executa pipelines de ciência de dados escritos em Python na velocidade de código compilado. O Tuplex possui APIs Python semelhantes às do Apache Spark ou Dask, mas em vez de invocar o interpretador Python, o Tuplex gera bytecode LLVM otimizado para o pipeline e conjunto de dados de entrada fornecidos.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Atualizado 2025-08-10 📅 Criado 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Código para Pipelines de Dados com Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Atualizado 2024-08-15 📅 Criado 2019-06-10
40
turbolytics/sql-flow

DuckDB para dados de streaming

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Atualizado 2026-11-21 📅 Criado 2023-11-21
41
raystack/optimus

Optimus é um orquestrador de fluxo de trabalho fácil de usar, confiável e de alto desempenho para transformação de dados, modelagem de dados, pipelines e gestão da qualidade de dados.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Atualizado 2024-06-08 📅 Criado 2021-03-22
42
datalab-to/pdftext

Extrair texto estruturado de PDFs rapidamente

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Atualizado 2026-10-22 📅 Criado 2024-04-24
43
digitalocean/firebolt

Framework Golang para ETL em streaming, pipeline de dados de observabilidade e aplicações de processamento de eventos

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Atualizado 2024-06-14 📅 Criado 2019-10-31
44
noneback/go-taskflow

Um framework de programação paralela de tarefas de propósito geral em Go puro

noneback
⭐ 642 Go 👤 noneback User 🕐 Atualizado 2026-08-16 📅 Criado 2024-03-06
45
cgrand/xforms

Transdutores extras e funções de redução para Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Atualizado 2024-01-22 📅 Criado 2015-09-03
46
singer-io/singer-python

Escreve o formato Singer em Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Atualizado 2026-11-02 📅 Criado 2016-10-28
47
apache/flink-playgrounds

Playgrounds do Apache Flink

apache
⭐ 555 Java 👤 apache Organization 🕐 Atualizado 2026-09-28 📅 Criado 2019-07-12
48
cas-bigdatalab/piflow

πflow é um mecanismo de fluxo de big data com suporte a spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-05-03
49
elementary-data/dbt-data-reliability

Este pacote dbt captura metadados, artefatos e resultados de testes para que você possa detectar anomalias, monitorar a qualidade dos dados e construir tabelas de metadados. Ele impulsiona o Elementary OSS e alimenta a camada de contexto mais ampla usada pelo completo Data & AI Control Plane do Elementary Cloud.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Programação Spark em Python para iniciantes

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Atualizado 2024-07-25 📅 Criado 2020-05-31

Perguntas Frequentes

1

Qual é o repositório de #data-pipelines mais popular no GitHub?

O projeto de código aberto de #data-pipelines mais bem classificado no GitHub é twitter/the-algorithm, com 73,884 estrelas. Código-fonte para o Algoritmo de Recomendação X

2

Quais linguagens de programação são mais usadas nos repositórios de #data-pipelines?

Entre os projetos de #data-pipelines mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Java, Rust.

3

Como é calculada a classificação dos repositórios de #data-pipelines?

Acompanhamos 50 repositórios ativos de código aberto marcados com #data-pipelines (com mais de 500 estrelas), totalizando 323,108 estrelas e uma média de 6,462 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.