Git Stars Git Stars

#data-pipeline Repositórios

Descubra 67 repositórios ativos de código aberto no GitHub marcados com #data-pipeline, acumulando um total de 219,024 estrelas (uma média de 3,269 por projeto). O líder deste tópico é xai-org/x-algorithm, com 34,361 estrelas.

67
Total de Repositórios
219,024
Total de estrelas
3,269
Média de Estrelas/Repositório

67 repositórios no total

1
xai-org/x-algorithm

Algoritmo que alimenta o feed 'For You' no X

xai-org
⭐ 34,361 Rust 👤 xai-org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-01-19
2
airbytehq/airbyte

Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-07-27
3
apache/shardingsphere

Capacitando a Inteligência de Dados com SQL Distribuído para Fragmentação, Escalabilidade e Segurança em Todos os Bancos de Dados.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-01-18
4
debezium/debezium

Captura de dados alterados para uma variedade de bancos de dados. Por favor, registre os problemas em https://github.com/debezium/dbz/issues.

debezium
⭐ 13,366 Java 👤 debezium Organization 🕐 Atualizado 2026-11-20 📅 Criado 2016-01-22
5
pentaho/pentaho-kettle

Pentaho Data Integration (ETL) também conhecido como Kettle

pentaho
⭐ 8,419 Java 👤 pentaho Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-10-08
6
meirwah/awesome-workflow-engines

Uma lista selecionada de motores de fluxo de trabalho de código aberto incríveis

meirwah
⭐ 7,967 👤 meirwah User 🕐 Atualizado 2026-10-11 📅 Criado 2015-05-20
7
datajuicer/data-juicer

Processamento de dados para e com modelos de fundação! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷

datajuicer
⭐ 7,266 Python 👤 datajuicer Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-08-01
8
snowplow/snowplow

O líder em Infraestrutura de Dados do Cliente

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Atualizado 2026-10-19 📅 Criado 2012-03-01
9
apache/flink-cdc

Flink CDC é uma ferramenta de integração de dados de streaming

apache
⭐ 6,495 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2020-07-27
10
clidey/whodb

Onde o acesso a dados encontra a inteligência operacional

clidey
⭐ 5,065 Go 👤 clidey Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-06-11
11
togethercomputer/RedPajama-Data

O repositório RedPajama-Data contém código para preparar grandes conjuntos de dados para treinar grandes modelos de linguagem.

togethercomputer
⭐ 4,997 Python 👤 togethercomputer Organization 🕐 Atualizado 2026-06-03 📅 Criado 2023-04-14
12
dagucloud/dagu

Orquestrador de workflows auto-hospedável para equipes cujo trabalho principal não é orquestração. YAML declarativo para seus scripts, comandos SSH, contêineres etc.; mantenha os workflows separados da lógica de negócio. Um único binário, sem banco de dados, funciona com recursos de hardware limitados. Uma alternativa ao Airflow, Cron e aos agendadores de tarefas.

dagucloud
⭐ 4,642 Go 👤 dagucloud Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-04-22
13
rudderlabs/rudder-server

Segmento focado em privacidade e segurança - alternativa, em Golang e React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-07-19
14
bruin-data/ingestr

ingestr é uma ferramenta de CLI para copiar dados entre quaisquer bancos de dados de forma integrada com um único comando.

bruin-data
⭐ 4,049 Go 👤 bruin-data Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-02-12
15
adilkhash/Data-Engineering-HowTo

Uma lista de recursos úteis para aprender Engenharia de Dados do zero

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Atualizado 2026-10-30 📅 Criado 2019-03-28
16
superlinked/sie

Servidor de inferência de código aberto e cluster de produção para todos os modelos que seu agente precisa.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-11-07
17
superstreamlabs/memphis

Memphis.dev é uma plataforma de streaming de dados altamente escalável e sem esforço.

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Atualizado 2026-03-02 📅 Criado 2022-02-01
18
whylabs/whylogs

Uma biblioteca de registro de dados de código aberto para modelos de aprendizado de máquina e pipelines de dados. 📚 Oferece visibilidade da qualidade dos dados e do desempenho do modelo ao longo do tempo. 🛡️ Suporta coleta de dados que preserva a privacidade, garantindo segurança e robustez. 📈

whylabs
⭐ 2,819 Jupyter Notebook 👤 whylabs Organization 🕐 Atualizado 2025-01-10 📅 Criado 2020-08-14
19
unitedstates/congress-legislators

Membros do Congresso dos Estados Unidos, 1789-Presente, em YAML/JSON/CSV, bem como comitês, presidentes e vice-presidentes.

unitedstates
⭐ 2,473 Python 👤 unitedstates Organization 🕐 Atualizado 2026-11-15 📅 Criado 2012-09-27
20
elementary-data/elementary

A solução de observabilidade de dados nativa do dbt para engenheiros de dados e análises. Monitore seus pipelines de dados em minutos. Disponível como serviço auto-hospedado ou na nuvem com recursos premium.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Atualizado 2026-11-18 📅 Criado 2021-08-30
21
iliane5/meridian

O Meridian corta o ruído das notícias, raspando centenas de fontes, analisando as histórias com IA e fornecendo resumos diários concisos e personalizados.

iliane5
⭐ 2,415 TypeScript 👤 iliane5 User 🕐 Atualizado 2025-05-30 📅 Criado 2025-03-06
22
warproxxx/poly_data

Retriever de Dados do Polymarket que busca, processa e estrutura dados do Polymarket, incluindo mercados, eventos de pedidos e negociações.

warproxxx
⭐ 2,353 Python 👤 warproxxx User 🕐 Atualizado 2026-09-08 📅 Criado 2025-10-03
23
reugn/go-streams

Uma biblioteca leve de processamento de fluxo para Go

reugn
⭐ 2,178 Go 👤 reugn User 🕐 Atualizado 2026-01-14 📅 Criado 2019-04-30
24
datazip-inc/olake-go

OLake Go: replicação de código aberto de bancos de dados, Kafka e S3 para Apache Iceberg e Parquet. Fontes: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anteriormente, datazip-inc/olake. A manutenção de tabelas fica em datazip-inc/olake-fusion.

datazip-inc
⭐ 2,166 Go 👤 datazip-inc Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-10-15
25
oficcejo/aiagents-stock

Sistema composto de análise de equipe de ações com múltiplos agentes de IA inteligentes para monitoramento de pratos. Baseado em múltiplos agentes de IA, simula o processo de análise de uma equipe de analistas de valores mobiliários, fornecendo análise abrangente de investimentos em ações e sugestões de decisão. Novo: rastreamento e análise de lista de dragões e tigres de capital quente, análise de alerta e rotação de setores. Suporta análise em lote multi-thread, monitoramento em tempo real de pontos-chave, envio de alertas, reserva de interface miniqmt, suporta negociação quantitativa. Realmente realiza 'IA negocia ações por você', adequado para Ações A da China Continental. Para o site de teste abaixo, preencha a chave temporária deepseek, delete após o teste para evitar risco de vazamento. Nota: Acesso excessivo ao serviço de nuvem de teste pode fazer com que a fonte de dados recuse. Para uso, implante localmente.

oficcejo
⭐ 2,101 Python 👤 oficcejo User 🕐 Atualizado 2026-10-10 📅 Criado 2025-10-03
26
pydoit/doit

Ferramenta CLI de gerenciamento e automação de tarefas

pydoit
⭐ 2,098 Python 👤 pydoit Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-02-14
27
Multiwoven/multiwoven

🔥🔥🔥 Reverse ETL de código aberto - alternativa ao hightouch e census.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-10-20
28
bazaarvoice/jolt

Biblioteca de transformação de JSON para JSON escrita em Java.

bazaarvoice
⭐ 1,674 Java 👤 bazaarvoice Organization 🕐 Atualizado 2026-10-28 📅 Criado 2013-02-15
29
tanjiti/sec_profile

Rastrear secwiki e xuanwu.github.io/sec.today, analisar sites de informações de segurança, tendências de segurança e extrair contas de profissionais de segurança (twitter, weixin, github, etc.)

tanjiti
⭐ 1,640 HTML 👤 tanjiti User 🕐 Atualizado 2026-11-21 📅 Criado 2019-02-19
30
slothflowlabs/duckle

ETL/ELT de código aberto que você implanta nos seus próprios servidores ou na nuvem. Desenvolvido com base no DuckDB: pipelines visuais no-code/low-code ou SQL, 446 componentes, dbt, CDC, qualidade de dados, ETL reverso, linhagem e MCP para agentes de IA. Sem nuvem do fornecedor e sem cobrança por linha.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-05-21
31
xitongsys/parquet-go

biblioteca pura em golang para leitura/escrita de arquivos parquet

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 Atualizado 2026-05-08 📅 Criado 2017-09-02
32
GoogleCloudPlatform/data-science-on-gcp

Código-fonte que acompanha o livro: Ciência de Dados na Plataforma Google Cloud, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Atualizado 2026-02-20 📅 Criado 2017-02-10
33
weifuwan/seatunnel-web

Tornando o Apache SeaTunnel mais fácil de usar.

weifuwan
⭐ 1,406 TypeScript 👤 weifuwan User 🕐 Atualizado 2026-07-16 📅 Criado 2026-02-10
34
kkangert/kspider

Kspider é uma plataforma de crawling que permite definir fluxos de trabalho de rastreamento de forma gráfica, possibilitando a implementação de um processo de rastreamento sem a necessidade de código. O Kspider não se limita apenas a crawling, podendo também ser utilizado para testes de automação WEB, e há muitas outras funcionalidades esperando por você para explorar.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Atualizado 2024-08-19 📅 Criado 2024-07-07
35
DataWithBaraa/sql-data-warehouse-project

Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Atualizado 2026-11-06 📅 Criado 2024-12-30
36
authorjapps/zerocode

zerocode-tdd é um framework gratuito e de código aberto para testes automatizados, desenvolvido pela comunidade e orientado a resultados, destinado a pipelines de dados, ETL, APIs REST, Kafka (fluxos de dados), bancos de dados e cenários de carga — tudo definido em JSON ou YAML simples, sem escrever código.

authorjapps
⭐ 1,017 Java 👤 authorjapps User 🕐 Atualizado 2026-11-12 📅 Criado 2016-07-05
37
estuary/flow

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-02-13
38
qiantongtech/qData

qData é uma plataforma de dados open source leve, completa em recursos e nativa de IA. Ela abrange integração, desenvolvimento, modelagem e governança de dados, além de ativos e serviços de API, com implantação autogerenciada, escalabilidade flexível e uso comercial.

qiantongtech
⭐ 950 Java 👤 qiantongtech Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-05-17
39
apache/seatunnel-web

SeaTunnel é uma plataforma de integração de dados distribuída e de alto desempenho para a sincronização e transformação de dados massivos (offline e em tempo real).

apache
⭐ 888 Java 👤 apache Organization 🕐 Atualizado 2026-01-22 📅 Criado 2022-09-26
40
AgnostiqHQ/covalent

Ferramenta Pythonica para orquestrar fluxos de trabalho de machine-learning/high performance/quantum-computing em ambientes de computação heterogêneos.

AgnostiqHQ
⭐ 869 Python 👤 AgnostiqHQ Organization 🕐 Atualizado 2026-11-16 📅 Criado 2021-11-03
41
spotify/klio

Pipelines de dados mais inteligentes para áudio.

spotify
⭐ 866 Python 👤 spotify Organization 🕐 Atualizado 2024-01-10 📅 Criado 2020-08-07
42
censusreporter/censusreporter

Census Reporter é um projeto financiado pelo Knight News Challenge para facilitar que jornalistas escrevam reportagens usando informações do escritório do Censo dos EUA.

censusreporter
⭐ 846 HTML 👤 censusreporter Organization 🕐 Atualizado 2026-10-26 📅 Criado 2013-05-20
43
ssp-data/practical-data-engineering

Engenharia de Dados Prática: Um Guia de Projeto Imobiliário Mãos à Obra

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 Atualizado 2026-06-25 📅 Criado 2020-11-18
44
justjavac/weibo-trending-hot-search

A Lista de Pesquisas Mais Quentes do Weibo registra as buscas populares do Weibo a partir de 24 de novembro de 2020. Os dados são capturados a cada hora e arquivados diariamente.

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 Atualizado 2026-11-21 📅 Criado 2020-11-24
45
tidymodels/infer

Um pacote R para inferência estatística amigável ao tidyverse

tidymodels
⭐ 796 R 👤 tidymodels Organization 🕐 Atualizado 2026-04-13 📅 Criado 2017-06-05
46
geolonia/japanese-addresses

Dados abertos de endereços a nível nacional (nível Chōchōme) (277.191 registros)

geolonia
⭐ 774 JavaScript 👤 geolonia Organization 🕐 Atualizado 2026-08-05 📅 Criado 2020-07-12
47
hudl/statsbombpy

Transmita facilmente dados do StatsBomb para o Python

hudl
⭐ 758 Python 👤 hudl Organization 🕐 Atualizado 2026-10-20 📅 Criado 2020-01-08
48
CZ-NIC/pz

Lide facilmente com operações diárias de CLI via Python em vez de programas Bash regulares. 🇺🇦 #supporting

CZ-NIC
⭐ 732 Python 👤 CZ-NIC Organization 🕐 Atualizado 2025-11-24 📅 Criado 2020-11-25
49
karpathy/hn-time-capsule

Analisando discussões do Hacker News de uma década atrás, em retrospectiva, com LLMs

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Atualizado 2025-12-10 📅 Criado 2025-12-10
50
azmatt/chasing_your_tail

Ferramenta para usar sinais sem fio para ver se você está sendo seguido.

azmatt
⭐ 691 Python 👤 azmatt User 🕐 Atualizado 2025-02-18 📅 Criado 2022-01-01

Perguntas Frequentes

1

Qual é o repositório de #data-pipeline mais popular no GitHub?

O projeto de código aberto de #data-pipeline mais bem classificado no GitHub é xai-org/x-algorithm, com 34,361 estrelas. Algoritmo que alimenta o feed 'For You' no X

2

Quais linguagens de programação são mais usadas nos repositórios de #data-pipeline?

Entre os projetos de #data-pipeline mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Java, Go, Rust.

3

Como é calculada a classificação dos repositórios de #data-pipeline?

Acompanhamos 67 repositórios ativos de código aberto marcados com #data-pipeline (com mais de 500 estrelas), totalizando 219,024 estrelas e uma média de 3,269 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.