#data-pipelines Repositórios
Descubra 50 repositórios ativos de código aberto no GitHub marcados com #data-pipelines, acumulando um total de 323,108 estrelas (uma média de 6,462 por projeto). O líder deste tópico é twitter/the-algorithm, com 73,884 estrelas.
50 repositórios no total
Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.
Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente
Uma plataforma de orquestração para o desenvolvimento, produção e observação de ativos de dados.
Converta documentos em dados estruturados sem esforço. Unstructured é uma solução ETL de código aberto para transformar documentos complexos em formatos limpos e estruturados para modelos de linguagem. Visite nosso site para saber mais sobre nosso produto Plataforma de nível empresarial para fluxos de trabalho de nível de produção, particionamento, enriquecimentos, divisão em blocos (chunking) e incorporação (embedding).
Apache DolphinScheduler é a moderna plataforma de orquestração de dados. Ágil para criar fluxo de trabalho de alta performance com baixo código
Kedro é um conjunto de ferramentas para ciência de dados pronta para produção. Ele usa as melhores práticas de engenharia de software para ajudar você a criar pipelines de engenharia de dados e ciência de dados que são reproduzíveis, manuteníveis e modulares.
🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.
[SIGMOD'27] Preparação de dados simplificada com os mais recentes operadores e pipelines baseados em LLM.
processamento de fluxo de eventos 🦀 para desenvolvedores coletarem e transformarem dados em movimento para alimentar aplicações responsivas e intensivas em dados.
Verifique sua classificação no GitHub! Não se esqueça de dar uma estrela ⭐ para este repositório.
Preswald é um empacotador WASM para aplicações de dados interativas baseadas em Python: agrupa fluxos de trabalho de dados complexos completos, particularmente visualizações, em arquivos únicos, executáveis completamente no navegador, usando Pyodide, DuckDB, Pandas e Plotly, Matplotlib, etc. Crie dashboards, relatórios e notebooks que rodam offline, carregam rapidamente e são compartilhados como um documento.
Um sistema baseado em agentes para processamento de dados e ETL, impulsionado por LLM.
Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e dimensionamento de suas próprias integrações de API.
A solução de observabilidade de dados nativa do dbt para engenheiros de dados e análises. Monitore seus pipelines de dados em minutos. Disponível como serviço auto-hospedado ou na nuvem com recursos premium.
O melhor lugar para aprender engenharia de dados. Construído e mantido pela comunidade de engenharia de dados.
Construir pipelines de dados com SQL e Python, ingerir dados de diferentes fontes, adicionar verificações de qualidade e construir fluxos de ponta a ponta.
Extração de dados não estruturados de forma rápida e eficiente. Escrito em Rust com ligações (bindings) para muitas linguagens.
Uma plataforma que facilita para os desenvolvedores construir aplicações em tempo real, custo-efetivas e focadas em operações
Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.
Um repositório PyTorch para carregamento de dados e utilitários a serem compartilhados pelas bibliotecas de domínio PyTorch.
Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery
Plataforma de replicação de banco de dados que aproveita a captura de alterações de dados. Transmita dados de produção de bancos de dados para seu data warehouse (Snowflake, BigQuery, Redshift, Databricks) em tempo real.
Tuplex é um framework de processamento paralelo de big data que executa pipelines de ciência de dados escritos em Python na velocidade de código compilado. O Tuplex possui APIs Python semelhantes às do Apache Spark ou Dask, mas em vez de invocar o interpretador Python, o Tuplex gera bytecode LLVM otimizado para o pipeline e conjunto de dados de entrada fornecidos.
Optimus é um orquestrador de fluxo de trabalho fácil de usar, confiável e de alto desempenho para transformação de dados, modelagem de dados, pipelines e gestão da qualidade de dados.
Framework Golang para ETL em streaming, pipeline de dados de observabilidade e aplicações de processamento de eventos
Um framework de programação paralela de tarefas de propósito geral em Go puro
Este pacote dbt captura metadados, artefatos e resultados de testes para que você possa detectar anomalias, monitorar a qualidade dos dados e construir tabelas de metadados. Ele impulsiona o Elementary OSS e alimenta a camada de contexto mais ampla usada pelo completo Data & AI Control Plane do Elementary Cloud.
Apache Spark 3 - Programação Spark em Python para iniciantes
Perguntas Frequentes
Qual é o repositório de #data-pipelines mais popular no GitHub?
O projeto de código aberto de #data-pipelines mais bem classificado no GitHub é twitter/the-algorithm, com 73,884 estrelas. Código-fonte para o Algoritmo de Recomendação X
Quais linguagens de programação são mais usadas nos repositórios de #data-pipelines?
Entre os projetos de #data-pipelines mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Java, Rust.
Como é calculada a classificação dos repositórios de #data-pipelines?
Acompanhamos 50 repositórios ativos de código aberto marcados com #data-pipelines (com mais de 500 estrelas), totalizando 323,108 estrelas e uma média de 6,462 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.