#etl Repositórios
Descubra 105 repositórios ativos de código aberto no GitHub marcados com #etl, acumulando um total de 408,616 estrelas (uma média de 3,891 por projeto). O líder deste tópico é pathwaycom/pathway, com 61,976 estrelas.
105 repositórios no total
Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.
Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente
Orquestre tudo, em qualquer lugar. O plano de controle de código aberto para fluxos de trabalho de dados, infraestrutura, processos de negócios e agentes de IA. Declarativo em YAML, orientado a eventos, compatível com qualquer linguagem, versionado com Git e escalável para milhões de execuções.
Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.
Uma plataforma de orquestração para o desenvolvimento, produção e observação de ativos de dados.
Motor incremental para agentes de horizonte longo 🌟 Dê uma estrela se gostar!
🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.
Zero-ETL, possibilidades infinitas. APIs de consulta ao vivo, código e mais com SQL. Nenhuma base de dados necessária.
Pipelines de dados para configuração de nuvem e dados de segurança. Crie soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados da AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.
Página de integração visual do DataX, selecione a fonte de dados para gerar uma tarefa de sincronização de dados com um clique, suporta fontes de dados como RDBMS, Hive, HBase, ClickHouse, MongoDB, etc., cria tarefas de sincronização de dados RDBMS em lote, integra sistema de agendamento de código aberto, suporta sincronização de dados distribuída e incremental, visualização em tempo real dos logs de execução, monitoramento de recursos do executor, processos de execução KILL, criptografia de informações da fonte de dados e muito mais.
Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.
Segmento focado em privacidade e segurança - alternativa, em Golang e React
Um sistema baseado em agentes para processamento de dados e ETL, impulsionado por LLM.
pandas on AWS - Integração fácil com Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).
Framework de transformação de dados escalável e eficiente – retrocompatível com o dbt.
Uma ferramenta rápida, simples e econômica para replicar dados do Postgres para Data Warehouses, Queues e Armazenamento
Postgres impulsionado por DuckDB para aplicativos e análises de alto desempenho.
Apache DevLake é uma plataforma de dados de desenvolvimento de código aberto para ingerir, analisar e visualizar dados fragmentados de ferramentas DevOps, extraindo insights para excelência de engenharia, experiência do desenvolvedor e crescimento da comunidade.
Scripts Python para trabalhos de ETL (extrair, transformar e carregar) para blocos Ethereum, transações, tokens ERC20 / ERC721, transferências, recibos, logs, contratos, transações internas. Os dados estão disponíveis no Google BigQuery https://goo.gl/oY5BCQ
O Apache Hamilton ajuda cientistas e engenheiros de dados a definir fluxos de dados testáveis, modulares e autodocumentáveis, que codificam linhagem/rastreamento e metadados. Ele executa e escala em qualquer lugar onde o Python também funcione.
🔮 Instill Core é uma ferramenta de infraestrutura de IA full-stack para orquestração de dados, modelos e pipelines, projetada para otimizar todos os aspectos da construção de aplicações versáteis com foco em IA
O mecanismo SQL unificado de streaming mais rápido em um único binário C++. ⚡ Latência de milissegundos. Vazão superior a 100 GB/s. Calcula continuamente contexto com estado a partir de fluxos, logs, métricas, eventos e CDC.
Lista ativamente selecionada de ferramentas de BI incríveis. Solicitações de pull (PRs) são bem-vindas!
OLake Go: replicação de código aberto de bancos de dados, Kafka e S3 para Apache Iceberg e Parquet. Fontes: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anteriormente, datazip-inc/olake. A manutenção de tabelas fica em datazip-inc/olake-fusion.
O melhor lugar para aprender engenharia de dados. Construído e mantido pela comunidade de engenharia de dados.
Extração de dados não estruturados de forma rápida e eficiente. Escrito em Rust com ligações (bindings) para muitas linguagens.
Dozer é uma ferramenta de movimentação de dados em tempo real que aproveita o CDC de várias fontes e move dados para vários destinos.
ETL/ELT de código aberto que você implanta nos seus próprios servidores ou na nuvem. Desenvolvido com base no DuckDB: pipelines visuais no-code/low-code ou SQL, 446 componentes, dbt, CDC, qualidade de dados, ETL reverso, linhagem e MCP para agentes de IA. Sem nuvem do fornecedor e sem cobrança por linha.
A plataforma aberta de inteligência documental para construtores e hackers - DMS para o mundo agentivo
Sucessor do Alibaba DataX com manutenção ativa: uma ferramenta ETL de código aberto, rápida e versátil, compatível com mais de 30 fontes de dados RDBMS e NoSQL.
Perguntas Frequentes
Qual é o repositório de #etl mais popular no GitHub?
O projeto de código aberto de #etl mais bem classificado no GitHub é pathwaycom/pathway, com 61,976 estrelas. Framework ETL em Python para processamento de streaming, análise em tempo real, pipelines de LLM e RAG.
Quais linguagens de programação são mais usadas nos repositórios de #etl?
Entre os projetos de #etl mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Java, Go, Rust.
Como é calculada a classificação dos repositórios de #etl?
Acompanhamos 105 repositórios ativos de código aberto marcados com #etl (com mais de 500 estrelas), totalizando 408,616 estrelas e uma média de 3,891 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.