#data-engineering Repositórios
Descubra 152 repositórios ativos de código aberto no GitHub marcados com #data-engineering, acumulando um total de 727,632 estrelas (uma média de 4,787 por projeto). O líder deste tópico é apache/superset, com 75,603 estrelas.
152 repositórios no total
Aprenda a desenvolver, implantar e iterar em aplicativos de ML de nível de produção.
Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente
Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼
Orquestre tudo, em qualquer lugar. O plano de controle de código aberto para fluxos de trabalho de dados, infraestrutura, processos de negócios e agentes de IA. Declarativo em YAML, orientado a eventos, compatível com qualquer linguagem, versionado com Git e escalável para milhões de execuções.
📚 Artigos e blogs de tecnologia de empresas compartilhando seu trabalho em ciência de dados e aprendizado de máquina em produção.
Prefect é um framework de orquestração de fluxo de trabalho para construir pipelines de dados resilientes em Python.
Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.
Transforma dados e algoritmos de IA em aplicações web prontas para produção em pouco tempo.
Uma plataforma de orquestração para o desenvolvimento, produção e observação de ativos de dados.
Motor incremental para agentes de horizonte longo 🌟 Dê uma estrela se gostar!
🐚 Shell alimentado por Python. Completamente funcional, multiplataforma e amigável à IA.
Plataforma de streaming de eventos para IA agentiva. Ingestão, transformação e fornecimento contínuos de fluxos de eventos em tempo real, em escala.
🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.
Extração de Dados Não Estruturados Impulsionada por LLM — Desenvolvida para Implantações de API e Fluxos de Trabalho de ETL
Inteligência de negócios como código: crie visualizações de dados rápidas e interativas em SQL e markdown
Pipelines de dados para configuração de nuvem e dados de segurança. Crie soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados da AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.
data load tool (dlt) é uma biblioteca Python de código aberto que facilita o carregamento de dados 🛠️
Página de integração visual do DataX, selecione a fonte de dados para gerar uma tarefa de sincronização de dados com um clique, suporta fontes de dados como RDBMS, Hive, HBase, ClickHouse, MongoDB, etc., cria tarefas de sincronização de dados RDBMS em lote, integra sistema de agendamento de código aberto, suporta sincronização de dados distribuída e incremental, visualização em tempo real dos logs de execução, monitoramento de recursos do executor, processos de execução KILL, criptografia de informações da fonte de dados e muito mais.
Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.
Resumos e recursos para o livro Designing Machine Learning Systems (Chip Huyen, O'Reilly 2022)
DeepAnalyze é o primeiro LLM agêntico para ciência de dados autônoma. 🎈 Seu analista de dados de IA que analisa automaticamente grandes volumes de dados e gera relatórios de análise profissionais com apenas um clique!
Segmento focado em privacidade e segurança - alternativa, em Golang e React
O Tradutor SQL é uma ferramenta para converter consultas em linguagem natural em código SQL usando inteligência artificial. Este projeto é 100% gratuito e de código aberto.
pandas on AWS - Integração fácil com Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).
Uma lista de recursos úteis para aprender Engenharia de Dados do zero
Uma lista de muitas perguntas de entrevista e desafios do mundo real em Tecnologia! (https://tech-vault-web.vercel.app/)
Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.
Memphis.dev é uma plataforma de streaming de dados altamente escalável e sem esforço.
Aprenda a projetar, desenvolver, implantar e iterar em aplicações de ML de nível de produção.
Apache DevLake é uma plataforma de dados de desenvolvimento de código aberto para ingerir, analisar e visualizar dados fragmentados de ferramentas DevOps, extraindo insights para excelência de engenharia, experiência do desenvolvedor e crescimento da comunidade.
Aprenda a construir seu assistente de IA de Segundo Cérebro com LLMs, agentes, RAG, fine-tuning, LLMOps e técnicas de sistemas de IA.
Um novo SOTA para RAG — uma arquitetura de recuperação original e uma base de conhecimento de código aberto para humanos e agentes.
Uma Lista Fantástica de Projetos de Engenharia de Dados de Código Aberto
Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e dimensionamento de suas próprias integrações de API.
Perguntas Frequentes
Qual é o repositório de #data-engineering mais popular no GitHub?
O projeto de código aberto de #data-engineering mais bem classificado no GitHub é apache/superset, com 75,603 estrelas. Apache Superset é uma Plataforma de Visualização e Exploração de Dados
Quais linguagens de programação são mais usadas nos repositórios de #data-engineering?
Entre os projetos de #data-engineering mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #data-engineering?
Acompanhamos 152 repositórios ativos de código aberto marcados com #data-engineering (com mais de 500 estrelas), totalizando 727,632 estrelas e uma média de 4,787 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.