#data-engineering Repositórios
152 repositórios no total
O Apache Hamilton ajuda cientistas e engenheiros de dados a definir fluxos de dados testáveis, modulares e autodocumentáveis, que codificam linhagem/rastreamento e metadados. Ele executa e escala em qualquer lugar onde o Python também funcione.
Motor de Contratos de Dados para a pilha de dados moderna. https://www.soda.io
Um serviço de ranqueamento personalizado de Machine Learning (ML) com low code para artigos, listagens, resultados de pesquisa e recomendações, que impulsiona o engajamento do usuário. Um motor Learn-to-Rank amigável.
Datart é uma Plataforma Aberta de Visualização de Dados de próxima geração
O melhor lugar para aprender engenharia de dados. Construído e mantido pela comunidade de engenharia de dados.
👾 nao é a solução nº 1 de BI agêntica de código aberto. (1) Crie contexto com a CLI nao-core; (2) implemente a interface de chat nao para todos.
O futuro da engenharia de dados — um cliente SQL de CLI para a pilha de dados moderna, que possibilita uma engenharia de contexto nativa de IA para dados.
Feathr – Uma plataforma unificada e escalável de engenharia de dados e IA para empresas
Mais de 2000+ perguntas de entrevista para Engenheiros de Dados.
Uma lista abrangente de mais de 180 canais do YouTube para Ciência de Dados, Engenharia de Dados, Aprendizado de Máquina, Aprendizado Profundo, Ciência da Computação, programação, engenharia de software, etc.
Os materiais do curso gratuito de SQL de 30 horas: os bancos de dados para SQL Server, MySQL e PostgreSQL, todas as consultas dos 41 capítulos e os slides.
MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas em todo o seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD e automatiza a entrega de dados de produção, pipelines de ML e aplicações online.
ktx é uma camada de contexto executável para agentes de dados e análise 🐙 Permita que Claude Code, Codex ou outros agentes de IA consultem bancos de dados analíticos com precisão e com o contexto completo da sua empresa
Scripts e documentação para https://www.dolthub.com/repositories/chenditc/investment_data
ETL/ELT de código aberto que você implanta nos seus próprios servidores ou na nuvem. Desenvolvido com base no DuckDB: pipelines visuais no-code/low-code ou SQL, 446 componentes, dbt, CDC, qualidade de dados, ETL reverso, linhagem e MCP para agentes de IA. Sem nuvem do fornecedor e sem cobrança por linha.
APIs limpas para limpeza de dados. Implementação em Python do pacote R Janitor
Uma coleção curada de mais de 300 artigos de blog de engenharia de empresas de tecnologia líderes. Aprenda como as melhores equipes de engenharia resolvem problemas do mundo real em escala.
Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.
Código-fonte que acompanha o livro: Ciência de Dados na Plataforma Google Cloud, Valliappa Lakshmanan, O'Reilly 2017
Quilt é uma Plataforma de Gerenciamento de Dados Científicos na AWS que ajuda equipes e IA a encontrar, confiar e reutilizar dados por meio de pacotes de dados profundamente versionados e ricos em contexto.
Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua
Um Hub de Conhecimento em Engenharia de Dados e Machine Learning
Uma lista selecionada, mas incompleta, de recursos de IA centrados em dados.
Testes de contratos de dados de código aberto para Snowflake, Databricks, BigQuery, Kafka e mais 15 plataformas. Desenvolvidos com base no Open Data Contract Standard (ODCS). Licença MIT.
Uma lista com curadoria de recursos surpreendentemente incríveis sobre Hadoop e o seu ecossistema
Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.
Exemplos executáveis públicos do uso do NLP da John Snow Labs para Apache Spark.
🧞 Converta Objetos JSON para MySQL, JSON Schema, Mongoose, Google BigQuery, Swagger e mais.
📙 Catálogos de Dados e Plataformas de Observabilidade Incríveis.
Materiais do Curso para Análise em Mercados de Ações Zoomcamp
Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery
🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊