#data-engineering Repositórios
152 repositórios no total
Uma coleção dos repositórios Github mais importantes para profissionais de ML, IA e ciência de dados
A plataforma central do Project Egeria oferece suporte a Open Metadata e Governance. Inclui um sistema de tipos aberto, um grafo de conhecimento distribuído, APIs REST, governança inteligente e conteúdo pré-criado.
Mais um repositório com conceitos básicos, desafios técnicos e recursos sobre engenharia de dados em espanhol 🧙✨
Estrutura simples, mas poderosa, impulsionada pela comunidade, para Computação Distribuída sobre Dados rápida e com bom custo-benefício.
FlyFish é uma plataforma de codificação de visualização de dados. Podemos criar um modelo de dados rapidamente de forma simples e gerar rapidamente um conjunto de soluções de visualização de dados arrastando.
O framework de processamento de dados mais avançado que permite construir pipelines de processamento de dados escaláveis e mover dados entre várias fontes e destinos de dados.
Neum AI é um framework de ponta para gerenciar a criação e sincronização de embeddings vetoriais em grande escala.
Estrutura de gerenciamento de dados para Python que fornece funcionalidades para descrever, extrair, validar e transformar dados tabulares
Materiais Suplementares para o curso The Complete dbt (Data Build Tool) Bootcamp da Udemy
Engenharia de Dados Prática: Um Guia de Projeto Imobiliário Mãos à Obra
Harness de engenharia de dados agentic de código aberto para dbt, SQL e armazéns de dados em nuvem. Mais de 100 ferramentas, 10 armazéns, com IA.
Framework Python para a construção de pipelines de dados eficientes. Promove a modularidade e a colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.
ChainKnowledgeGraph, o grafo de conhecimento da cadeia industrial inclui entidades de 3 tipos: empresas listadas A-shares, setores e produtos, incluindo relações setoriais de empresas listadas, relações setoriais superiores, relações de matérias-primas a montante de produtos, relações de produtos a jusante, principais produtos da empresa e subcategorias de produtos, um total de 6 categorias principais. Empresas listadas: 4.654, setores: 511, produtos: 95.559, matérias-primas a montante: 56.824, setores superiores: 480, produtos a jusante: 390, subcategorias de produtos: 52.937, setores de pertencimento: 3.946.
Conheça melhor os seus dados! A Datavines é a Plataforma de Observabilidade de Dados de Próxima Geração, com suporte a gerenciamento de metadados e qualidade de dados.
Os recursos do curso de preparação para o exame de certificação Databricks Data Engineer Associate
Compilação de exemplos notórios do mundo real de projetos de aprendizado de máquina fracassados
Este repositório ajuda a ensinar as pessoas a como definir e criar tabelas cumulativas corretamente!
Este repositório contém os notebooks e as apresentações que usamos para nossos Databricks Tech Talks
As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.
VectorFlow é um pipeline de incorporação de vetores de alto volume que ingere dados brutos, os transforma em vetores e os grava em um banco de dados vetorial de sua escolha.
O Motor de Fluxo de Dados é um motor de dados subjacente e orientado a dados, projetado para integração de dados, sincronização de dados, troca de dados, partilha de dados, configuração de tarefas e agendamento de tarefas. Para lidar com problemas de dados reais, como tarefas de dados em larga escala, relatórios de dados de alta frequência, coleta de dados de alta frequência e compatibilidade de dados heterogêneos, o Motor de Fluxo de Dados emprega sistemas como a separação de controle e execução, múltiplas camadas de fluxo e bibliotecas de plugins.
Loja completa para todas as suas necessidades de programação GIS
Análise de dados e BI no navegador com DuckDB-WASM. Privacidade em primeiro lugar: seus dados permanecem localmente; não é necessário nenhum servidor.
Análise de patentes usando os Conjuntos de Dados Públicos do Google Patents no BigQuery
Conduit transmite dados entre armazenamentos de dados. Substituição do Kafka Connect. Não é necessária JVM.
Simulação Monte Carlo da temporada da NBA, utilizando dbt, duckdb e evidence.dev
Unifica servidores MySQL, Postgres e FlightSQL, potencializado por DuckDB.
Um kit de ferramentas Python para extrair e transformar dados da blockchain Bitcoin em formatos estruturados.
Este projeto fornece exemplos de Apache Spark SQL, RDD, DataFrame e Dataset na linguagem Scala
Lista curada de ferramentas de código aberto usadas em plataformas de análise e ecossistema de engenharia de dados
Código-fonte que acompanha: BigQuery: The Definitive Guide por Lakshmanan & Tigani a ser publicado pela O'Reilly Media
🧠 Mapa mental de 🗺️ arquitetura de software e engenharia de software
Wiki contendo pedaços de informação e conhecimento sobre a Máquina Virtual BEAM (que executa Erlang/OTP e outras linguagens baseadas em BEAM).