#bigdata Repositórios
Descubra 51 repositórios ativos de código aberto no GitHub marcados com #bigdata, acumulando um total de 261,861 estrelas (uma média de 5,134 por projeto). O líder deste tópico é DataExpert-io/data-engineer-handbook, com 45,237 estrelas.
51 repositórios no total
Este é um repositório com links para tudo o que você gostaria de aprender sobre engenharia de dados
RustFS é um sistema de armazenamento de objetos de alto desempenho, de código aberto e compatível com S3, que oferece suporte à migração e à coexistência com outras plataformas compatíveis com S3, como MinIO e Ceph.
Banco de dados de série temporal de alto desempenho e escalável, projetado para cenários de IoT Industrial (IIoT)
Capacitando a Inteligência de Dados com SQL Distribuído para Fragmentação, Escalabilidade e Segurança em Todos os Bancos de Dados.
Uma lista selecionada de frameworks, recursos e outras coisas incríveis de big data.
Data Agent Ready Warehouse: Um para Analytics, Busca, IA, Sandbox Python. — reconstruído do zero. Arquitetura unificada no seu S3.
DataFrame híbrido Apache Arrow/NumPy com suporte 'out-of-core' para Python, ML, visualização e exploração de grandes dados tabulares, processando um bilhão de linhas por segundo 🚀
Mais de 100 conjuntos de templates Html5 de tela grande e visualização de Big Data visualmente impressionantes; abrangendo setores como: comunidade, gestão de propriedades, assuntos governamentais, transporte, finanças/bancos, etc. São os templates de visualização de Big Data mais recentes, mais numerosos, mais completos, mais fixes e mais espetaculares de toda a rede. Atualizações em andamento.
🔨 Gere instruções SQL estruturadas usando JSON, implementado com Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. O projeto é simples (foco na lógica, poucas páginas) e ideal para prática!
Aprendizagem de Big Data: aprenda Big Data do zero, incluindo vídeos de aprendizagem para cada fase e materiais de entrevista.
GridDB é um banco de dados de código aberto de próxima geração que torna a série temporal de IoT e big data rápida e fácil.
Aix-DB, baseado na estrutura LangChain/LangGraph e combinado com a arquitetura de colaboração multi‑agente MCP Skills, realiza a conversão de ponta a ponta de linguagem natural para insights de dados.
.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.
Baseado no Flink de código aberto, estende seu SQL em tempo real; implementa principalmente a junção (join) de fluxo com tabelas dimensionais, suportando toda a sintaxe do SQL nativo do Flink
Byzer (anteriormente MLSQL): Uma linguagem de programação open-source de baixo código para pipeline de dados, análise e IA.
O repositório de conhecimento de big data envolve modelagem de data warehouse, computação em tempo real, big data, plataforma de dados (data middle office), design de sistemas, Java e algoritmos.
Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter
:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.
Apache Celeborn é um serviço elástico e de alto desempenho para embaralhamento e despejo de dados.
Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark a partir de qualquer lugar.
Gerador de código Python baseado em GUI para ciência de dados, extensão para Jupyter Lab, Jupyter Notebook e Google Colab.
O *scaffolding* Flink-Boot do Lazy Squirrel permite que o Flink abrace totalmente o ecossistema Spring, permitindo que os desenvolvedores criem programas de processamento de fluxo executados de forma distribuída usando o modo de desenvolvimento Java WEB, tornando a transição de domínio mais simples com o Lazy Squirrel. O objetivo do Lazy Squirrel é permitir que os desenvolvedores escrevam rapidamente código de negócios para implementação com um custo de entrada menor (sem a necessidade de entender a teoria da computação distribuída e os detalhes do *framework* Flink). Para melhorar ainda mais a agilidade no desenvolvimento de projetos de grande escala usando o *scaffolding* Lazy Squirrel, este *scaffolding* integra o *framework* Spring para gerenciamento de *beans* por padrão e incorpora *frameworks* comumente usados nas áreas de microsserviços e desenvolvimento WEB para acelerar ainda mais a velocidade de desenvolvimento. Por exemplo, integra o *framework* ORM Mybatis, o *framework* de validação Hibernate Validator, o *framework* de repetição Spring Retry, etc., veja as características do *scaffolding* abaixo.
DataWave é uma estrutura de ingestão/consulta que aproveita o Apache Accumulo para fornecer acesso rápido e seguro a dados.
Solução de tela grande visualizável, fornecendo um motor de edição visual que ajuda indivíduos ou empresas a personalizar facilmente seus próprios aplicativos de tela grande visualizáveis.
WeDataSphere é uma suíte de plataforma de big data de nível financeiro e completa.
Banco de dados transacional incorporado para blobs, documentos e grafos, com NVMe sem passagem pelo kernel via io_uring e SPDK, compactação na GPU e uma única ABI C para seus próprios mecanismos, RocksDB e LevelDB 🗄️
Datafaker é uma ferramenta de geração de dados de teste em larga escala e dados de teste de fluxo. O Datafaker simula dados e os insere em várias fontes de dados. Ferramenta de geração de dados de teste
O centro de conhecimento open source para a sua empresa. O Marmot entende o que seus dados significam, controla quem pode usá-los e executa todas as consultas feitas pela sua equipe e pelos seus agentes, com verificação e registro. Catálogo, linhagem, SQL governado e um servidor MCP em um único binário Go.
Armazenamento de objetos distribuído de alto desempenho compatível com S3, focado em velocidade e projetado como uma alternativa aberta ao MinIO e RustFS.
TOMs é um framework de desenvolvimento de propósito geral totalmente de código aberto, de alto desempenho, sistemático, orientado a plugins e agnóstico de cenário.
Um cluster simples standalone do Spark para os propósitos do seu ambiente de teste
zdh_web, uma plataforma de coleta e extração de big data, é a plataforma de gerenciamento visual para os serviços da série zdh, incluindo módulos como coleta de dados, agendamento, permissões, fluxo de aprovação e marketing de domínio privado, entre outros.
Perguntas Frequentes
Qual é o repositório de #bigdata mais popular no GitHub?
O projeto de código aberto de #bigdata mais bem classificado no GitHub é DataExpert-io/data-engineer-handbook, com 45,237 estrelas. Este é um repositório com links para tudo o que você gostaria de aprender sobre engenharia de dados
Quais linguagens de programação são mais usadas nos repositórios de #bigdata?
Entre os projetos de #bigdata mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Go, Python, Scala.
Como é calculada a classificação dos repositórios de #bigdata?
Acompanhamos 51 repositórios ativos de código aberto marcados com #bigdata (com mais de 500 estrelas), totalizando 261,861 estrelas e uma média de 5,134 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.