#big-data Repositórios
Descubra 133 repositórios ativos de código aberto no GitHub marcados com #big-data, acumulando um total de 683,600 estrelas (uma média de 5,139 por projeto). O líder deste tópico é binhnguyennus/awesome-scalability, com 75,924 estrelas.
133 repositórios no total
Os Padrões de Sistemas Grandes Escaláveis, Confiáveis e de Alto Desempenho
ClickHouse® é um sistema de gerenciamento de banco de dados analítico em tempo real
Apache Spark - Um motor de análise unificado para processamento de dados em larga escala
Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.
Plataforma IoT completa — gestão de dispositivos, coleta, processamento e visualização de dados.
Um protocolo de cibersegurança de código aberto para sincronizar dados de grafo descentralizados.
Repositório oficial do Trino, o motor de consulta SQL distribuído para big data, anteriormente conhecido como PrestoSQL (https://trino.io)
Um banco de dados de grafos distribuído, rápido e de código aberto, com escalabilidade horizontal e alta disponibilidade
O motor de consulta aberto mais rápido do mundo para análises em subsegundos, tanto no data lakehouse quanto fora dele. Com a flexibilidade para suportar quase qualquer cenário, o StarRocks oferece o melhor desempenho da categoria para análises multidimensionais, análises em tempo real e consultas ad-hoc. Um projeto da Linux Foundation.
Uma biblioteca de Gradient Boosting em Árvores de Decisão rápida, escalável e de alto desempenho, usada para ranking, classificação, regressão e outras tarefas de aprendizado de máquina para Python, R, Java, C++. Suporta computação em CPU e GPU.
Uma estrutura de armazenamento de código aberto que permite a construção de uma arquitetura Lakehouse com motores de computação, incluindo Spark, PrestoDB, Flink, Trino e Hive, e APIs
O Apache Beam é um modelo de programação unificado para processamento de dados em Batch e Streaming.
Arkime é um sistema de código aberto, em grande escala, para captura completa de pacotes, indexação e banco de dados.
H2O é uma Plataforma de Aprendizado de Máquina de Código Aberto, Distribuída, Rápida e Escalável: Deep Learning, Gradient Boosting (GBM) e XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Banco de dados de sincronização multi-primária contínua com uma API HTTP/JSON intuitiva, projetado para confiabilidade
Caderno baseado na web que permite análise de dados interativa e orientada por dados e documentos colaborativos com SQL, Scala e mais.
Hazelcast é uma plataforma de dados unificada em tempo real que combina processamento de fluxo com um armazenamento de dados rápido, permitindo que os clientes ajam instantaneamente sobre dados em movimento para insights em tempo real.
Mecanismo de busca de texto/vetores em Go, de código aberto, distribuído, simples, rápido e eficiente
Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.
Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark
Stream Framework é uma biblioteca Python que permite construir feeds de notícias, fluxos de atividade e sistemas de notificação usando Cassandra e/ou Redis. Os autores do Stream-Framework também fornecem um serviço em nuvem para tecnologia de feeds:
Um componente Vue que suporta listas de grandes quantidades de dados com alto desempenho de renderização e eficiência.
Transforme facilmente grandes conjuntos de URLs de imagens em um dataset de imagens. Pode baixar, redimensionar e empacotar 100 milhões de URLs em 20h em uma única máquina.
CrateDB é um banco de dados SQL distribuído e escalável para armazenar e analisar grandes volumes de dados em tempo quase real, mesmo com consultas complexas. É compatível com PostgreSQL e baseado no Lucene.
🔨 🍇 💻 🚀 GraphScope: Um sistema de computação em grafo em larga escala tudo-em-um da Alibaba | Sistema de computação em grafo tudo-em-um
Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.
Apache Paimon é um formato de lake que permite construir uma Arquitetura Lakehouse em Tempo Real com Flink e Spark, tanto para operações de streaming quanto para operações em lote.
Um banco de dados de grafos que suporta mais de 100 bilhões de dados, alto desempenho e escalabilidade (Inclui Motor OLTP e API REST e Backends)
Uma plataforma de relatórios e dashboards de BI aberta, de autoatendimento e fácil de usar.
Perguntas Frequentes
Qual é o repositório de #big-data mais popular no GitHub?
O projeto de código aberto de #big-data mais bem classificado no GitHub é binhnguyennus/awesome-scalability, com 75,924 estrelas. Os Padrões de Sistemas Grandes Escaláveis, Confiáveis e de Alto Desempenho
Quais linguagens de programação são mais usadas nos repositórios de #big-data?
Entre os projetos de #big-data mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Python, Rust, C++.
Como é calculada a classificação dos repositórios de #big-data?
Acompanhamos 133 repositórios ativos de código aberto marcados com #big-data (com mais de 500 estrelas), totalizando 683,600 estrelas e uma média de 5,139 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.