#spark Repositórios
Descubra 126 repositórios ativos de código aberto no GitHub marcados com #spark, acumulando um total de 513,269 estrelas (uma média de 4,073 por projeto). O líder deste tópico é DataTalksClub/data-engineering-zoomcamp, com 46,997 estrelas.
126 repositórios no total
Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼
Apache Spark - Um motor de análise unificado para processamento de dados em larga escala
Torne a sua empresa orientada a dados. Conecte-se a qualquer fonte de dados, visualize, crie dashboards e compartilhe seus dados facilmente.
Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.
Tecnologia de contêiner Docker mais recente, aprenda as melhores práticas a partir de casos reais! | Aprenda e compreenda as tecnologias Docker & Container, com prática real de DevOps.
Interface gráfica para a API do ChatGPT e muitos LLMs. Suporta agentes, QA baseado em arquivos, ajuste fino do GPT e consulta com pesquisa na web. Tudo com uma interface limpa.
Blog de aprendizado do Flink. http://www.54tianzhisheng.cn/ Contém conteúdo sobre introdução ao Flink, conceitos, princípios, prática, ajuste de desempenho e análise de código-fonte. Inclui casos de estudo de aprendizado sobre Flink Connector, Metrics, Library, DataStream API, Table API & SQL, além de compartilhamento de casos de projetos em grande escala (PVUV, armazenamento de logs, deduplicação em tempo real de bilhões de dados, alerta de monitoramento) da aplicação prática do Flink. Bem-vindos a apoiar minha coluna "Motor de Computação em Tempo Real de Big Data Flink: Prática e Otimização de Desempenho".
【Coluna de Entrevistas de Grandes Empresas】Um guia técnico essencial para programadores Java, contendo perguntas de entrevista, arquitetura de sistemas, dicas de carreira, middlewares populares e mais, para ajudá-lo a se tornar uma versão ainda melhor de si mesmo!
Framework de treinamento distribuído para TensorFlow, Keras, PyTorch e Apache MXNet.
Conjunto de ferramentas para implantar e treinar modelos de aprendizado profundo usando a JVM. Os destaques incluem importação de modelos para keras, tensorflow e onnx/pytorch, uma biblioteca c++ modular e minúscula para executar código matemático e uma biblioteca matemática baseada em java sobre a biblioteca c++ principal. Inclui também samediff: uma biblioteca semelhante a pytorch/tensorflow para executar aprendizado profundo...
Uma estrutura de armazenamento de código aberto que permite a construção de uma arquitetura Lakehouse com motores de computação, incluindo Spark, PrestoDB, Flink, Trino e Hive, e APIs
🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.
H2O é uma Plataforma de Aprendizado de Máquina de Código Aberto, Distribuída, Rápida e Escalável: Deep Learning, Gradient Boosting (GBM) e XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Um Servidor de Parâmetros Flexível e Poderoso para aprendizado de máquina em larga escala
Caderno baseado na web que permite análise de dados interativa e orientada por dados e documentos colaborativos com SQL, Scala e mais.
Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark
Plataforma de IA unificada, open source, de machine learning/deep learning/grandes modelos nativa da nuvem cube studio, fluxo de trabalho completo de MLOps para algoritmos, plataforma de aluguel de poder computacional, desenvolvimento online em notebook, orquestração de pipeline de fluxo de tarefas arrastar e soltar, treinamento distribuído multi-máquina/multi-GPU, busca de hiperparâmetros, virtualização VGPU para serviço de inferência, computação de borda, anotação automatizada pela plataforma de anotação, ajuste fino SFT de grandes modelos como deepseek/modelo de recompensa/treinamento de aprendizado por reforço, inferência multi-máquina de grandes modelos como vllm/ollama/mindie, base de conhecimento privada, mercado de modelos de IA, suporte ao ecossistema chinês de CPUs/GPUs/NPUs Ascend, suporte a RDMA, suporte a frameworks distribuídos como pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano
Um bitset compactado melhor em Java: usado pelo Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw e muitos outros
Deequ é uma biblioteca construída sobre o Apache Spark para definir "testes de unidade para dados", que medem a qualidade dos dados em grandes conjuntos de dados.
Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.
🔨 Gere instruções SQL estruturadas usando JSON, implementado com Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. O projeto é simples (foco na lógica, poucas páginas) e ideal para prática!
Apache Paimon é um formato de lake que permite construir uma Arquitetura Lakehouse em Tempo Real com Flink e Spark, tanto para operações de streaming quanto para operações em lote.
O Apache Linkis constrói uma camada de middleware de computação para facilitar a conexão, governança e orquestração entre as aplicações superiores e os motores de dados subjacentes.
O DataSphereStudio é um portal completo de desenvolvimento e gerenciamento de aplicações de dados, cobrindo cenários como troca de dados, dessensibilização/limpeza, análise/mineração, medição de qualidade, visualização e agendamento de tarefas.
Um mecanismo lakehouse aberto para agentes — nativo de Postgres, vetores e Python. Fala PostgreSQL, funciona no seu armazenamento de objetos e foi escrito em Rust.
Aprendizagem de Big Data: aprenda Big Data do zero, incluindo vídeos de aprendizagem para cada fase e materiais de entrevista.
Operador Kubernetes para gerenciar o ciclo de vida de aplicações Apache Spark no Kubernetes.
Projeto histórico de aprendizagem: recomendações de filmes com Spark, web scraping, aplicação web e backend. O desenvolvimento contínuo da nova versão está em cinematch-recommender.
:herb: Exemplo de aprendizado rápido baseado em Spring Boot, integrando frameworks de código aberto que encontrei, como: RabbitMQ (fila de atraso), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, plugin de criptografia MyBatis, tratamento de exceções, saída de log, desenvolvimento multi-módulo, empacotamento multi-ambiente, cache, web scraping, JWT, GraphQL, Dubbo, Zookeeper e Async, etc.:pushpin:
Vinculação de dados probabilística rápida, precisa e escalável com suporte para múltiplos backends SQL
Sistema de Análise de Fluxo de Passageiros de Big Data do Metrô de Shenzhen 🚇🚄🌟
✨Spark é uma ferramenta de administração remota (RAT) baseada na web, multiplataforma e completa, escrita em Go, que permite controlar todos os seus dispositivos em qualquer lugar. Spark é uma ferramenta de controle e monitoramento remoto, escrita em Go, com interface web, multiplataforma e multifuncional, que permite monitorar e controlar todos os dispositivos a qualquer hora e em qualquer lugar.
Apache Kyuubi é um gateway distribuído e multilocatário para fornecer SQL serverless em data warehouses e lakehouses.
YTsaurus é uma plataforma de big data de código aberto, escalável e tolerante a falhas.
Ferramentas para lidar com firmwares de produtos DJI, com foco em quadricópteros.
TransmogrifAI (pronunciado trăns-mŏgˈrə-fī) é uma biblioteca AutoML para construir fluxos de trabalho de aprendizado de máquina modulares, reutilizáveis e fortemente tipados no Apache Spark com ajuste manual mínimo.
Uma interface unificada para computação distribuída. O Fugue executa código SQL, Python, Pandas e Polars em Spark, Dask e Ray sem qualquer reescrita.
.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.
Perguntas Frequentes
Qual é o repositório de #spark mais popular no GitHub?
O projeto de código aberto de #spark mais bem classificado no GitHub é DataTalksClub/data-engineering-zoomcamp, com 46,997 estrelas. Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼
Quais linguagens de programação são mais usadas nos repositórios de #spark?
Entre os projetos de #spark mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Scala, Python, Jupyter Notebook.
Como é calculada a classificação dos repositórios de #spark?
Acompanhamos 126 repositórios ativos de código aberto marcados com #spark (com mais de 500 estrelas), totalizando 513,269 estrelas e uma média de 4,073 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.