#spark Repositórios
126 repositórios no total
:elephant: Elasticsearch, com pesquisa e análise em tempo real, integrado nativamente com Hadoop
O Apache Auron é um acelerador para mecanismos de big data que utiliza execução vetorizada nativa para acelerar o processamento de consultas.
O repositório de conhecimento de big data envolve modelagem de data warehouse, computação em tempo real, big data, plataforma de dados (data middle office), design de sistemas, Java e algoritmos.
Mais de 2000+ perguntas de entrevista para Engenheiros de Dados.
Organização Open Source ApacheCN: Anúncios, Introdução, Membros, Atividades, Canais de Comunicação
Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter
:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
Nessie: Catálogo Transacional para Data Lakes com semântica semelhante à do Git
Este é o repositório do github para Learning Spark: Lightning-Fast Data Analytics [2ª Edição]
Mais de 50 imagens públicas do DockerHub para Docker e Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Magias e kernels do Jupyter para trabalhar com clusters Spark remotos
A próxima geração de especialistas em gestão de big data nativo da nuvem, visa ajudar os usuários a construir rapidamente plataformas nativas da nuvem estáveis, eficientes e escaláveis para big data.
Taier é uma plataforma de desenvolvimento de big data para submissão, agendamento, operação e manutenção, e exibição de informações de indicadores.
Resolução de entidades, resolução de identidades, gestão de dados mestres e desduplicação em grande escala com IA para pessoas e agentes
GraphFrames é um pacote para Apache Spark que fornece Grafos baseados em DataFrames
Apache Amoro(incubating) é um sistema de gerenciamento de Lakehouse construído sobre formatos abertos de data lake.
Um Hub de Conhecimento em Engenharia de Dados e Machine Learning
Apache Celeborn é um serviço elástico e de alto desempenho para embaralhamento e despejo de dados.
Servidor para o projeto ListenBrainz, incluindo o código front-end (javascript/react) que ele serve e todos os componentes de processamento de dados que o LB utiliza.
ADAM é uma plataforma de análise genômica com formatos de arquivo especializados construídos usando Apache Avro, Apache Spark e Apache Parquet. Licenciado sob Apache 2.
Projeto de código aberto para preparação de dados para aplicações GenAI
Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark a partir de qualquer lugar.
Série de modelos abertos Spark-x2.6. Expandindo os limites das capacidades agênticas dos modelos no dispositivo
Uma lista selecionada de recursos incríveis relacionados às linguagens de programação Ada e SPARK
DoEKS é uma ferramenta para construir, implantar e escalar Plataformas de Dados no Amazon EKS
Este repositório contém o código de desenvolvimento do sparkMeasure, uma biblioteca de análise de desempenho e solução de problemas do Apache Spark. Ele simplifica a coleta, agregação e exportação de métricas de tarefas/etapas do Spark, e é projetado para uso prático por desenvolvedores e engenheiros de dados em fluxos de trabalho de análise interativa, testes e monitoramento de produção.
Mais de 80 Ferramentas CLI de DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, Anonimizador de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Conversores e Validadores de Dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, função, gerenciamento de recursos e diagnóstico inteligente.
Chatbot de IA baseado em JDK8! WeChat Official Account Midjourney drawing, card password exchange, web support ChatGPT, Midjourney drawing, sd drawing, card password exchange, easy payment, Official Account traffic diversion, email registration🔥
Dingo: Uma Ferramenta Abrangente de Avaliação da Qualidade de Dados, Modelos e Aplicações de IA