#hadoop Repositórios
Descubra 43 repositórios ativos de código aberto no GitHub marcados com #hadoop, acumulando um total de 238,277 estrelas (uma média de 5,541 por projeto). O líder deste tópico é donnemartin/data-science-ipython-notebooks, com 28,776 estrelas.
43 repositórios no total
Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.
Luigi é um módulo Python que ajuda a construir pipelines complexos de trabalhos em lote. Ele lida com resolução de dependências, gerenciamento de fluxo de trabalho, visualização, etc. Também vem com suporte integrado ao Hadoop.
🏆 ORM em tempo real, sem código, poderoso e seguro 🚀 fornece APIs e Docs sem codificar pelo Backend, e o Frontend (Cliente) pode personalizar os JSON de resposta 🏆 ORM em tempo real, sem código, totalmente funcional e altamente seguro 🚀 As APIs e a documentação do Backend são sem código, enquanto o Frontend (Cliente) pode personalizar os dados e a estrutura do JSON retornado.
Conjunto de ferramentas para implantar e treinar modelos de aprendizado profundo usando a JVM. Os destaques incluem importação de modelos para keras, tensorflow e onnx/pytorch, uma biblioteca c++ modular e minúscula para executar código matemático e uma biblioteca matemática baseada em java sobre a biblioteca c++ principal. Inclui também samediff: uma biblioteca semelhante a pytorch/tensorflow para executar aprendizado profundo...
Repositório oficial do Trino, o motor de consulta SQL distribuído para big data, anteriormente conhecido como PrestoSQL (https://trino.io)
1200+ Scripts Bash de DevOps - AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Linting de código/build, gerenciamento de pacotes para Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, Arquivos dot avançados: .bashrc, .vimrc, .gitconfig, .screenrc, tmux..
No LinkedIn, estamos usando este currículo para integrar nossos talentos de nível básico na função de SRE.
H2O é uma Plataforma de Aprendizado de Máquina de Código Aberto, Distribuída, Rápida e Escalável: Deep Learning, Gradient Boosting (GBM) e XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
O DataSphereStudio é um portal completo de desenvolvimento e gerenciamento de aplicações de dados, cobrindo cenários como troca de dados, dessensibilização/limpeza, análise/mineração, medição de qualidade, visualização e agendamento de tarefas.
Aprendizagem de Big Data: aprenda Big Data do zero, incluindo vídeos de aprendizagem para cada fase e materiais de entrevista.
Projeto histórico de aprendizagem: recomendações de filmes com Spark, web scraping, aplicação web e backend. O desenvolvimento contínuo da nova versão está em cinematch-recommender.
Sistema de Análise de Fluxo de Passageiros de Big Data do Metrô de Shenzhen 🚇🚄🌟
Apache Kyuubi é um gateway distribuído e multilocatário para fornecer SQL serverless em data warehouses e lakehouses.
:elephant: Elasticsearch, com pesquisa e análise em tempo real, integrado nativamente com Hadoop
O repositório de conhecimento de big data envolve modelagem de data warehouse, computação em tempo real, big data, plataforma de dados (data middle office), design de sistemas, Java e algoritmos.
Mais de 2000+ perguntas de entrevista para Engenheiros de Dados.
Sucessor do Alibaba DataX com manutenção ativa: uma ferramenta ETL de código aberto, rápida e versátil, compatível com mais de 30 fontes de dados RDBMS e NoSQL.
Mais de 50 imagens públicas do DockerHub para Docker e Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Sistema de armazenamento distribuído, escalável e confiável, otimizado para cargas de trabalho de análise de dados e armazenamento de objetos.
Taier é uma plataforma de desenvolvimento de big data para submissão, agendamento, operação e manutenção, e exibição de informações de indicadores.
450+ AWS, Hadoop, Cloud, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, Certificados SSL, Atualizações de Segurança Yum, Kubernetes, Cloudera etc...
Atualização regular da documentação de componentes de big data comumente usados no ecossistema Hadoop. Foco sucessivo: Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis, Kerberos (o projeto inclui mapa mental do Hadoop, notas do Evernote, demo simples da versão Scala, classes de ferramentas comuns, código de treinamento desensibilizado, atualização contínua!!!)
Mais de 80 Ferramentas CLI de DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, Anonimizador de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Conversores e Validadores de Dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Este sistema é o meu projeto de conclusão de curso (TCC), intitulado "Design e Implementação de um Sistema de Recomendação de Filmes Baseado em Perfis de Usuário". É essencialmente um sistema de recomendação que utiliza Django como framework base, adota o padrão MTV e emprega MongoDB, MySQL e Redis como bancos de dados. A fonte de dados primária são os dados de filmes extraídos da plataforma Douban. O sistema desenvolve tags de usuário (perfis) com base em informações comportamentais, como dados básicos e registros de operação dos usuários, utilizando componentes de Big Data como Hadoop e Spark para análise e processamento. O sistema de gerenciamento (administração) utiliza o painel de administração nativo do Django, que foi aprimorado usando simpleui.
WeDataSphere é uma suíte de plataforma de big data de nível financeiro e completa.
Venice, Plataforma de Dados Derivados para Cargas de Trabalho em Escala Planetária.
Sistema de recomendação em tempo real de produtos de big data de comércio eletrônico, Vue + TypeScript + ElementUI + Spring + Spark
Perguntas Frequentes
Qual é o repositório de #hadoop mais popular no GitHub?
O projeto de código aberto de #hadoop mais bem classificado no GitHub é donnemartin/data-science-ipython-notebooks, com 28,776 estrelas. Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.
Quais linguagens de programação são mais usadas nos repositórios de #hadoop?
Entre os projetos de #hadoop mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Python, Shell, Scala.
Como é calculada a classificação dos repositórios de #hadoop?
Acompanhamos 43 repositórios ativos de código aberto marcados com #hadoop (com mais de 500 estrelas), totalizando 238,277 estrelas e uma média de 5,541 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.