#hadoop Repositorios
Descubre 43 repositorios activos de código abierto de GitHub etiquetados con #hadoop, que acumulan 238,277 estrellas en total (una media de 5,541 estrellas por proyecto). El líder de este tema es donnemartin/data-science-ipython-notebooks, con 28,776 estrellas.
43 repositorios en total
Notebooks de Python para ciencia de datos: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fundamentos de Python, AWS y varias líneas de comandos.
Luigi es un módulo de Python que te ayuda a construir pipelines complejos de trabajos por lotes. Maneja la resolución de dependencias, la gestión del flujo de trabajo, la visualización, etc. También viene con soporte integrado para Hadoop.
🏆 ORM en tiempo real, sin código, potente y seguro 🚀 proporciona APIs y Docs sin codificar por Backend, y el Frontend (Cliente) puede personalizar los JSON de respuesta 🏆 ORM de tiempo real, sin código, completamente funcional y altamente seguro 🚀 Las interfaces de Backend y la documentación son sin código, mientras que el Frontend (Cliente) puede personalizar los datos y la estructura del JSON devuelto.
Suite de herramientas para desplegar y entrenar modelos de aprendizaje profundo utilizando la JVM. Los aspectos más destacados incluyen la importación de modelos para Keras, TensorFlow y ONNX/PyTorch, una biblioteca C++ modular y diminuta para ejecutar código matemático y una biblioteca matemática Java sobre la biblioteca C++ principal. También incluye SameDiff: una biblioteca similar a PyTorch/TensorFlow para ejecutar aprendizaje profundo...
Repositorio oficial de Trino, el motor de consulta SQL distribuido para big data, anteriormente conocido como PrestoSQL (https://trino.io)
1200+ Scripts Bash de DevOps - AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Linting de código/compilación, gestión de paquetes para Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, Archivos de punto avanzados: .bashrc, .vimrc, .gitconfig, .screenrc, tmux..
En LinkedIn, estamos utilizando este plan de estudios para incorporar a nuestros talentos de nivel inicial en el rol de SRE.
H2O es una Plataforma de Machine Learning de Código Abierto, Distribuida, Rápida y Escalable: Deep Learning, Gradient Boosting (GBM) y XGBoost, Random Forest, Generalized Linear Modeling (GLM con Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Alluxio, orquestación de datos para analítica y aprendizaje automático en la nube
DataSphereStudio es un portal todo en uno para el desarrollo y gestión de aplicaciones de datos, que cubre escenarios como intercambio de datos, desensibilización/limpieza, análisis/minería, medición de calidad, visualización y programación de tareas.
Aprendizaje de Big Data, Aprender Big Data desde cero, Incluye videos de aprendizaje y materiales de entrevista para cada etapa del aprendizaje de Big Data
Proyecto histórico de aprendizaje: recomendaciones de películas con Spark, web scraping, aplicación web y backend. El desarrollo continuo de la nueva versión está en cinematch-recommender.
Sistema de análisis de flujo de pasajeros Big Data del metro de Shenzhen🚇🚄🌟
Apache Kyuubi es un gateway distribuido y multi-tenant para proporcionar SQL sin servidor en almacenes de datos y lakehouses.
:elephant: Búsqueda y análisis en tiempo real de Elasticsearch integrados de forma nativa con Hadoop
El repositorio de conocimiento de Big Data involucra modelado de data warehouse, computación en tiempo real, Big Data, plataforma de datos centralizada, diseño de sistemas, Java, algoritmos, etc.
Más de 2000 preguntas de entrevista para ingenieros de datos.
Sucesor de Alibaba DataX con mantenimiento activo: una herramienta ETL de código abierto, rápida y versátil, compatible con más de 30 fuentes de datos RDBMS y NoSQL.
50+ imágenes públicas de DockerHub para Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Sistema de almacenamiento distribuido escalable y confiable optimizado para cargas de trabajo de análisis de datos y almacenamiento de objetos.
Taier es una plataforma de desarrollo de big data para la presentación, programación, operación y mantenimiento, y visualización de información de indicadores
450+ AWS, Hadoop, Nube, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, Certificados SSL, Actualizaciones de seguridad de Yum, Kubernetes, Cloudera etc...
Actualización regular de la documentación de componentes de big data comúnmente utilizados en el ecosistema Hadoop. Prioridades sucesivas: Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis, Kerberos (el proyecto incluye mapa mental de Hadoop, notas de Evernote, demo simple de versión Scala, clases de herramientas comunes, código de entrenamiento desensibilizado, ¡actualización continua!!!)
80+ Herramientas CLI de DevOps y Datos - AWS, GCP, Funciones en la Nube Python GCF, Anonimizador de Registros, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertidores y Validadores de Datos Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Este sistema es mi proyecto de fin de grado, titulado "Diseño e implementación de un sistema de recomendación basado en perfiles de usuario". Principalmente utiliza Django como marco base, adoptando el modelo MTV, con MongoDB, MySQL y Redis como bases de datos. Los datos de películas extraídos de la plataforma Douban se utilizan como fuente de datos principal. Las etiquetas de usuario se desarrollan principalmente basándose en la información básica del usuario y en registros de comportamiento de uso. El sistema de recomendación utiliza componentes de big data como Hadoop y Spark para el análisis y procesamiento. El sistema de gestión utiliza el sistema de gestión integrado de Django, embellecido con SimpleUI.
WeDataSphere es una suite de plataformas de big data de grado financiero, todo en uno.
Venice, Plataforma de Datos Derivados para Cargas de Trabajo a Escala Planetaria.
Sistema de recomendación en tiempo real de productos de big data de comercio electrónico, Vue + TypeScript + ElementUI + Spring + Spark
Preguntas frecuentes
¿Cuál es el repositorio de #hadoop más popular en GitHub?
El proyecto de código abierto de #hadoop mejor posicionado en GitHub es donnemartin/data-science-ipython-notebooks, con 28,776 estrellas. Notebooks de Python para ciencia de datos: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fundamentos de Python, AWS y varias líneas de comandos.
¿Qué lenguajes de programación se utilizan más en los repositorios de #hadoop?
Entre los proyectos de #hadoop mejor posicionados en GitHub, los lenguajes de programación más comunes son Java, Python, Shell, Scala.
¿Cómo se calcula la clasificación de los repositorios de #hadoop?
Seguimos 43 repositorios activos de código abierto etiquetados con #hadoop (500+ estrellas), que suman un total de 238,277 estrellas, con una media de 5,541 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.