#hadoop Dépôts
Découvrez 43 dépôts GitHub open source actifs associés à #hadoop, cumulant 238,277 étoiles au total (soit une moyenne de 5,541 étoiles par projet). Le projet en tête de ce thème est donnemartin/data-science-ipython-notebooks, avec 28,776 étoiles.
43 dépôts au total
Notebooks Python pour la science des données : Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fondamentaux de Python, AWS et diverses lignes de commande.
Luigi est un module Python qui vous aide à construire des pipelines complexes de travaux par lots. Il gère la résolution des dépendances, la gestion des flux de travail, la visualisation, etc. Il est également livré avec un support Hadoop intégré.
🏆 ORM en temps réel, sans code, puissant et sécurisé 🚀 fournit des API et des Docs sans coder par le Backend, et le Frontend (Client) peut personnaliser les JSON de réponse 🏆 ORM en temps réel, sans code, entièrement fonctionnel et hautement sécurisé 🚀 Les API et la documentation Backend sont sans code, et le Frontend (Client) peut personnaliser les données et la structure du JSON retourné.
Suite d'outils pour le déploiement et l'entraînement de modèles d'apprentissage profond utilisant la JVM. Les points forts comprennent l'importation de modèles pour Keras, TensorFlow et ONNX/PyTorch, une bibliothèque C++ modulaire et minuscule pour l'exécution de code mathématique et une bibliothèque mathématique basée sur Java au-dessus de la bibliothèque C++ de base. Comprend également SameDiff : une bibliothèque similaire à PyTorch/TensorFlow pour l'exécution d'apprentissage profond...
Répertoire officiel de Trino, le moteur de requête SQL distribué pour les big data, anciennement connu sous le nom de PrestoSQL (https://trino.io)
1200+ Scripts Bash DevOps - AWS, GCP, Kubernetes, Docker, CI/CD, APIs, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Linting de code/construction, gestion de paquets pour Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, Fichiers dot avancés : .bashrc, .vimrc, .gitconfig, .screenrc, tmux..
Chez LinkedIn, nous utilisons ce programme pour intégrer nos talents débutants dans le rôle de SRE.
H2O est une Plateforme d'Apprentissage Automatique Open Source, Distribuée, Rapide et Évolutive : Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM avec Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Alluxio, orchestration de données pour l'analyse et l'apprentissage automatique dans le cloud
DataSphereStudio est un portail tout-en-un pour le développement et la gestion d'applications de données, couvrant des scénarios incluant l'échange de données, la désensibilisation/nettoyage, l'analyse/extraction, la mesure de qualité, la visualisation et la planification de tâches.
Apprentissage des Big Data, Apprendre les Big Data à partir de zéro, Inclut des vidéos d'apprentissage et des matériaux d'entretien pour chaque étape de l'apprentissage des Big Data
Ancien projet d’apprentissage : recommandations de films avec Spark, web scraping, application web et backend. Le développement continu de la nouvelle version est disponible sur cinematch-recommender.
Apache Kyuubi est un gateway distribué et multi-tenant pour fournir du SQL sans serveur sur des entrepôts de données et des lakehouses.
Fichiers binaires winutils.exe, hadoop.dll et hdfs.dll pour Hadoop sous Windows
Apache Drill est une couche de requête MPP distribuée pour les données auto-descriptives
:elephant: Elasticsearch recherche et analyse en temps réel intégrées nativement avec Hadoop
Le référentiel de connaissances Big Data couvre la modélisation de data warehouse, le calcul en temps réel, le Big Data, la plateforme de données centrale, la conception de systèmes, Java, les algorithmes, etc.
Plus de 2000+ questions d'entretien pour ingénieur de données.
Successeur d’Alibaba DataX activement maintenu : un outil ETL open source, rapide et polyvalent, compatible avec plus de 30 sources de données RDBMS et NoSQL.
50+ images publiques DockerHub pour Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Système de stockage distribué scalable et fiable, optimisé pour les analyses de données et les charges de travail de stockage d'objets.
Taier est une plateforme de développement de big data pour la soumission, la planification, l'exploitation et la maintenance, ainsi que l'affichage des informations sur les indicateurs
450+ AWS, Hadoop, Cloud, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, Certificats SSL, Mises à jour de sécurité Yum, Kubernetes, Cloudera etc...
Mise à jour régulière de la documentation des composants de big data couramment utilisés dans l'écosystème Hadoop. Priorités successives : Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis, Kerberos (le projet inclut une carte mentale Hadoop, notes Evernote, démo simple version Scala, classes d'outils courants, code d'entraînement désensibilisé, mises à jour continues !!!)
80+ Outils CLI DevOps & Données - AWS, GCP, Fonctions Cloud Python GCF, Anonymiseur de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertisseurs et Validateurs de Données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Ce système est mon projet de fin d'études, intitulé « Conception et implémentation d'un système de recommandation basé sur le profil utilisateur ». Il utilise principalement Django comme framework de base, adoptant le modèle MTV, avec MongoDB, MySQL et Redis comme bases de données. Les données de films collectées sur la plateforme Douban servent de source de données principale. Les étiquettes utilisateur sont développées principalement sur la base des informations de base de l'utilisateur et des enregistrements d'actions d'utilisation. Le système de recommandation utilise les composants de données massives tels que Hadoop et Spark pour l'analyse et le traitement. Le système de gestion utilise le système de gestion intégré de Django, embelli par SimpleUI.
WeDataSphere est une suite de plateformes big data de grade financier, tout-en-un.
Venice, Plateforme de Données Dérivées pour les Charges de Travail à l'Échelle Planétaire.
Système de recommandation de produits big data e-commerce en temps réel, Vue + TypeScript + ElementUI + Spring + Spark
Foire aux questions
Quel est le dépôt #hadoop le plus populaire sur GitHub ?
Le projet #hadoop open source le mieux classé sur GitHub est donnemartin/data-science-ipython-notebooks, avec 28,776 étoiles. Notebooks Python pour la science des données : Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fondamentaux de Python, AWS et diverses lignes de commande.
Quels langages de programmation sont les plus utilisés dans les dépôts #hadoop ?
Parmi les projets #hadoop les mieux classés sur GitHub, les langages de programmation les plus courants sont Java, Python, Shell, Scala.
Comment le classement des dépôts #hadoop est-il calculé ?
Nous suivons 43 dépôts open source actifs associés à #hadoop (500+ étoiles), totalisant 238,277 étoiles, avec une moyenne de 5,541 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.