#spark Dépôts
Découvrez 126 dépôts GitHub open source actifs associés à #spark, cumulant 513,269 étoiles au total (soit une moyenne de 4,073 étoiles par projet). Le projet en tête de ce thème est DataTalksClub/data-engineering-zoomcamp, avec 46,997 étoiles.
126 dépôts au total
Data Engineering Zoomcamp est un cours gratuit de 9 semaines sur la création de pipelines de données prêts pour la production. Rejoignez le cours ici 👇🏼
Apache Spark – Un moteur d'analyse unifié pour le traitement de données à grande échelle
Rendez votre entreprise axée sur les données. Connectez-vous à n'importe quelle source de données, visualisez facilement, créez des tableaux de bord et partagez vos données.
Notebooks Python pour la science des données : Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fondamentaux de Python, AWS et diverses lignes de commande.
Technologie de conteneur Docker la plus récente, apprenez les meilleures pratiques à partir de cas réels ! | Apprenez et comprenez les technologies Docker & Conteneur, avec une pratique DevOps réelle.
Interface graphique pour l'API ChatGPT et de nombreux LLM. Prend en charge les agents, le QA basé sur des fichiers, le réglage fin GPT et les requêtes avec recherche web. Le tout avec une interface utilisateur soignée.
Blog d'apprentissage Flink. http://www.54tianzhisheng.cn/ Contient du contenu sur l'introduction à Flink, les concepts, les principes, la pratique, l'optimisation des performances, l'analyse du code source, etc. Implique des cas d'apprentissage sur Flink Connector, Metrics, Library, DataStream API, Table API & SQL, etc., et le partage de cas de grands projets pour les applications Flink en production (PVUV, stockage de logs, déduplication en temps réel de milliards de données, alertes de surveillance). Bienvenue à tous pour soutenir ma colonne «Moteur de Calcul en Temps Réel pour Big Data Flink : Pratique et Optimisation des Performances».
【Colonne d'Entretiens Grands Entreprises】 Un guide technique pour les programmeurs Java : questions d'entretien, architecture système, astuces professionnelles, middleware principaux, etc., pour devenir une version améliorée de soi-même !
Framework d'entraînement distribué pour TensorFlow, Keras, PyTorch et Apache MXNet.
Suite d'outils pour le déploiement et l'entraînement de modèles d'apprentissage profond utilisant la JVM. Les points forts comprennent l'importation de modèles pour Keras, TensorFlow et ONNX/PyTorch, une bibliothèque C++ modulaire et minuscule pour l'exécution de code mathématique et une bibliothèque mathématique basée sur Java au-dessus de la bibliothèque C++ de base. Comprend également SameDiff : une bibliothèque similaire à PyTorch/TensorFlow pour l'exécution d'apprentissage profond...
Un framework de stockage open-source qui permet de construire une architecture Lakehouse avec des moteurs de calcul incluant Spark, PrestoDB, Flink, Trino et Hive et des API
🧙 Créez, exécutez et gérez des pipelines de données pour l'intégration et la transformation des données.
H2O est une Plateforme d'Apprentissage Automatique Open Source, Distribuée, Rapide et Évolutive : Deep Learning, Gradient Boosting (GBM) & XGBoost, Random Forest, Generalized Linear Modeling (GLM avec Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Alluxio, orchestration de données pour l'analyse et l'apprentissage automatique dans le cloud
Un serveur de paramètres flexible et puissant pour l'apprentissage automatique à grande échelle
Carnet de notes basé sur le web qui permet des analyses de données interactives pilotées par les données et des documents collaboratifs avec SQL, Scala et plus.
Bibliothèque Python d'apprentissage automatique simple et distribué portant des algorithmes ML pour Spark
cube studio Plateforme IA Open-Source Cloud Native Tout-en-un pour Machine Learning/Deep Learning/Grands Modèles, Flux complet du pipeline d'algorithmes MLOps, Plateforme de location de puissance de calcul, Développement en ligne Notebook, Orchestration de pipeline de flux de tâches par glisser-déposer, Entraînement distribué multi-machines multi-GPU, Recherche d'hyperparamètres, Virtualisation VGPU du service d'inférence, Edge Computing, Annotation automatisée de la plateforme d'annotation, Ajustement fin SFT de grands modèles/Modèle de récompense/Entraînement par apprentissage par renforcement de Deepseek, Inférence multi-machines de grands modèles tels que vLLM/Ollama/MindSpore, Base de connaissances privée, Marché de modèles IA, Support pour l'écosystème CPU/GPU/NPU Ascend domestiques, Support RDMA, Support pour les frameworks distribués tels que PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un bitset compressé amélioré en Java : utilisé par Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw et bien d'autres
Deequ est une bibliothèque construite sur Apache Spark pour définir des « tests unitaires pour les données », qui mesurent la qualité des données dans de grands ensembles de données.
Remplacement drop-in d'Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement en flux et les charges de travail IA intensives en calcul.
🔨 Générez des instructions SQL structurées avec JSON, basé sur Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, le projet est simple (logique forte, pages légères), convient pour s'entraîner~
Apache Paimon est un format de lac qui permet de construire une architecture Realtime Lakehouse avec Flink et Spark pour les opérations de streaming et de traitement par lots.
Apache Linkis construit une couche de middleware de calcul pour faciliter la connexion, la gouvernance et l'orchestration entre les applications supérieures et les moteurs de données sous-jacents.
DataSphereStudio est un portail tout-en-un pour le développement et la gestion d'applications de données, couvrant des scénarios incluant l'échange de données, la désensibilisation/nettoyage, l'analyse/extraction, la mesure de qualité, la visualisation et la planification de tâches.
Un moteur lakehouse ouvert pour les agents — natif de Postgres, des vecteurs et de Python. Parle PostgreSQL, fonctionne sur votre stockage d’objets et est écrit en Rust.
Apprentissage des Big Data, Apprendre les Big Data à partir de zéro, Inclut des vidéos d'apprentissage et des matériaux d'entretien pour chaque étape de l'apprentissage des Big Data
Opérateur Kubernetes pour gérer le cycle de vie des applications Apache Spark sur Kubernetes.
Ancien projet d’apprentissage : recommandations de films avec Spark, web scraping, application web et backend. Le développement continu de la nouvelle version est disponible sur cinematch-recommender.
:herb: Exemples d'apprentissage rapide basés sur Spring Boot, intégrant des frameworks open-source que j'ai rencontrés, tels que : RabbitMQ (file d'attente différée), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, plugin de chiffrement/déchiffrement MyBatis, gestion des exceptions, sortie de logs, développement multi-modules, emballage multi-environnements, cache, crawler web, JWT, GraphQL, Dubbo, Zookeeper et Async, etc. :pushpin:
Liaison de données probabilistique rapide, précise et évolutive avec prise en charge de plusieurs backends SQL
✨Spark est un outil d'administration à distance (RAT) basé sur le web, multiplateplateforme et complet, écrit en Go, qui vous permet de contrôler tous vos appareils n'importe où. Spark est un outil de contrôle et de surveillance à distance, basé sur le web, multiplateforme et complet, écrit en Go, qui vous permet de contrôler et de surveiller tous vos appareils où que vous soyez et à tout moment.
Apache Kyuubi est un gateway distribué et multi-tenant pour fournir du SQL sans serveur sur des entrepôts de données et des lakehouses.
YTsaurus est une plateforme open-source de big data évolutive et tolérante aux pannes.
Outils pour la gestion des firmwares des produits DJI, axés sur les quadricoptères.
TransmogrifAI (prononcé trăns-mŏgˈrə-fī) est une bibliothèque AutoML permettant de créer des flux de travail d'apprentissage automatique modulaires, réutilisables et fortement typés sur Apache Spark avec un réglage manuel minimal.
Une interface unifiée pour le calcul distribué. Fugue exécute du code SQL, Python, Pandas et Polars sur Spark, Dask et Ray sans aucune réécriture.
.NET for Apache® Spark™ rend Apache Spark™ facilement accessible aux développeurs .NET.
Foire aux questions
Quel est le dépôt #spark le plus populaire sur GitHub ?
Le projet #spark open source le mieux classé sur GitHub est DataTalksClub/data-engineering-zoomcamp, avec 46,997 étoiles. Data Engineering Zoomcamp est un cours gratuit de 9 semaines sur la création de pipelines de données prêts pour la production. Rejoignez le cours ici 👇🏼
Quels langages de programmation sont les plus utilisés dans les dépôts #spark ?
Parmi les projets #spark les mieux classés sur GitHub, les langages de programmation les plus courants sont Java, Scala, Python, Jupyter Notebook.
Comment le classement des dépôts #spark est-il calculé ?
Nous suivons 126 dépôts open source actifs associés à #spark (500+ étoiles), totalisant 513,269 étoiles, avec une moyenne de 4,073 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.