#bigdata Dépôts
Découvrez 51 dépôts GitHub open source actifs associés à #bigdata, cumulant 261,861 étoiles au total (soit une moyenne de 5,134 étoiles par projet). Le projet en tête de ce thème est DataExpert-io/data-engineer-handbook, avec 45,237 étoiles.
51 dépôts au total
Ceci est un référentiel avec des liens vers tout ce que vous voudriez jamais apprendre sur l'ingénierie des données
RustFS est un système de stockage d’objets open source, compatible avec S3 et hautes performances, qui prend en charge la migration et la coexistence avec d’autres plateformes compatibles avec S3, telles que MinIO et Ceph.
Base de données de séries temporelles haute performance et évolutive, conçue pour les scénarios d'IoT industriel (IIoT)
Renforcer l'Intelligence des Données avec SQL Distribué pour le Sharding, la Scalabilité et la Sécurité dans Toutes les Bases de Données.
Une liste organisée d'incroyables frameworks big data, de ressources et d'autres choses géniales.
Data Agent Ready Warehouse : Un pour Analytics, Recherche, IA, Sandbox Python. — reconstruit à partir de zéro. Architecture unifiée sur votre S3.
DataFrame hybride Apache Arrow/NumPy hors mémoire pour Python, ML, visualisation et exploration de grandes données tabulaires à un milliard de lignes par seconde 🚀
Plus de 100 ensembles de modèles HTML5 pour écrans géants de visualisation de données massives et tendances ; Secteurs inclus : communautaire, immobilier, gouvernemental, transport, finance bancaire, etc., les modèles de visualisation de données massives les plus récents, les plus nombreux, les plus complets, les plus cool et les plus tendance sur l'ensemble du réseau. Mise à jour progressive.
🔨 Générez des instructions SQL structurées avec JSON, basé sur Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, le projet est simple (logique forte, pages légères), convient pour s'entraîner~
Apprentissage des Big Data, Apprendre les Big Data à partir de zéro, Inclut des vidéos d'apprentissage et des matériaux d'entretien pour chaque étape de l'apprentissage des Big Data
GridDB est une base de données open source de nouvelle génération qui rend les séries temporelles IoT et les big data rapides et faciles.
Aix-DB, basé sur le framework LangChain/LangGraph et combiné avec l'architecture de collaboration multi‑agents MCP Skills, réalise une conversion de bout en bout du langage naturel aux insights de données.
.NET for Apache® Spark™ rend Apache Spark™ facilement accessible aux développeurs .NET.
Basé sur Flink open-source, il étend son SQL en temps réel ; implémente principalement le join entre les flux et les tables de dimensions, prenant en charge toute la syntaxe du Flink SQL natif
Byzer (anciennement MLSQL) : Un langage de programmation open-source low-code pour les pipelines de données, l'analyse et l'IA.
Le référentiel de connaissances Big Data couvre la modélisation de data warehouse, le calcul en temps réel, le Big Data, la plateforme de données centrale, la conception de systèmes, Java, les algorithmes, etc.
Tutoriels Apache Spark & Python (pySpark) pour l'analyse de Big Data et l'apprentissage automatique sous forme de carnets IPython / Jupyter
:truck: Flux de travail de préparation de données agiles rendus faciles avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark
La première plateforme open-source de découverte et d'observabilité des données. Nous facilitons la vie des praticiens de données afin que vous puissiez vous concentrer sur votre entreprise.
Apache Celeborn est un service élastique et haute performance pour les données de mélange et déversées.
Apache Livy est une interface REST open source pour interagir avec Apache Spark depuis n'importe où.
Générateur de code Python basé sur une interface graphique pour la science des données, extension pour Jupyter Lab, Jupyter Notebook et Google Colab.
L'échafaudage Flink-Boot de Lazy Squirrel permet à Flink d'adopter pleinement l'écosystème Spring, permettant aux développeurs de développer des programmes de traitement de flux distribués avec le mode de développement Java WEB. Lazy Squirrel rend la transition plus simple. Lazy Squirrel vise à permettre aux développeurs d'écrire et de mettre en œuvre rapidement du code métier avec des coûts d'entrée plus bas (sans avoir à comprendre la théorie du calcul distribué et les détails du framework Flink). Afin d'améliorer davantage l'agilité du développement de projets de grande envergure en utilisant l'échafaudage Lazy Squirrel, l'échafaudage intègre par défaut le framework Spring pour la gestion des Bean, tout en intégrant des frameworks couramment utilisés dans les domaines des microservices et du développement WEB, afin d'améliorer encore la vitesse de développement. Par exemple, l'intégration du framework ORM Mybatis, du framework de validation Hibernate Validator, du framework de retry Spring Retry, etc. Voir les caractéristiques de l'échafaudage ci-dessous pour plus de détails.
DataWave est un framework d'ingestion/requête qui exploite Apache Accumulo pour fournir un accès rapide et sécurisé aux données.
Solution d'écran de visualisation, fournissant un moteur d'édition visuel pour aider les particuliers ou les entreprises à personnaliser facilement leurs propres applications d'écran de visualisation.
WeDataSphere est une suite de plateformes big data de grade financier, tout-en-un.
Base de données transactionnelle embarquée pour blobs, documents et graphes, avec NVMe contournant le noyau via io_uring et SPDK, compactage sur GPU et une ABI C unifiée pour ses propres moteurs, RocksDB et LevelDB 🗄️
Datafaker est un outil de génération de données de test à grande échelle et de données de test de flux. Datafaker falsifie les données et les insère dans diverses sources de données. Outil de génération de données de test
Le centre de connaissances open source de votre entreprise. Marmot comprend la signification de vos données, contrôle qui peut les utiliser et exécute chaque requête de vos équipes et de vos agents, après vérification et avec un enregistrement. Catalogue, lignage, SQL gouverné et serveur MCP dans un seul binaire Go.
Stockage d'objets distribué haute performance compatible S3, axé sur la vitesse et conçu comme une alternative ouverte à MinIO et RustFS.
TOMs est un framework de développement généraliste entièrement open-source, hautes performances, systématique, orienté plugin et indépendant du scénario.
Un cluster standalone Spark simple pour les besoins de votre environnement de test
Collecte de big data, plateforme d'extraction, zdh_web est la plateforme de gestion visuelle pour les services de la série zdh, incluant des modules tels que la collecte de données, la planification, les autorisations, le flux d'approbation, le marketing de domaine privé, etc.
Foire aux questions
Quel est le dépôt #bigdata le plus populaire sur GitHub ?
Le projet #bigdata open source le mieux classé sur GitHub est DataExpert-io/data-engineer-handbook, avec 45,237 étoiles. Ceci est un référentiel avec des liens vers tout ce que vous voudriez jamais apprendre sur l'ingénierie des données
Quels langages de programmation sont les plus utilisés dans les dépôts #bigdata ?
Parmi les projets #bigdata les mieux classés sur GitHub, les langages de programmation les plus courants sont Java, Go, Python, Scala.
Comment le classement des dépôts #bigdata est-il calculé ?
Nous suivons 51 dépôts open source actifs associés à #bigdata (500+ étoiles), totalisant 261,861 étoiles, avec une moyenne de 5,134 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.