#data-engineering Dépôts
152 dépôts au total
Une collection des dépôts Github les plus importants pour les praticiens du ML, de l'IA et de la science des données
La plateforme centrale de Project Egeria, qui prend en charge Open Metadata et Governance. Elle comprend un système de types ouvert, un graphe de connaissances distribué, des API REST, une gouvernance intelligente et du contenu préconçu.
Un autre dépôt avec des concepts de base, des défis techniques et des ressources sur l'ingénierie des données en espagnol 🧙✨
Framework communautaire, simple mais puissant pour un calcul distribué rapide et économique sur les données.
FlyFish est une plateforme de codage de visualisation de données. Nous pouvons créer rapidement un modèle de données de manière simple et générer rapidement un ensemble de solutions de visualisation de données par glisser-déposer.
Le framework de traitement de données le plus avancé permettant de construire des pipelines de traitement de données évolutives et de déplacer des données entre diverses sources et destinations de données.
Neum AI est un framework de premier ordre pour gérer la création et la synchronisation d'incorporations vectorielles à grande échelle.
Framework de gestion de données pour Python qui fournit des fonctionnalités pour décrire, extraire, valider et transformer des données tabulaires
Matériaux supplémentaires pour le cours Udemy "The Complete dbt (Data Build Tool) Bootcamp"
Ingénierie des données pratique : un guide de projet immobilier pratique
Harness d'ingénierie de données agentique open-source pour dbt, SQL et entrepôts de données cloud. Plus de 100 outils, 10 entrepôts, alimenté par l'IA.
Framework Python pour la création de pipelines de données efficaces. Il favorise la modularité et la collaboration, permettant la création de pipelines complexes à partir de composants simples et réutilisables.
Guides et documentation pour vous aider à démarrer avec Apache Airflow.
ChainKnowledgeGraph, le graphe de connaissances de la chaîne industrielle comprend les sociétés cotées en bourse A, les industries et les produits, soit 3 types d'entités au total, incluant les relations d'appartenance sectorielle des sociétés cotées, les relations sectorielles supérieures, les relations de matières premières en amont des produits, les relations de produits en aval, les principaux produits des sociétés et les sous-catégories de produits, soit un total de 6 catégories principales. Sociétés cotées : 4 654, industries : 511, produits : 95 559, matières premières en amont : 56 824, industries supérieures : 480, produits en aval : 390, sous-catégories de produits : 52 937, industries d'appartenance : 3 946.
Apprenez à mieux connaître vos données ! Datavines est la plateforme d'observabilité des données de nouvelle génération, prenant en charge la gestion des métadonnées et la qualité des données.
Les ressources du cours de préparation à l'examen de certification Databricks Data Engineer Associate
Compilation d'exemples concrets de haut niveau de projets d'apprentissage automatique ayant échoué
Ce dépôt aide à enseigner aux gens comment définir et créer correctement des tables cumulatives !
Ce dépôt contient les notebooks et les présentations que nous utilisons pour nos Databricks Tech Talks "
Les bibliothèques AWS Glue sont des ajouts et des améliorations à Spark pour les opérations ETL.
VectorFlow est un pipeline d'intégration de vecteurs à haut volume qui ingère des données brutes, les transforme en vecteurs et les écrit dans une base de données vectorielle de votre choix.
Le moteur de flux de données est un moteur de base piloté par les données pour l'intégration des données, la synchronisation des données, l'échange de données, le partage des données, la configuration des tâches et la planification des tâches. Le moteur de flux de données utilise des architectures telles que la séparation du contrôle et de l'exécution, des flux multi-niveaux et une bibliothèque de plugins pour répondre aux problèmes réels des données à grande échelle, des rapports de données fréquents, de la collecte de données fréquente et de la compatibilité des données hétérogènes.
Analyse de données et BI dans le navigateur avec DuckDB-WASM. La confidentialité avant tout : vos données restent en local ; aucun serveur n'est requis.
Analyse de brevets utilisant les ensembles de données publics Google Patents sur BigQuery
Conduit transfère des données entre les magasins de données. Remplacement de Kafka Connect. Aucune JVM requise.
Simulation Monte Carlo de la saison NBA, exploitant dbt, duckdb et evidence.dev
Une boîte à outils Python pour extraire et transformer les données de la blockchain Bitcoin en formats structurés.
Ce projet fournit des exemples Apache Spark SQL, RDD, DataFrame et Dataset en langage Scala.
Liste curated d'outils open source utilisés dans les plateformes d'analyse et l'écosystème d'ingénierie des données
Code source accompagnant : BigQuery : The Definitive Guide par Lakshmanan & Tigani à être publié par O'Reilly Media
🧠 Carte mentale de 🗺️ l’architecture logicielle et du génie logiciel
Wiki contenant des morceaux d'informations et de connaissances sur la machine virtuelle BEAM (qui exécute Erlang/OTP et d'autres langages basés sur BEAM).