#data-pipelines Dépôts
Découvrez 50 dépôts GitHub open source actifs associés à #data-pipelines, cumulant 323,108 étoiles au total (soit une moyenne de 6,462 étoiles par projet). Le projet en tête de ce thème est twitter/the-algorithm, avec 73,884 étoiles.
50 dépôts au total
Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.
Apache Airflow - Une plateforme pour créer, planifier et surveiller des workflows de manière programmatique
Une plateforme d'orchestration pour le développement, la production et l'observation des actifs de données.
Convertissez des documents en données structurées sans effort. Unstructured est une solution ETL open-source pour transformer des documents complexes en formats propres et structurés pour les modèles linguistiques. Visitez notre site Web pour en savoir plus sur notre produit Platform de qualité professionnelle pour les flux de travail de production, le partitionnement, les enrichissements, le découpage et l'intégration.
Apache DolphinScheduler est la plateforme moderne d'orchestration de données. Agile pour créer des workflows haute performance avec low-code.
Kedro est une boîte à outils pour la data science prête pour la production. Elle utilise les meilleures pratiques d'ingénierie logicielle pour vous aider à créer des pipelines d'ingénierie des données et de data science qui sont reproductibles, maintenables et modulaires.
🧙 Créez, exécutez et gérez des pipelines de données pour l'intégration et la transformation des données.
[SIGMOD'27] Préparation simplifiée des données grâce aux opérateurs et pipelines les plus récents fondés sur les LLM.
🦀 Traitement de flux d'événements pour les développeurs afin de collecter et transformer les données en mouvement pour alimenter des applications intensives en données réactives.
Vérifiez votre classement sur GitHub ! N'oubliez pas de mettre une étoile ⭐ à ce dépôt.
Preswald est un packageur WASM pour les applications de données interactives basées sur Python : regroupez des flux de données complexes complets, en particulier des visualisations, en fichiers uniques, exécutables entièrement dans le navigateur, en utilisant Pyodide, DuckDB, Pandas et Plotly, Matplotlib, etc. Créez des tableaux de bord, des rapports et des notebooks qui s'exécutent hors ligne, se chargent rapidement et se partagent comme un document.
Meltano : le moteur d'intégration de données déclaratif axé sur le code qui alimente vos idées les plus folles de produits basés sur les données et l'IA. Dites adieu à la rédaction, à la maintenance et à la mise à l'échelle de vos propres intégrations API.
La solution d'observabilité de données native pour dbt pour les ingénieurs de données et d'analyse. Surveillez vos pipelines de données en quelques minutes. Disponible en auto-hébergement ou en service cloud avec des fonctionnalités premium.
Le meilleur endroit pour apprendre l'ingénierie des données. Construit et maintenu par la communauté de l'ingénierie des données.
Créez des pipelines de données avec SQL et Python, ingérez des données provenant de différentes sources, ajoutez des contrôles de qualité et construisez des flux de bout en bout.
Extraction de données non structurées, rapide et efficace. Écrit en Rust avec des liaisons pour de nombreuses langues.
Une plateforme qui facilite aux développeurs la création d'applications en temps réel, rentables et axées sur les opérations
La première plateforme open-source de découverte et d'observabilité des données. Nous facilitons la vie des praticiens de données afin que vous puissiez vous concentrer sur votre entreprise.
Un dépôt PyTorch pour le chargement des données et les utilitaires à partager par les bibliothèques de domaine PyTorch.
Dataform est un framework pour gérer les opérations de données basées sur SQL dans BigQuery.
⚡ Le moyen le plus rapide de servir des modèles ML open source à des millions de personnes
Plateforme de réplication de base de données qui exploite la capture de données modifiées. Diffusez les données de production des bases de données vers votre entrepôt de données (Snowflake, BigQuery, Redshift, Databricks) en temps réel.
Guides et documentation pour vous aider à démarrer avec Apache Airflow.
Tuplex est un framework de traitement parallèle de données volumineuses qui exécute des pipelines de science des données écrites en Python à la vitesse du code compilé. Tuplex dispose d'API Python similaires à celles d'Apache Spark ou de Dask, mais au lieu d'invoquer l'interpréteur Python, Tuplex génère du bytecode LLVM optimisé pour le pipeline et l'ensemble de données d'entrée donnés.
Optimus est un orchestrateur de flux de travail facile à utiliser, fiable et performant pour la transformation des données, la modélisation des données, les pipelines et la gestion de la qualité des données.
Framework Golang pour ETL en streaming, pipelines de données d'observabilité et applications de traitement d'événements
Ce package dbt capture les métadonnées, les artefacts et les résultats des tests afin que vous puissiez détecter les anomalies, surveiller la qualité des données et construire des tables de métadonnées. Il alimente Elementary OSS et fournit la couche de contexte plus large utilisée par le plan de contrôle complet Data & AI d'Elementary Cloud.
Apache Spark 3 - Programmation Spark en Python pour débutants
Foire aux questions
Quel est le dépôt #data-pipelines le plus populaire sur GitHub ?
Le projet #data-pipelines open source le mieux classé sur GitHub est twitter/the-algorithm, avec 73,884 étoiles. Code source de l'algorithme de recommandation X
Quels langages de programmation sont les plus utilisés dans les dépôts #data-pipelines ?
Parmi les projets #data-pipelines les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Java, Rust.
Comment le classement des dépôts #data-pipelines est-il calculé ?
Nous suivons 50 dépôts open source actifs associés à #data-pipelines (500+ étoiles), totalisant 323,108 étoiles, avec une moyenne de 6,462 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.