#etl Dépôts
Découvrez 105 dépôts GitHub open source actifs associés à #etl, cumulant 408,616 étoiles au total (soit une moyenne de 3,891 étoiles par projet). Le projet en tête de ce thème est pathwaycom/pathway, avec 61,976 étoiles.
105 dépôts au total
Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.
Apache Airflow - Une plateforme pour créer, planifier et surveiller des workflows de manière programmatique
Orchestrez tout, partout. Le plan de contrôle open source pour les workflows couvrant les données, l’infrastructure, les processus métier et les agents d’IA. Déclaratif en YAML, piloté par les événements, compatible avec tous les langages, versionné avec Git et évolutif jusqu’à des millions d’exécutions.
Mouvement de données open-source pour les pipelines ELT et les agents IA — des API, bases de données et fichiers vers les entrepôts de données, lacs de données et applications IA. Auto-hébergé et Cloud.
Une plateforme d'orchestration pour le développement, la production et l'observation des actifs de données.
Moteur incrémental pour agents à long horizon 🌟 Mettez une étoile si vous l'aimez !
🧙 Créez, exécutez et gérez des pipelines de données pour l'intégration et la transformation des données.
Zero-ETL, possibilités infinies. API de requête en direct, code et plus encore avec SQL. Aucune base de données requise.
Pipelines de données pour la configuration du cloud et les données de sécurité. Créez des solutions d'inventaire des actifs cloud, de CSPM, de FinOps et de gestion des vulnérabilités. Extraction à partir d'AWS, Azure, GCP et de plus de 70 sources cloud et SaaS.
Page de visualisation intégrée DataX : sélectionnez une source de données pour générer des tâches de synchronisation de données en un seul clic. Prend en charge des sources de données telles que RDBMS, Hive, HBase, ClickHouse, MongoDB, etc. Création par lots de tâches de synchronisation de données RDBMS, intégration d'un système de planification open source, support pour le traitement distribué, la synchronisation incrémentielle de données, la visualisation en temps réel des journaux d'exécution, la surveillance des ressources de l'exécuteur, l'arrêt des processus en cours (KILL), le chiffrement des informations des sources de données, etc.
Moteur de données haute performance pour les charges de travail d'IA et multimodales. Traitez des images, de l'audio, de la vidéo et des données structurées à n'importe quelle échelle.
Alternative à Segment axée sur la confidentialité et la sécurité, en Golang et React
pandas sur AWS - Intégration facile avec Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer et S3 (Parquet, CSV, JSON et EXCEL).
Une liste organisée avec des ressources sur les interfaces utilisateur basées sur des nœuds
Framework de transformation de données évolutif et efficace - rétrocompatible avec dbt.
Un outil rapide, simple et économique pour répliquer des données de Postgres vers des entrepôts de données, des files d'attente et des stockages
Postgres optimisé par DuckDB pour les applications et l'analyse haute performance.
Apache DevLake est une plateforme open-source de données de développement pour ingérer, analyser et visualiser les données fragmentées provenant des outils DevOps, en extrayant des informations pour l'excellence en ingénierie, l'expérience des développeurs et la croissance de la communauté.
Scripts Python pour les travaux ETL (extraction, transformation et chargement) pour les blocs Ethereum, transactions, tokens ERC20/ERC721, transferts, reçus, journaux, contrats, transactions internes. Les données sont disponibles dans Google BigQuery https://goo.gl/oY5BCQ
Apache Hamilton aide les scientifiques des données et les ingénieurs à définir des dataflows testables, modulaires et auto-documentants, qui encodent la lignée/le traçage et les métadonnées. S'exécute et s'adapte partout où python le fait.
Instill Core est un outil d'infrastructure d'IA full-stack pour l'orchestration de données, de modèles et de pipelines, conçu pour rationaliser tous les aspects de la création d'applications polyvalentes axées sur l'IA.
Le moteur SQL de streaming unifié le plus rapide, dans un seul binaire C++. ⚡ Latence de l’ordre de la milliseconde. Débit supérieur à 100 Go/s. Calcule en continu un contexte avec état à partir de flux, de journaux, de métriques, d’événements et de CDC.
Liste activement curatée d'outils BI géniaux. Les PR sont les bienvenus !
OLake Go : réplication open source depuis des bases de données, Kafka et S3 vers Apache Iceberg et Parquet. Sources : Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anciennement datazip-inc/olake. La maintenance des tables se trouve dans datazip-inc/olake-fusion.
Le meilleur endroit pour apprendre l'ingénierie des données. Construit et maintenu par la communauté de l'ingénierie des données.
Extraction de données non structurées, rapide et efficace. Écrit en Rust avec des liaisons pour de nombreuses langues.
Dozer est un outil de déplacement de données en temps réel qui exploite le CDC de diverses sources et déplace les données vers diverses destinations.
ETL/ELT open source que vous déployez sur vos propres serveurs ou dans le cloud. Construit sur DuckDB : pipelines visuels no-code/low-code ou SQL, 446 composants, dbt, CDC, qualité des données, ETL inversé, lignage et MCP pour les agents IA. Aucun cloud fournisseur, aucune facturation par ligne.
La plateforme ouverte d'intelligence documentaire pour les bâtisseurs et les hackers - DMS pour le monde agentique
Successeur d’Alibaba DataX activement maintenu : un outil ETL open source, rapide et polyvalent, compatible avec plus de 30 sources de données RDBMS et NoSQL.
Foire aux questions
Quel est le dépôt #etl le plus populaire sur GitHub ?
Le projet #etl open source le mieux classé sur GitHub est pathwaycom/pathway, avec 61,976 étoiles. Framework ETL Python pour le traitement de flux, l'analyse en temps réel, les pipelines LLM et le RAG.
Quels langages de programmation sont les plus utilisés dans les dépôts #etl ?
Parmi les projets #etl les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Java, Go, Rust.
Comment le classement des dépôts #etl est-il calculé ?
Nous suivons 105 dépôts open source actifs associés à #etl (500+ étoiles), totalisant 408,616 étoiles, avec une moyenne de 3,891 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.