#data-engineering Dépôts
Découvrez 152 dépôts GitHub open source actifs associés à #data-engineering, cumulant 727,632 étoiles au total (soit une moyenne de 4,787 étoiles par projet). Le projet en tête de ce thème est apache/superset, avec 75,603 étoiles.
152 dépôts au total
Apprenez à développer, déployer et itérer sur des applications ML de qualité production.
Apache Airflow - Une plateforme pour créer, planifier et surveiller des workflows de manière programmatique
Data Engineering Zoomcamp est un cours gratuit de 9 semaines sur la création de pipelines de données prêts pour la production. Rejoignez le cours ici 👇🏼
Orchestrez tout, partout. Le plan de contrôle open source pour les workflows couvrant les données, l’infrastructure, les processus métier et les agents d’IA. Déclaratif en YAML, piloté par les événements, compatible avec tous les langages, versionné avec Git et évolutif jusqu’à des millions d’exécutions.
📚 Articles et blogs tech d'entreprises partageant leur travail sur la science des données et l'apprentissage automatique en production.
Prefect est un framework d'orchestration de workflows pour construire des pipelines de données résilients en Python.
Mouvement de données open-source pour les pipelines ELT et les agents IA — des API, bases de données et fichiers vers les entrepôts de données, lacs de données et applications IA. Auto-hébergé et Cloud.
Transforme les données et les algorithmes d'IA en applications web prêtes pour la production en un rien de temps.
Une plateforme d'orchestration pour le développement, la production et l'observation des actifs de données.
Couche sémantique native des graphes pour une IA d’entreprise digne de confiance
Moteur incrémental pour agents à long horizon 🌟 Mettez une étoile si vous l'aimez !
Plateforme de streaming d'événements pour l'IA agentique. Ingestez, transformez et servez en continu les flux d'événements en temps réel, à grande échelle.
🧙 Créez, exécutez et gérez des pipelines de données pour l'intégration et la transformation des données.
Extraction de Données Non Structurées Pilotée par LLM — Conçue pour les Déploiements API et les Flux ETL
Intelligence d'affaires en tant que code : créez des visualisations de données rapides et interactives en SQL et markdown
Pipelines de données pour la configuration du cloud et les données de sécurité. Créez des solutions d'inventaire des actifs cloud, de CSPM, de FinOps et de gestion des vulnérabilités. Extraction à partir d'AWS, Azure, GCP et de plus de 70 sources cloud et SaaS.
Le Data Load Tool (dlt) est une bibliothèque Python open source qui facilite le chargement des données 🛠️
Page de visualisation intégrée DataX : sélectionnez une source de données pour générer des tâches de synchronisation de données en un seul clic. Prend en charge des sources de données telles que RDBMS, Hive, HBase, ClickHouse, MongoDB, etc. Création par lots de tâches de synchronisation de données RDBMS, intégration d'un système de planification open source, support pour le traitement distribué, la synchronisation incrémentielle de données, la visualisation en temps réel des journaux d'exécution, la surveillance des ressources de l'exécuteur, l'arrêt des processus en cours (KILL), le chiffrement des informations des sources de données, etc.
Moteur de données haute performance pour les charges de travail d'IA et multimodales. Traitez des images, de l'audio, de la vidéo et des données structurées à n'importe quelle échelle.
lakeFS - Contrôle de version des données pour votre lac de données | Git pour les données
Résumés et ressources pour le livre "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
DeepAnalyze est le premier LLM agentique pour la science des données autonome. 🎈 Votre analyste de données IA qui analyse automatiquement de grandes quantités de données et génère des rapports d'analyse professionnels en un seul clic !
Alternative à Segment axée sur la confidentialité et la sécurité, en Golang et React
SQL Translator est un outil pour convertir des requêtes en langage naturel en code SQL à l'aide de l'intelligence artificielle. Ce projet est 100% gratuit et open source.
pandas sur AWS - Intégration facile avec Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer et S3 (Parquet, CSV, JSON et EXCEL).
Une liste de ressources utiles pour apprendre l'Ingénierie des Données dès le début
Une liste de nombreuses questions d'entretien et de défis du monde réel dans la Tech ! (https://tech-vault-web.vercel.app/)
Remplacement drop-in d'Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement en flux et les charges de travail IA intensives en calcul.
Memphis.dev est une plate-forme de diffusion de données hautement évolutive et sans effort
Apprenez à concevoir, développer, déployer et itérer sur des applications ML prêtes pour la production.
Apache DevLake est une plateforme open-source de données de développement pour ingérer, analyser et visualiser les données fragmentées provenant des outils DevOps, en extrayant des informations pour l'excellence en ingénierie, l'expérience des développeurs et la croissance de la communauté.
Apprenez à créer votre assistant IA Second Brain avec des LLM, des agents, RAG, le fine-tuning, LLMOps et des techniques de systèmes d'IA.
Un nouveau SOTA pour le RAG — une architecture de récupération originale et une base de connaissances open source pour les humains et les agents.
Une liste impressionnante de projets open source d'ingénierie de données
Meltano : le moteur d'intégration de données déclaratif axé sur le code qui alimente vos idées les plus folles de produits basés sur les données et l'IA. Dites adieu à la rédaction, à la maintenance et à la mise à l'échelle de vos propres intégrations API.
Foire aux questions
Quel est le dépôt #data-engineering le plus populaire sur GitHub ?
Le projet #data-engineering open source le mieux classé sur GitHub est apache/superset, avec 75,603 étoiles. Apache Superset est une plateforme de visualisation et d'exploration de données
Quels langages de programmation sont les plus utilisés dans les dépôts #data-engineering ?
Parmi les projets #data-engineering les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Rust, Jupyter Notebook.
Comment le classement des dépôts #data-engineering est-il calculé ?
Nous suivons 152 dépôts open source actifs associés à #data-engineering (500+ étoiles), totalisant 727,632 étoiles, avec une moyenne de 4,787 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.