#data-pipeline Dépôts
Découvrez 67 dépôts GitHub open source actifs associés à #data-pipeline, cumulant 219,024 étoiles au total (soit une moyenne de 3,269 étoiles par projet). Le projet en tête de ce thème est xai-org/x-algorithm, avec 34,361 étoiles.
67 dépôts au total
Mouvement de données open-source pour les pipelines ELT et les agents IA — des API, bases de données et fichiers vers les entrepôts de données, lacs de données et applications IA. Auto-hébergé et Cloud.
Renforcer l'Intelligence des Données avec SQL Distribué pour le Sharding, la Scalabilité et la Sécurité dans Toutes les Bases de Données.
Capture de données modifiées pour diverses bases de données. Veuillez signaler les problèmes sur https://github.com/debezium/dbz/issues.
Traitement des données pour et avec des modèles fondamentaux ! 🍎 🍋 🌽 ➡️ ➡️🍸 🍹 🍷
Le dépôt RedPajama-Data contient du code pour la préparation de grands ensembles de données destinés à l'entraînement de grands modèles linguistiques.
Orchestrateur de workflows auto-hébergeable pour les équipes dont l’activité principale n’est pas l’orchestration. YAML déclaratif pour vos scripts, commandes SSH, conteneurs, etc. ; séparez les workflows de la logique métier. Un seul binaire, sans base de données, il fonctionne avec des ressources matérielles limitées. Une alternative à Airflow, Cron et aux ordonnanceurs de tâches.
Alternative à Segment axée sur la confidentialité et la sécurité, en Golang et React
ingestr est un outil CLI pour copier des données entre n'importe quelle base de données avec une seule commande, de manière transparente.
Une liste de ressources utiles pour apprendre l'Ingénierie des Données dès le début
Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.
Memphis.dev est une plate-forme de diffusion de données hautement évolutive et sans effort
Une bibliothèque open-source de journalisation de données pour les modèles d'apprentissage automatique et les pipelines de données. 📚 Offre une visibilité sur la qualité des données et les performances du modèle au fil du temps. 🛡️ Prend en charge la collecte de données respectueuse de la vie privée, garantissant sécurité et robustesse. 📈
Membres du Congrès des États-Unis, 1789-Présent, en YAML/JSON/CSV, ainsi que les comités, présidents et vice-présidents.
La solution d'observabilité de données native pour dbt pour les ingénieurs de données et d'analyse. Surveillez vos pipelines de données en quelques minutes. Disponible en auto-hébergement ou en service cloud avec des fonctionnalités premium.
Meridian filtre le bruit de l'actualité en analysant des centaines de sources, en analysant les histoires avec l'IA et en fournissant des briefings quotidiens concis et personnalisés.
Retriever de données Polymarket qui récupère, traite et structure les données Polymarket, y compris les marchés, les événements de commandes et les transactions.
OLake Go : réplication open source depuis des bases de données, Kafka et S3 vers Apache Iceberg et Parquet. Sources : Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anciennement datazip-inc/olake. La maintenance des tables se trouve dans datazip-inc/olake-fusion.
Système composite d'analyse d'équipe boursière à agents intelligents IA multiples pour surveillance des carnets d'ordres, basé sur plusieurs agents IA, simule le processus d'analyse d'une équipe d'analystes financiers, fournissant une analyse complète des investissements boursiers et des suggestions de décision. Nouveauté : analyse de suivi de la liste des dragons et tigres des capitaux spéculatifs, analyse d'alerte et rotation sectorielle, supporte l'analyse par lots multi-threadée, surveillance en temps réel des points clés, envoi d'alertes, interface miniqmt réservée, supporte le trading quantitatif, réalise véritablement « l'IA trade les actions pour vous », adapté aux actions A de la Chine continentale. Pour le site de test ci-dessous, veuillez saisir la clé temporaire deepseek, supprimez après test pour éviter les risques de fuite. Note : Accès excessif au service cloud de test peut entraîner un refus de la source de données. Pour l'utilisation, déployez localement.
Récupérer secwiki et xuanwu.github.io/sec.today, analyser les sites d'informations de sécurité, les tendances de sécurité, extraire les comptes des travailleurs de la sécurité (twitter, weixin, github, etc.)
ETL/ELT open source que vous déployez sur vos propres serveurs ou dans le cloud. Construit sur DuckDB : pipelines visuels no-code/low-code ou SQL, 446 composants, dbt, CDC, qualité des données, ETL inversé, lignage et MCP pour les agents IA. Aucun cloud fournisseur, aucune facturation par ligne.
Code source accompagnant le livre : Data Science sur Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017
Kspider est une plateforme de crawling qui permet de définir des workflows de crawling de manière graphique, permettant de réaliser un workflow de crawling sans code. Kspider ne se limite pas au crawling web, mais peut également être utilisé pour les tests d'automatisation WEB. D'autres fonctionnalités vous attendent à découvrir.
Créez un entrepôt de données dans SQL Server à partir de deux systèmes sources, un CRM et un ERP, en passant par les couches bronze, silver et gold. Fichiers et scripts du projet complet gratuit.
zerocode-tdd est un framework de tests automatisés gratuit et open source, développé par la communauté et axé sur les résultats, destiné aux pipelines de données, à l’ETL, aux API REST, à Kafka (flux de données), aux bases de données et aux scénarios de charge — le tout défini dans un simple fichier JSON ou YAML, sans écrire de code.
🌊 Synchronisez en continu les systèmes où vos données résident avec les systèmes où vous _souhaitez_ qu'elles résident, en gérant vos flux de données avec Estuary. 🌊
qData est une plateforme de données open source légère, complète et native de l’IA. Elle couvre l’intégration, le développement, la modélisation et la gouvernance des données, ainsi que les actifs et les services d’API, avec un déploiement auto-hébergé, une mise à l’échelle flexible et un usage commercial.
SeaTunnel est une plateforme d'intégration de données distribuée et haute performance pour la synchronisation et la transformation de données massives (hors ligne et en temps réel).
Outil Pythonique pour orchestrer les flux de travail d'apprentissage automatique/haute performance/informatique quantique dans des environnements de calcul hétérogènes.
Census Reporter est un projet financé par le Knight News Challenge pour faciliter aux journalistes l'écriture d'histoires en utilisant des informations du Bureau du recensement des États-Unis.
Ingénierie des données pratique : un guide de projet immobilier pratique
Le classement des tendances Weibo enregistre les recherches populaires sur Weibo à partir du 24 novembre 2020. Les données sont collectées toutes les heures et archivées quotidiennement.
Données ouvertes d'adresses au niveau des arrondissements (277 191 éléments) à l'échelle nationale
Gérez facilement les opérations CLI quotidiennes via Python au lieu des programmes Bash habituels. 🇺🇦 #supporting
Analyse rétrospective, à l'aide de LLM, des discussions sur Hacker News datant d'il y a dix ans
Outil pour utiliser les signaux sans fil afin de savoir si vous êtes suivi.
Foire aux questions
Quel est le dépôt #data-pipeline le plus populaire sur GitHub ?
Le projet #data-pipeline open source le mieux classé sur GitHub est xai-org/x-algorithm, avec 34,361 étoiles. Algorithme qui propulse le fil For You sur X
Quels langages de programmation sont les plus utilisés dans les dépôts #data-pipeline ?
Parmi les projets #data-pipeline les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Java, Go, Rust.
Comment le classement des dépôts #data-pipeline est-il calculé ?
Nous suivons 67 dépôts open source actifs associés à #data-pipeline (500+ étoiles), totalisant 219,024 étoiles, avec une moyenne de 3,269 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.