#data-pipeline 仓库
探索 67 个标记为 #data-pipeline 的活跃开源 GitHub 仓库,它们累计获得 219,024 个 Star(平均每个项目 3,269 个)。该主题的领先项目是 xai-org/x-algorithm,拥有 34,361 个 Star。
共 67 个仓库
可自行托管的工作流编排器,适用于主要工作并非编排的团队。使用声明式 YAML 管理脚本、SSH 命令、容器等;将工作流与业务逻辑分离。单一二进制文件,无需数据库,可在硬件资源有限的环境中运行。Airflow、Cron 和作业调度器的替代方案。
OLake Go:一款开源工具,可将数据库、Kafka 和 S3 中的数据复制到 Apache Iceberg 和 Parquet。数据源:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。原名 datazip-inc/olake。表维护功能位于 datazip-inc/olake-fusion。
复合多AI智能体股票团队分析盯盘系统,基于多个ai智能体,模拟证券分析师团队分析过程,提供全方位的股票投资分析和决策建议,新增游资龙虎榜跟踪分析、板块预警轮动分析,支持批量多线程分析,支持实时监测关键点位,发送警报信息,预留miniqmt接口,支持量化交易,真正做到了ai帮你来炒股,适合大陆A股。下方测试网站请填入deepseek临时key,测试完请删除,否则有泄露风险。注:测试云服务访问过多,数据源有可能会拒绝,如需使用,请部署本地。
爬取secwiki和xuanwu.github.io/sec.today,分析安全信息站点、安全趋势、提取安全工作者账号(twitter,weixin,github等)
可部署在自有服务器或云端的开源 ETL/ELT。基于 DuckDB 构建:支持无代码/低代码可视化管道或 SQL、446 个组件、dbt、CDC、数据质量、反向 ETL、数据血缘,以及面向 AI 智能体的 MCP。无厂商云,无按行计费。
随附书籍的源代码:Google Cloud Platform 上的数据科学,Valliappa Lakshmanan,O'Reilly 2017
在 SQL Server 中整合两个源系统(CRM 和 ERP),经过青铜层、白银层和黄金层,构建数据仓库。免费完整项目的文件和脚本。
zerocode-tdd 是一个由社区开发的免费开源、结果驱动的自动化测试框架,适用于数据管道、ETL、REST API、Kafka(数据流)、数据库和负载场景——所有内容均可通过简单的 JSON 或 YAML 定义,无需编写代码。
qData 是一个轻量、功能完备、原生支持 AI 的开源数据平台。它涵盖数据集成、开发、建模、治理、资产和 API 服务,支持自托管部署、灵活扩展和商业使用。
Census Reporter 是由 Knight News Challenge 资助的项目,旨在让记者更容易使用美国人口普查局的信息撰写故事。
常见问题解答
GitHub 上最受欢迎的 #data-pipeline 仓库是什么?
GitHub 上排名第一的开源 #data-pipeline 项目是 xai-org/x-algorithm,拥有 34,361 个 Star。为X平台的“For You”推送提供动力的算法
#data-pipeline 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #data-pipeline 项目中,最常见的编程语言是 Python, Java, Go, Rust。
#data-pipeline 仓库的排名是如何计算的?
我们跟踪了 67 个标记为 #data-pipeline 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 219,024 个 Star,平均每个仓库拥有 3,269 个 Star。排名每日根据 GitHub API 更新。