#data-pipeline リポジトリ
#data-pipelineのタグが付いた、GitHub上の67件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は219,024個で、プロジェクトあたりの平均は3,269個です。このトピックをリードしているのは、34,361個のスターを獲得しているxai-org/x-algorithmです。
リポジトリ合計67件
オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。
RedPajama-Data リポジトリには、大規模言語モデルのトレーニング用の大規模データセットを準備するためのコードが含まれています。
主な業務がオーケストレーションではないチーム向けのセルフホスト可能なワークフローオーケストレーター。スクリプト、SSHコマンド、コンテナなどを宣言的なYAMLで管理し、ワークフローとビジネスロジックを分離できます。単一のバイナリで動作し、データベースは不要。限られたハードウェアリソースでも実行できます。Airflow、Cron、ジョブスケジューラーの代替です。
機械学習モデルおよびデータパイプラインのためのオープンソースデータロギングライブラリ。📚 時間の経過に伴うデータ品質とモデルパフォーマンスの可視性を提供します。🛡️ プライバシーを保護するデータ収集をサポートし、安全性と堅牢性を確保します。📈
データ&アナリティクスエンジニア向けの dbt ネイティブ データオブザーバビリティソリューション。データパイプラインを数分で監視します。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。
Meridianは、何百ものソースから情報を収集し、AIでストーリーを分析し、簡潔でパーソナライズされた毎日のブリーフィングを提供することで、ニュースのノイズを切り抜けます。
OLake Go:データベース、Kafka、S3からApache IcebergおよびParquetへのオープンソースのレプリケーションツールです。データソース:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。旧名称はdatazip-inc/olakeです。テーブルのメンテナンス機能はdatazip-inc/olake-fusionにあります。
複合多AIインテリジェントエージェント株式チーム分析監視システム。複数のAIインテリジェントエージェントを基盤とし、証券アナリストチームの分析プロセスをシミュレート。全方位の株式投資分析と意思決定提案を提供。新規追加:遊資龍虎榜追跡分析、セクター警告ローテーション分析。バッチ多スレッド分析対応、キー価格帯のリアルタイム監視とアラート送信、miniqmtインターフェース予約、定量取引対応。真にAIが株式取引を代行。適合:中国大陸A株。下方のテストサイトにdeepseek一時キー入力。テスト後削除(漏洩リスク)。注:テストクラウドアクセス過多でデータソース拒否の可能性。使用時はローカルデプロイ。
secwikiとxuanwu.github.io/sec.todayをクローリングし、セキュリティ情報サイト、セキュリティトレンドを分析、安全作業者のアカウント(twitter、weixin、githubなど)を抽出
自社サーバーまたはクラウドにデプロイできるオープンソースの ETL/ELT。DuckDB を基盤に構築:ノーコード/ローコードのビジュアルパイプラインまたは SQL、446 のコンポーネント、dbt、CDC、データ品質、リバース ETL、データリネージュ、AI エージェント向け MCP に対応。ベンダーのクラウド不要、行単位の課金なし。
書籍に付属するソースコード:Google Cloud Platform のデータ サイエンス、Valliappa Lakshmanan、O'Reilly 2017
Kspiderは、グラフィカルな方法でクローラープロセスを定義できるクローラープラットフォームであり、コードなしでクローラープロセスを実装できます。KspiderはWebクローリングに限定されず、WEB自動化テストにも使用でき、さらに多くの機能があなたを待っています。
2つのソースシステム(CRMとERP)から、ブロンズ、シルバー、ゴールドの各レイヤーを経て、SQL Serverにデータウェアハウスを構築します。無料の完全版プロジェクトのファイルとスクリプト。
zerocode-tdd は、コミュニティによって開発された無料のオープンソース自動テストフレームワークです。データパイプライン、ETL、REST API、Kafka(データストリーム)、データベース、負荷シナリオに対応し、すべてをシンプルな JSON または YAML で定義できるため、コーディングは一切不要です。
qDataは、軽量で機能が充実したAIネイティブのオープンソースデータプラットフォームです。データ統合、開発、モデリング、ガバナンス、アセット、APIサービスをカバーし、セルフホスト型の導入、柔軟なスケーリング、商用利用に対応しています。
Census Reporter は、Knight News Challenge から資金提供を受けたプロジェクトで、ジャーナリストが米国国勢調査局の情報を使ってストーリーを書くのを容易にします。
微博ホット検索ランキングは、2020年11月24日から微博の人気検索を記録します。データは1時間ごとに取得され、毎日アーカイブされます。
よくある質問
GitHubで最も人気のある#data-pipelineリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#data-pipelineプロジェクトは、34,361個のスターを獲得しているxai-org/x-algorithmです。XのFor Youフィードを駆動するアルゴリズム
#data-pipelineリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#data-pipelineプロジェクトでは、Python, Java, Go, Rustが最も一般的なプログラミング言語です。
#data-pipelineリポジトリのランキングはどのように算出されていますか?
#data-pipelineのタグが付いた67件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は219,024個で、リポジトリあたりの平均は3,269個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。