#etl リポジトリ
#etlのタグが付いた、GitHub上の105件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は408,616個で、プロジェクトあたりの平均は3,891個です。このトピックをリードしているのは、61,976個のスターを獲得しているpathwaycom/pathwayです。
リポジトリ合計105件
あらゆる場所で、あらゆるものをオーケストレーション。データ、インフラ、ビジネスプロセス、AIエージェントにまたがるワークフローのためのオープンソース制御プレーン。宣言型YAML、イベント駆動、あらゆる言語に対応、Gitでバージョン管理でき、数百万回の実行にも拡張可能。
オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。
クラウド構成およびセキュリティデータ用のデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、および脆弱性管理ソリューションを構築します。AWS、Azure、GCP、および 70 以上のクラウドおよび SaaS ソースからデータを抽出します。
DataX統合ビジュアライズページで、データソースを選択するだけでワンクリックでデータ同期タスクを生成できます。RDBMS、Hive、HBase、ClickHouse、MongoDBなどのデータソースをサポート。RDBMSデータ同期タスクを一括作成、オープンソースのスケジューリングシステムを統合し、分散処理、増分データ同期、実行ログのリアルタイム表示、エグゼキューターのリソース監視、実行プロセスのKILL、データソース情報の暗号化などをサポートします。
AWS での pandas - Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer、および S3 (Parquet、CSV、JSON、EXCEL) との簡単な統合。
Apache DevLakeは、DevOpsツールからの断片化されたデータを収集、分析、視覚化し、エンジニアリングの卓越性、開発者のエクスペリエンス、コミュニティの成長のための洞察を抽出するオープンソースのデブデータプラットフォームです。
Ethereumブロック、トランザクション、ERC20/ERC721トークン、転送、レシート、ログ、コントラクト、内部トランザクションのためのETL(抽出、変換、ロード)ジョブ用のPythonスクリプト。データはGoogle BigQueryで利用可能 https://goo.gl/oY5BCQ
Apache Hamilton は、データサイエンティストやエンジニアが、リネージ/トレーシングとメタデータをエンコードする、テスト可能でモジュール化された自己文書化データフローを定義するのに役立ちます。Python が実行されるすべての場所で実行およびスケーリングされます。
Instill Coreは、データ、モデル、パイプラインのオーケストレーションのためのフルスタックAIインフラツールであり、汎用性の高いAIファーストアプリケーションの構築のあらゆる側面を効率化するように設計されています。
単一のC++バイナリに収めた、最速の統合ストリーミングSQLエンジン。⚡ ミリ秒単位のレイテンシ。100 GB/s超のスループット。ストリーム、ログ、メトリクス、イベント、CDCから、状態を保持したコンテキストを継続的に計算します。
OLake Go:データベース、Kafka、S3からApache IcebergおよびParquetへのオープンソースのレプリケーションツールです。データソース:Postgres、MySQL、MongoDB、Oracle、MSSQL、DB2、Kafka、S3。旧名称はdatazip-inc/olakeです。テーブルのメンテナンス機能はdatazip-inc/olake-fusionにあります。
データエンジニアリングを学ぶのに最適な場所です。データエンジニアリングコミュニティによって構築および維持されています。
自社サーバーまたはクラウドにデプロイできるオープンソースの ETL/ELT。DuckDB を基盤に構築:ノーコード/ローコードのビジュアルパイプラインまたは SQL、446 のコンポーネント、dbt、CDC、データ品質、リバース ETL、データリネージュ、AI エージェント向け MCP に対応。ベンダーのクラウド不要、行単位の課金なし。
Alibaba DataXの後継として積極的にメンテナンスされている、高速で汎用性の高いオープンソースETLツール。30種類以上のRDBMSおよびNoSQLデータソースに対応。
よくある質問
GitHubで最も人気のある#etlリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#etlプロジェクトは、61,976個のスターを獲得しているpathwaycom/pathwayです。ストリーム処理、リアルタイム分析、LLMパイプライン、RAGのためのPython ETLフレームワーク。
#etlリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#etlプロジェクトでは、Python, Java, Go, Rustが最も一般的なプログラミング言語です。
#etlリポジトリのランキングはどのように算出されていますか?
#etlのタグが付いた105件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は408,616個で、リポジトリあたりの平均は3,891個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。