#data-engineering リポジトリ
リポジトリ合計152件
Project Egeriaの中核プラットフォームは、Open MetadataとGovernanceをサポートします。オープンな型システム、分散型ナレッジグラフ、REST API、インテリジェントなガバナンス、事前構築済みコンテンツを備えています。
FlyFishはデータビジュアライゼーションコーディングプラットフォームです。簡単な方法で迅速にデータモデルを作成し、ドラッグ&ドロップで一連のデータビジュアライゼーションソリューションを迅速に生成できます。
Udemyコース「The Complete dbt (Data Build Tool) Bootcamp」の補足資料
オープンソースのエージェント型データエンジニアリング・ハーネス for dbt、SQL、およびクラウドウェアハウス。100以上のツール、10のウェアハウス、AI駆動。
効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインを作成できるようにします。
ChainKnowledgeGraph(産業チェーン知識グラフ)は、A株上場企業、業界、製品の3種類のエンティティを含み、上場企業の所属業界関係、業界上位関係、製品の上流原材料関係、製品の下流製品関係、会社主要製品、製品小分類の合計6つの主要カテゴリを含みます。上場企業:4,654社、業界:511、製品:95,559、上流原材料:56,824、上位業界:480、下流製品:390、製品小分類:52,937、所属業界:3,946。
Databricks データ エンジニア アソシエイト認定試験対策コースのリソース
データフローエンジンは、データ統合、データ同期、データ交換、データ共有、タスク設定、タスクスケジューリングに対応するデータ駆動型の基盤エンジンです。データフローエンジンは、制御と実行の分離、マルチストリームレイヤー、プラグインライブラリなどの体系を採用し、大規模なデータタスク、高頻度のデータレポート、高頻度のデータ収集、異種データ互換性といった実際のデータの問題に対処します。
このプロジェクトは、Scala言語でのApache Spark SQL、RDD、DataFrame、およびDatasetの例を提供します。
アナリティクスプラットフォームおよびデータエンジニアリングエコシステムで使用されるオープンソースツールのキュレーションされたリスト
付属ソースコード: Lakshmanan & Tigani 著『BigQuery: The Definitive Guide』、O'Reilly Media より出版予定