#data-pipelines リポジトリ
#data-pipelinesのタグが付いた、GitHub上の50件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は323,108個で、プロジェクトあたりの平均は6,462個です。このトピックをリードしているのは、73,884個のスターを獲得しているtwitter/the-algorithmです。
リポジトリ合計50件
ドキュメントを構造化データに簡単に変換できます。Unstructuredは、複雑なドキュメントを言語モデル用のクリーンで構造化された形式に変換するオープンソースETLソリューションです。本番グレードのワークフロー、パーティショニング、エンリッチメント、チャンキング、および埋め込みのためのエンタープライズグレードのプラットフォーム製品の詳細については、当社のウェブサイトをご覧ください。
Apache DolphinScheduler は、現代的なデータオーケストレーションプラットフォームです。ローコードで高性能なワークフローを迅速に作成。
Kedro は、生産環境に適したデータサイエンスのためのツールボックスです。ソフトウェアエンジニアリングのベストプラクティスを使用して、再現可能で、メンテナブルで、モジュール式のデータエンジニアリングおよびデータサイエンスのパイプラインを作成するのを支援します。
Preswaldは、Pythonベースのインタラクティブなデータアプリケーション用のWASMパッケージャーです。Pyodide、DuckDB、Pandas、Plotly、Matplotlibなどを使用して、完全な複雑なデータワークフロー、特にビジュアライゼーションを単一のファイルにバンドルし、ブラウザで完全に実行できます。オフラインで実行され、高速にロードされ、ドキュメントのように共有できるダッシュボード、レポート、ノートブックを構築します。
Meltano:あなたの最も大胆なデータおよびML搭載製品のアイデアを実現する、宣言型のコードファーストデータ統合エンジン。独自のAPI統合の作成、保守、スケーリングに別れを告げましょう。
データ&アナリティクスエンジニア向けの dbt ネイティブ データオブザーバビリティソリューション。データパイプラインを数分で監視します。プレミアム機能を備えたセルフホストまたはクラウドサービスとして利用可能です。
データエンジニアリングを学ぶのに最適な場所です。データエンジニアリングコミュニティによって構築および維持されています。
初のオープンソースのデータ発見およびオブザーバビリティプラットフォーム。データプラクティショナーの生活を楽にし、ビジネスに集中できるようにします。
チェンジデータキャプチャを活用したデータベースレプリケーションプラットフォーム。データベースからデータウェアハウス(Snowflake、BigQuery、Redshift、Databricks)に本番データをリアルタイムでストリーミングします。
Tuplexは、Pythonで記述されたデータサイエンスパイプラインをコンパイル済みコードの速度で実行する並列ビッグデータ処理フレームワークです。TuplexはApache SparkまたはDaskと同様のPython APIを備えていますが、Pythonインタプリタを呼び出す代わりに、指定されたパイプラインと入力データセットに対して最適化されたLLVMバイトコードを生成します。
Optimusは、データ変換、データモデリング、パイプライン、データ品質管理のための、使いやすく、信頼性が高く、パフォーマンスの高いワークフローオーケストレーターです。
このdbtパッケージは、メタデータ、アーティファクト、テスト結果をキャプチャし、アノマリを検出したり、データ品質を監視したり、メタデータテーブルを構築したりできるようにします。Elementary OSSを駆動し、Elementary Cloudの完全なData & AI Control Planeで使用される広範なコンテキストレイヤーを供給します。
よくある質問
GitHubで最も人気のある#data-pipelinesリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#data-pipelinesプロジェクトは、73,884個のスターを獲得しているtwitter/the-algorithmです。Xレコメンデーションアルゴリズムのソースコード
#data-pipelinesリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#data-pipelinesプロジェクトでは、Python, Go, Java, Rustが最も一般的なプログラミング言語です。
#data-pipelinesリポジトリのランキングはどのように算出されていますか?
#data-pipelinesのタグが付いた50件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は323,108個で、リポジトリあたりの平均は6,462個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。