#data-engineering リポジトリ
#data-engineeringのタグが付いた、GitHub上の152件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は727,632個で、プロジェクトあたりの平均は4,787個です。このトピックをリードしているのは、75,603個のスターを獲得しているapache/supersetです。
リポジトリ合計152件
Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼
あらゆる場所で、あらゆるものをオーケストレーション。データ、インフラ、ビジネスプロセス、AIエージェントにまたがるワークフローのためのオープンソース制御プレーン。宣言型YAML、イベント駆動、あらゆる言語に対応、Gitでバージョン管理でき、数百万回の実行にも拡張可能。
オープンソースのデータ移動:ELT パイプラインと AI エージェント向け — API、データベース、ファイルからデータウェアハウス、データレイク、AI アプリケーションへ。セルフホストおよびクラウド対応。
クラウド構成およびセキュリティデータ用のデータパイプライン。クラウド資産インベントリ、CSPM、FinOps、および脆弱性管理ソリューションを構築します。AWS、Azure、GCP、および 70 以上のクラウドおよび SaaS ソースからデータを抽出します。
DataX統合ビジュアライズページで、データソースを選択するだけでワンクリックでデータ同期タスクを生成できます。RDBMS、Hive、HBase、ClickHouse、MongoDBなどのデータソースをサポート。RDBMSデータ同期タスクを一括作成、オープンソースのスケジューリングシステムを統合し、分散処理、増分データ同期、実行ログのリアルタイム表示、エグゼキューターのリソース監視、実行プロセスのKILL、データソース情報の暗号化などをサポートします。
DeepAnalyze は、自律型データサイエンスのための最初のエージェント型LLMです。🎈あなたのAIデータアナリストが、大量のデータを自動分析し、ワンクリックで専門的な分析レポートを生成します!
SQL Translatorは、人工知能を使用して自然言語クエリをSQLコードに変換するツールです。このプロジェクトは100%無料でオープンソースです。
AWS での pandas - Athena、Glue、Redshift、Timestream、Neptune、OpenSearch、QuickSight、Chime、CloudWatchLogs、DynamoDB、EMR、SecretManager、PostgreSQL、MySQL、SQLServer、および S3 (Parquet、CSV、JSON、EXCEL) との簡単な統合。
Apache DevLakeは、DevOpsツールからの断片化されたデータを収集、分析、視覚化し、エンジニアリングの卓越性、開発者のエクスペリエンス、コミュニティの成長のための洞察を抽出するオープンソースのデブデータプラットフォームです。
LLM、エージェント、RAG、ファインチューニング、LLMOps、AIシステム技術を使用して、セカンドブレインAIアシスタントを構築する方法を学びましょう。
Meltano:あなたの最も大胆なデータおよびML搭載製品のアイデアを実現する、宣言型のコードファーストデータ統合エンジン。独自のAPI統合の作成、保守、スケーリングに別れを告げましょう。
よくある質問
GitHubで最も人気のある#data-engineeringリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#data-engineeringプロジェクトは、75,603個のスターを獲得しているapache/supersetです。Apache Superset はデータ視覚化およびデータエクスプロレーション プラットフォームです
#data-engineeringリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#data-engineeringプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。
#data-engineeringリポジトリのランキングはどのように算出されていますか?
#data-engineeringのタグが付いた152件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は727,632個で、リポジトリあたりの平均は4,787個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。