#spark リポジトリ
リポジトリ合計126件
このシステムは、私の卒業設計プロジェクトであり、「ユーザープロファイルに基づいた映画推薦システムの設計と実装」というタイトルです。主にDjangoを基本フレームワークとして採用し、MTVパターンを使用しています。データベースはMongoDB、MySQL、Redisを使用し、Doubanプラットフォームから収集した映画データを基本的なデータソースとしています。主にユーザーの基本情報や使用操作記録などの行動情報に基づいてユーザータグを開発し、Hadoop、Sparkのビッグデータコンポーネントを使用して分析・処理する推薦システムです。管理システムにはDjangoの組み込み管理システムを使用し、simpleuiで美化しています。
Apache Spark、Kubernetesなどの分散クラスター全体でリソースを共有できるJupyter Notebookを可能にする、軽量、マルチテナント、スケーラブル、セキュアなゲートウェイです。
二次開発可能なChat Botシングルターン対話Web MVPプロトタイプテンプレート。Vue 3, Vite 8, TypeScript, Naive UI, Pinia(v3), UnoCSSなどの主要技術で構築されています。🧤 大規模言語モデルAPIの簡単統合、シングルターンAI対話モードを採用し、各質問は独立して応答(コンテキスト不要)、SSEタイプライター効果によるストリーミング出力、markdown-itおよびMermaid/KaTex/LaTex数式プレビューを統合。星火、智譜、SiliconFlow、Deepseek V4/V3/R1の深層推論モデルプレビューをサポートし、<think>タグと互換性があり、蒸留スキルを含みます。💼 カスタマイズが容易で、Chat型大規模言語モデル製品を迅速に構築可能(サンプルスクリーンショット付き)。
ビッグデータ収集、抽出プラットフォーム、zdh_webはzdhシリーズサービスの視覚化管理プラットフォームで、データ収集、スケジューリング、権限、承認フロー、私有ドメインマーケティングなどのモジュールを備えています。
Eコマースビッグデータ商品リアルタイム推薦システム、Vue + TypeScript + ElementUI + Spring + Spark
セキュリティ分析に使用される、堅牢で柔軟なオープンソースのユーザーおよびエンティティ行動分析(UEBA)フレームワーク。サイバーセキュリティ業界のデータサイエンティストとセキュリティアナリストによって愛情を込めて開発されました。[ベータ版]
Docker上でJupyterLabインターフェースを備えた独自のクラスターを構築することで、Scala、Python(PySpark)、R(SparkR)でApache Sparkを学習します。 :zap:
プロジェクトに適した合成データをすばやく生成できます。Databricks Labs の合成データジェネレーター(`dbldatagen` とも呼ばれます)は、Databricks 環境で、テストや概念実証(POC)などに利用できる大規模なシミュレーションデータ/合成データセットを生成するために使用できます。Delta Live Tables のパイプラインも対象です。