#nlp リポジトリ
リポジトリ合計494件
LightLLMは、軽量な設計、容易なスケーラビリティ、および高速なパフォーマンスで知られる、LLM(大規模言語モデル)の推論およびサービングのためのPythonベースのフレームワークです。
このプロジェクトは、Dive Into Deep Learning (https://d2l.ai/) という書籍を再現し、MXNet のコードを PyTorch に適応させます。
MNBVC(Massive Never-ending BT Vast Chinese corpus)超大規模中国語コーパス。chatGPTトレーニング用の40Tデータに匹敵します。MNBVCデータセットには、主流文化だけでなく、さまざまなニッチな文化や火星語のデータも含まれています。MNBVCデータセットは、ニュース、作文、小説、書籍、雑誌、論文、セリフ、投稿、wiki、古詩、歌詞、商品紹介、ジョーク、失敗談、チャット履歴など、あらゆる形式の純粋なテキスト中国語データを含みます。
「Build a Large Language Model (From Scratch)」は、GPTなどの大規模モデルのアーキテクチャ、トレーニングプロセス、およびアプリケーション開発について深く理解したい学習者向けの、大規模言語モデルの原理と実装を深く掘り下げた電子書籍です。より多くの中国語の読者がこの非常に価値のある教材に触れられるように、私はこれを中国語に翻訳し、GitHubを通じてオープンソースで共有することを決定しました。
Datawhaleメンバーが整理した面接経験、内容には機械学習、CV、NLP、レコメンド、開発などが含まれ、皆さんstarをお願いします
AI理論と応用実践のクイックスタート:基礎知識、Transformer、NLP、ML、DL、コンペティション。豊富な注釈とデータセットを含み、誰もが理解し再現できるように目指します。
ディープラーニング入門コース、シニアコース、特色コース、学術事例、産業実践事例、ディープラーニング知識百科および面接問題集ディープラーニングとAIのコース、事例、知識
オープンソースのAI文章自然化ツール:AI生成テキストを、自然で人間らしい文章に書き換えます。LLMによる書き換えと複数エンジンでの翻訳に対応し、手順を追って確認できるトレースも提供します。Python CLI、n8n、Dockerに対応。
TextAttack 🐙 は、NLP における敵対的攻撃、データ拡張、モデルトレーニングのための Python フレームワークです https://textattack.readthedocs.io/en/master/
[TMLR] コード(およびその他のソフトウェアエンジニアリング活動)のための言語モデリング研究のキュレーションリスト、および関連するデータセット。
Rust ネイティブのすぐに使える NLP パイプラインと Transformer ベースのモデル (BERT、DistilBERT、GPT2、...)
Chinese-LLaMA 1&2、Chinese-Falcon 基盤モデル;ChatFlow中国語対話モデル;中国語OpenLLaMAモデル;NLP事前学習/指示ファインチューニングデータセット
事前学習データ、トークナイザー、Transformer、MoE、分散学習、スケーリング則、推論、アライメントを網羅。LLMをフルスタックで学ぶための段階的なコーディング課題6問。
テキストマイニングおよび前処理ツール(テキスト洗浄、新語発見、感情分析、エンティティ認識リンク、キーワード抽出、知識抽出、文法解析など)、教師なしまたは弱教師あり手法