#attention-mechanism リポジトリ
#attention-mechanismのタグが付いた、GitHub上の50件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は274,514個で、プロジェクトあたりの平均は5,490個です。このトピックをリードしているのは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。
リポジトリ合計50件
PytorchにおけるVision Transformerの実装。単一のトランスフォーマーエンコーダのみでビジョン分類におけるSOTAを達成する簡単な方法
RWKV(RwaKuvと発音)は、GPTトランスフォーマーのように直接トレーニングできる(並列化可能)優れたLLMパフォーマンスを持つRNNです。私たちはRWKV-7 "Goose"にいます。したがって、RNNとトランスフォーマーの最高の機能を組み合わせています。優れたパフォーマンス、線形時間、一定のスペース(kvキャッシュなし)、高速トレーニング、無限のctx_len、無料の文埋め込みです。
Vision Transformer/Attention に関する最終的な包括的な論文リスト。論文、コード、関連ウェブサイトを含む
私たちの ECCV 2018 論文 "Image Super-Resolution Using Very Deep Residual Channel Attention Networks" の PyTorch コード
Transformerネットワーク、アテンション機構、GPT、BERT、ChatGPT、LLM、および転移学習に焦点を当てたNLPリソースのキュレーションされたリスト。
[NeurIPS2025 Oral] 大規模言語モデルのためのゲーテッドアテンション:非線形性、スパース性、Attention-Sink-Free の公式実装
yolo-high-levelプロジェクト(検出\ポーズ\分類\セグメント\)に基づく:yolov5\yolov7\yolov8\コア、改善研究、SwinTransformerV2およびAttention Seriesを含む。トレーニングスキル、ビジネスカスタマイズ、エンジニアリング展開C
llama3 の推論ステップを段階的に実行し、コアコンセプトを把握し、プロセス導出をマスターし、コードを実装します。
[ICLR2025 Spotlight🔥] TokenFormer公式実装:トークン化されたモデルパラメータによるTransformerスケーリングの再考
論文「SAITS: 時系列のための自己注意機構ベースの補完」の公式PyTorch実装。高速かつ最先端(SOTA)の深層学習ニューラルネットワークモデルで、効率的な時系列補完用(NaN欠損データ/値を伴う多変量不完全時系列を機械学習で補完)。https://arxiv.org/abs/2202.08516
よくある質問
GitHubで最も人気のある#attention-mechanismリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#attention-mechanismプロジェクトは、108,745個のスターを獲得しているrasbt/LLMs-from-scratchです。PyTorchでChatGPTのようなLLMをゼロから段階的に実装する
#attention-mechanismリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#attention-mechanismプロジェクトでは、Python, Jupyter Notebook, Rust, Swiftが最も一般的なプログラミング言語です。
#attention-mechanismリポジトリのランキングはどのように算出されていますか?
#attention-mechanismのタグが付いた50件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は274,514個で、リポジトリあたりの平均は5,490個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。