#transformer-architecture 저장소
저장소 총 147개
Alibaba Cloud에서 제안한 Qwen-Audio (通义千问-Audio) 채팅 및 사전 훈련된 대형 오디오 언어 모델의 공식 저장소입니다.
이 리포지토리에는 Google, Nvidia, Meta, Microsoft 및 Fortune 500대 기업과 같은 최고 기업에서 묻는 LLM(대규모 언어 모델) 인터뷰 질문이 포함되어 있습니다.
ProtTrans는 단백질을 위한 최첨단 사전 훈련 언어 모델을 제공합니다. ProtTrans는 Transformers 모델을 사용하여 Summit의 수천 개의 GPU와 수백 개의 Google TPU에서 훈련되었습니다.
DETR3D, BEVDet, BEVFormer, BEVDepth, UniAD와 같은 조감도에서의 다중 카메라 3D 객체 감지 및 분할에 대한 훌륭한 논문
Ilya Sutskever가 John Carmack에게 딥러닝에 관한 약 30편의 연구 논문 목록을 주었다고 합니다.
경량 대규모 언어 모델 MiniMind의 소스 코드 분석, 토크나이저, RoPE, MoE, KV Cache, 사전 학습, SFT, LoRA, DPO 등 전체 프로세스 포함.
🐳 "Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention"에 대한 효율적인 Triton 구현
[NeurIPS2025 Oral] 대규모 언어 모델을 위한 게이티드 어텐션: 비선형성, 희소성, 그리고 어텐션 싱크 프리(Attention-Sink-Free) 공식 구현
논문 "Spirit-LM Interleaved Spoken and Written Language Model"에 대한 추론 코드입니다.