#cuda 저장소
저장소 총 325개
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.
CPU, GPU 및 NPU의 최대 연산 성능, 메모리 대역폭 및 지연 시간: 디바이스에 접근하는 모든 API를 통해 동일한 테스트를 실행합니다. Windows, macOS, Linux 및 Android용 명령줄 도구와 앱
HW GPU 가속 GUI 앱을 지원하는 Ubuntu Desktop용 Docker 이미지. ssh 또는 원격 데스크톱으로 컨테이너에 액세스할 수 있으며, 클라우드 VM과 동일합니다.
WMMA API 및 MMA PTX 명령어를 사용한 텐서 코어를 이용한 하프 정밀 일반 행렬 곱셈(HGEMM)의 몇 가지 최적화 방법.
오픈 소스, 로컬, 자체 호스팅 고도로 최적화된 언어 추론 서버로 WebRTC, REST, WS를 통해 ASR/STT, TTS, LLM 지원
ManagedCUDA는 C#, Visual Basic 또는 기타 .NET 언어로 작성된 .NET 애플리케이션에 NVidia의 CUDA를 쉽게 통합하는 것을 목표로 합니다.
🚀🚀🚀 이 저장소는 CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX 및 고성능 컴퓨팅(HPC)과 관련된 멋진 공개 프로젝트들을 나열합니다.