#inference 저장소
저장소 총 144개
CubeStudio는 오픈 소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대규모 모델 AI 플랫폼/MaaS/MLOps/인공지능 플랫폼/훈련 및 추론 플랫폼으로, 알고리즘 전체 파이프라인, 멀티 테넌시, 컴퓨팅 파워 임대 플랫폼, 토큰 중계, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 다중 머신 다중 카드 분산 훈련, 하이퍼파라미터 검색, 추론 서비스, VGPU 가상화, 클라우드-엣지-디바이스 협업, 엣지 컴퓨팅, 자동 주석 플랫폼, DeepSeek 등 대규모 모델의 SFT 미세 조정/보상 모델/강화 학습 훈련, vLLM/Ollama/MindIE를 사용한 대규모 모델 다중 머신 추론, 개인 지식 베이스 LLMOps 에이전트, AI 모델 마켓, 국내 이기종 컴퓨팅 파워 스케줄링 지원(昇騰, 寒武紀, 海光, Moore Threads, 沐曦 등), IB/RoCE/RDMA 지원, 신창 지원을 포함합니다.
Apple Silicon용 네이티브 LLM 추론 서버입니다. OpenAI 및 Anthropic API와 호환됩니다. Python이 필요 없습니다. Zig 백엔드와 Swift 프런트엔드로 구성된 macOS 앱으로, 채팅, 음악, 음성, 동영상 생성을 지원합니다.
이기종 AI 컴퓨팅을 위한 통합 오케스트레이션 계층입니다. GPU 클라우드, Kubernetes, VM 또는 베어메탈 클러스터에서 컴퓨팅 리소스를 관리하고 학습 및 추론을 실행하는 방식을 표준화합니다.
0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.
AWS Trainium용 오픈 소스 LLM 추론 엔진: NKI 메가커널, 100만 토큰 컨텍스트, OpenAI 호환 API. RunAnywhere 제공.
DELTA는 딥러닝 기반의 자연어 및 음성 처리 플랫폼입니다. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
CPU 및 GPU에서 트랜스포머 추론(Bert, Albert, GPT2, Decoders 등)을 위한 빠르고 사용자 친화적인 런타임입니다.
모든 하드웨어 및 양자화 설정에서 로컬 LLM 서빙 속도(디코딩, 추측 디코딩, 프리필, KV, 시작, TTFT)를 단계적으로 최적화하는 에이전트 스킬
Qualcomm® AI Hub 모델은 성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 장치에 배포할 준비가 된 당사의 최첨단 머신러닝 모델 컬렉션입니다.
그래프와 쌍대 설정에서 인과 추론을 위한 패키지. 그래프 구조 복구 및 종속성 도구가 포함되어 있습니다.
AI 모델을 실행하고, 제공하고, 질의하고, 편집하세요. VINDEX3를 기반으로 한 Rust 모델 런타임입니다. VINDEX3는 실행 및 검사 가능한 모델 형식입니다.
단일 명령어부터 프로덕션 추론까지 다루는 CPU 성능 엔지니어링 읽기 경로입니다. 1차 자료만 사용하며, 각 섹션마다 실행 가능한 벤치마크를 제공합니다.
ONNX Runtime을 통해 Node.js / TypeScript에서 오픈 소스 Jev 호환 System-1 의사결정 모델인 Laya를 실행하세요
RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.