#llm-inference Repository
202 repository in totale
Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai
Confronta i progetti LLM locali open source compatibili in base alle loro metriche per valutarne la popolaritร e l'attivitร .
Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.
SDK AI locale open source: esegui lโAI sul dispositivo senza cloud nรฉ chiavi API. Supporta GGUF, RAG, la generazione di immagini, musica e video, la conversione da voce a testo, lโinferenza P2P e altro ancora. Multipiattaforma: Linux, macOS, Windows, Android e iOS.
BitBLAS รจ una libreria per supportare moltiplicazioni di matrici a precisione mista, specialmente per il deployment di LLM quantizzati.
Motore di inferenza LLM puro Rust + CUDA โ nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2
Decodifica LLM fino a 4ร piรน veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab โ Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.
LLM-PowerHouse: Libera il potenziale degli LLM attraverso tutorial curati, best practice e codice pronto all'uso per l'addestramento personalizzato e l'inferenza.
USP: Attenzione Unificata (a.k.a. Ibrida, 2D) Sequenziale per l'Addestramento e l'Inferenza di Modelli Transformer a Contesto Lungo
Accelera i tuoi Hugging Face Transformers da 7,6 a 9 volte. Nativo per Hugging Face e PyTorch.
Modello linguistico a pesi aperti di Google DeepMind, basato su Griffin.
Esegui un modello IA da 105 GB su un Mac che non puรฒ contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16โ64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.
Trasforma il tuo telefono Android in un server di inferenza LLM compatibile con OpenAI: completamente locale, privato e open source
Alternativa Ollama per Rockchip NPU: Una soluzione efficiente per eseguire modelli AI e di deep learning su dispositivi Rockchip con supporto NPU ottimizzato (rkllm)
Piattaforma di ricerca web minimalista con un assistente AI che funziona direttamente dal tuo browser. Demo: https://felladrin-minisearch.hf.space
Sistema operativo per agenti IA self-hosted. La tua memoria, le chat, gli agenti e i file rimangono sull'hardware di tua proprietร , offline per impostazione predefinita, nel cloud per scelta. Include memoria IA offline (taOSmd), chat di gruppo multi-framework self-hosted, un desktop web completo + app store e clustering automatico sull'hardware consumer che giร possiedi (Orange/Raspberry Pi, Mac mini, PC da gaming).
Un altro modello linguistico: inferenza LLM in C++/CUDA, nessuna libreria tranne I/O
Reclutamento scolastico, autunnale, primaverile, ottimi progetti di stage, ti guida a realizzare da zero un framework di inferenza per grandi modelli che supporta Llama2/3 e Qwen2.5.
Modelli MoE allโavanguardia su RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash su 4 RTX PRO 6000, in configurazione ibrida GPU+CPU su 4 RTX 5090 e modelli esperti a 2 bit su vLLM v0.24.0
Una libreria di ricerca ad albero con API flessibile per il ridimensionamento in tempo di inferenza di LLM
CLI per l'esecuzione parallela di un gran numero di agenti di codifica con worktree git
Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite lโAPI /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.
Motore di inferenza mini qwen3-0.6B statico, minimalista, batch singolo, solo CUDA
Yi-1.5 รจ una versione aggiornata di Yi, che offre prestazioni piรน elevate in termini di codice, matematica, ragionamento e capacitร di seguire le istruzioni.
Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalitร veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.
[ICLR 2025] DuoAttention: Inferenza LLM efficiente per contesti lunghi con teste di recupero e streaming
Un elenco curato di strumenti realizzati per Jev, il modello System One di TypeSafe AI per decisioni tipizzate.
Krasis รจ un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli piรน grandi su hardware consumer con VRAM limitata
Open Model Engine (OME) โ operatore Kubernetes per il serving degli LLM, la pianificazione delle GPU e la gestione del ciclo di vita dei modelli. Compatibile con SGLang, vLLM, TensorRT-LLM e Triton
Impara lโingegneria dellโinferenza degli LLM passo dopo passo: dalla cache KV, PagedAttention e il batching continuo fino a vLLM, SGLang e alle GPU.
KVarN รจ un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte piรน contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.
Progetta, conduci e analizza i risultati di sondaggi ed esperimenti basati sullโIA. Simula la ricerca nelle scienze sociali e le ricerche di mercato con un gran numero di agenti IA e modelli linguistici di grandi dimensioni.