Git Stars Git Stars

#llm-inference Repository

202
Totale Repository
1.0M
Totale stelle
5,180
Media Stelle/Repo
151
nace-ai/kapitsa

Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai

nace-ai
โญ 840 C++ ๐Ÿ‘ค nace-ai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-16
152
warpfront/hipfire

Motore di inferenza LLM nativo RDNA in Rust.

warpfront
โญ 826 Rust ๐Ÿ‘ค warpfront Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-21
153
mukel/llama3.java

Inferenza Llama 3+ in puro Java

mukel
โญ 818 Java ๐Ÿ‘ค mukel User ๐Ÿ• Aggiornato 2026-04-24 ๐Ÿ“… Creato 2024-04-25
154
vince-lam/awesome-local-llms

Confronta i progetti LLM locali open source compatibili in base alle loro metriche per valutarne la popolaritร  e l'attivitร .

vince-lam
โญ 816 Python ๐Ÿ‘ค vince-lam User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2024-02-29
155
ARahim3/kaggle-tpu-lab

Modelli open di livello frontier su una TPU v5e-8 gratuita di Kaggle: GLM-5.3-Flash 320B MoE (~165 token/s, con il nostro motore JAX) e Qwen3.8-27B bf16 (~130 token/s), contesto da 262k e caching dei prefissi. Funziona con Claude Code, Codex, opencode e pi.

ARahim3
โญ 812 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-10-06 ๐Ÿ“… Creato 2026-08-31
156
tetherto/qvac

SDK AI locale open source: esegui lโ€™AI sul dispositivo senza cloud nรฉ chiavi API. Supporta GGUF, RAG, la generazione di immagini, musica e video, la conversione da voce a testo, lโ€™inferenza P2P e altro ancora. Multipiattaforma: Linux, macOS, Windows, Android e iOS.

tetherto
โญ 806 TypeScript ๐Ÿ‘ค tetherto Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-01-03
157
SimpleBerry/LLaMA-O1

Grandi modelli di ragionamento

SimpleBerry
โญ 806 Python ๐Ÿ‘ค SimpleBerry Organization ๐Ÿ• Aggiornato 2024-12-03 ๐Ÿ“… Creato 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
โญ 761 Python ๐Ÿ‘ค D-Keqi User ๐Ÿ• Aggiornato 2025-10-06 ๐Ÿ“… Creato 2025-05-19
159
microsoft/BitBLAS

BitBLAS รจ una libreria per supportare moltiplicazioni di matrici a precisione mista, specialmente per il deployment di LLM quantizzati.

microsoft
โญ 751 Python ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2025-08-06 ๐Ÿ“… Creato 2024-02-23
160
pegainfer-project/pegainfer

Motore di inferenza LLM puro Rust + CUDA โ€” nessun PyTorch, compatibile con OpenAI, serve da Qwen3 a Kimi-K2

pegainfer-project
โญ 748 Rust ๐Ÿ‘ค pegainfer-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-17
161
ARahim3/mlx-dspark

Decodifica LLM fino a 4ร— piรน veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab โ€” Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.

ARahim3
โญ 743 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2026-06-29
162
Avarok-Cybersecurity/atlas

Motore di inferenza puro in Rust

Avarok-Cybersecurity
โญ 737 Rust ๐Ÿ‘ค Avarok-Cybersecurity Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: Libera il potenziale degli LLM attraverso tutorial curati, best practice e codice pronto all'uso per l'addestramento personalizzato e l'inferenza.

ghimiresunil
โญ 734 Jupyter Notebook ๐Ÿ‘ค ghimiresunil User ๐Ÿ• Aggiornato 2026-03-13 ๐Ÿ“… Creato 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows โ€“ App LLM semplici, esplicite e trasparenti

stoyan-stoyanov
โญ 706 Python ๐Ÿ‘ค stoyan-stoyanov User ๐Ÿ• Aggiornato 2025-02-20 ๐Ÿ“… Creato 2023-06-26
165
feifeibear/long-context-attention

USP: Attenzione Unificata (a.k.a. Ibrida, 2D) Sequenziale per l'Addestramento e l'Inferenza di Modelli Transformer a Contesto Lungo

feifeibear
โญ 697 Python ๐Ÿ‘ค feifeibear User ๐Ÿ• Aggiornato 2026-09-16 ๐Ÿ“… Creato 2024-03-27
โญ 696 Go ๐Ÿ‘ค deanxv User ๐Ÿ• Aggiornato 2026-02-27 ๐Ÿ“… Creato 2024-12-23
167
MDK8888/GPTFast

Accelera i tuoi Hugging Face Transformers da 7,6 a 9 volte. Nativo per Hugging Face e PyTorch.

MDK8888
โญ 687 Python ๐Ÿ‘ค MDK8888 User ๐Ÿ• Aggiornato 2024-08-22 ๐Ÿ“… Creato 2024-02-18
168
google-deepmind/recurrentgemma

Modello linguistico a pesi aperti di Google DeepMind, basato su Griffin.

google-deepmind
โญ 686 Python ๐Ÿ‘ค google-deepmind Organization ๐Ÿ• Aggiornato 2026-02-06 ๐Ÿ“… Creato 2024-03-25
169
carloslfu/slotstream

Esegui un modello IA da 105 GB su un Mac che non puรฒ contenerlo. Qwen3.8-Flash-Next a 4 bit, trasmesso in streaming da SSD sui Mac Apple Silicon con 16โ€“64 GB di memoria. Completamente nativo in Swift, MLX e Metal. Offline, senza Python. CLI, libreria Swift e API Ollama/OpenAI/Anthropic. Compatibile con Claude Code e Codex.

carloslfu
โญ 674 Swift ๐Ÿ‘ค carloslfu User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-08-28
170
run-ai/genv

Ambiente GPU e gestione del cluster con supporto LLM

run-ai
โญ 657 Python ๐Ÿ‘ค run-ai Organization ๐Ÿ• Aggiornato 2024-05-16 ๐Ÿ“… Creato 2022-09-04
172
NightMean/OlliteRT

Trasforma il tuo telefono Android in un server di inferenza LLM compatibile con OpenAI: completamente locale, privato e open source

NightMean
โญ 645 Kotlin ๐Ÿ‘ค NightMean User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2026-04-06
173
NotPunchnox/rkllama

Alternativa Ollama per Rockchip NPU: Una soluzione efficiente per eseguire modelli AI e di deep learning su dispositivi Rockchip con supporto NPU ottimizzato (rkllm)

NotPunchnox
โญ 631 Python ๐Ÿ‘ค NotPunchnox User ๐Ÿ• Aggiornato 2026-10-28 ๐Ÿ“… Creato 2024-12-30
174
sixgpt/miner

Miner Ufficiale per SixGPT

sixgpt
โญ 611 Shell ๐Ÿ‘ค sixgpt Organization ๐Ÿ• Aggiornato 2024-12-19 ๐Ÿ“… Creato 2024-10-06
175
felladrin/MiniSearch

Piattaforma di ricerca web minimalista con un assistente AI che funziona direttamente dal tuo browser. Demo: https://felladrin-minisearch.hf.space

felladrin
โญ 611 TypeScript ๐Ÿ‘ค felladrin User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-10-14
176
jaylfc/taOS

Sistema operativo per agenti IA self-hosted. La tua memoria, le chat, gli agenti e i file rimangono sull'hardware di tua proprietร , offline per impostazione predefinita, nel cloud per scelta. Include memoria IA offline (taOSmd), chat di gruppo multi-framework self-hosted, un desktop web completo + app store e clustering automatico sull'hardware consumer che giร  possiedi (Orange/Raspberry Pi, Mac mini, PC da gaming).

jaylfc
โญ 609 Python ๐Ÿ‘ค jaylfc User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-04-05
177
andrewkchan/yalm

Un altro modello linguistico: inferenza LLM in C++/CUDA, nessuna libreria tranne I/O

andrewkchan
โญ 597 C++ ๐Ÿ‘ค andrewkchan User ๐Ÿ• Aggiornato 2025-09-13 ๐Ÿ“… Creato 2024-10-02
178
huggingface/swift-chat

App Mac per dimostrare swift-transformers

huggingface
โญ 592 Swift ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2024-07-29 ๐Ÿ“… Creato 2023-05-11
179
zjhellofss/KuiperLLama

Reclutamento scolastico, autunnale, primaverile, ottimi progetti di stage, ti guida a realizzare da zero un framework di inferenza per grandi modelli che supporta Llama2/3 e Qwen2.5.

zjhellofss
โญ 581 C++ ๐Ÿ‘ค zjhellofss User ๐Ÿ• Aggiornato 2025-10-28 ๐Ÿ“… Creato 2024-04-25
180
kacper-daftcode/vLLM-Moet

Modelli MoE allโ€™avanguardia su RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash su 4 RTX PRO 6000, in configurazione ibrida GPU+CPU su 4 RTX 5090 e modelli esperti a 2 bit su vLLM v0.24.0

kacper-daftcode
โญ 580 Sass ๐Ÿ‘ค kacper-daftcode User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2026-06-15
181
SakanaAI/treequest

Una libreria di ricerca ad albero con API flessibile per il ridimensionamento in tempo di inferenza di LLM

SakanaAI
โญ 580 Python ๐Ÿ‘ค SakanaAI Organization ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2025-06-30
182
devflowinc/uzi

CLI per l'esecuzione parallela di un gran numero di agenti di codifica con worktree git

devflowinc
โญ 579 Go ๐Ÿ‘ค devflowinc Organization ๐Ÿ• Aggiornato 2025-06-04 ๐Ÿ“… Creato 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

FineTuning di LLM (Large Language Model)

rohan-paul
โญ 574 Jupyter Notebook ๐Ÿ‘ค rohan-paul User ๐Ÿ• Aggiornato 2025-04-01 ๐Ÿ“… Creato 2023-10-22
184
StartLuxLabs/StartLux-Prism

Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite lโ€™API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.

StartLuxLabs
โญ 560 Python ๐Ÿ‘ค StartLuxLabs Organization ๐Ÿ• Aggiornato 2026-10-27 ๐Ÿ“… Creato 2026-10-13
185
yassa9/qwen600

Motore di inferenza mini qwen3-0.6B statico, minimalista, batch singolo, solo CUDA

yassa9
โญ 559 Cuda ๐Ÿ‘ค yassa9 User ๐Ÿ• Aggiornato 2025-09-08 ๐Ÿ“… Creato 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 รจ una versione aggiornata di Yi, che offre prestazioni piรน elevate in termini di codice, matematica, ragionamento e capacitร  di seguire le istruzioni.

01-ai
โญ 557 ๐Ÿ‘ค 01-ai Organization ๐Ÿ• Aggiornato 2024-11-11 ๐Ÿ“… Creato 2024-05-10
โญ 557 Python ๐Ÿ‘ค Snowflake-Labs Organization ๐Ÿ• Aggiornato 2024-08-16 ๐Ÿ“… Creato 2024-04-22
โญ 553 C++ ๐Ÿ‘ค Tencent Organization ๐Ÿ• Aggiornato 2026-08-27 ๐Ÿ“… Creato 2024-05-22
189
Noeda/rllama

Implementazione del codice di inferenza LLaMA con Rust+OpenCL+AVX2

Noeda
โญ 551 Rust ๐Ÿ‘ค Noeda User ๐Ÿ• Aggiornato 2024-02-12 ๐Ÿ“… Creato 2023-03-11
190
OmniJev/Flide

๐Ÿ”ฅ๐Ÿ”ฅ Il motore di inferenza estremamente veloce per i modelli decisionali

OmniJev
โญ 550 Python ๐Ÿ‘ค OmniJev Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalitร  veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
โญ 549 C++ ๐Ÿ‘ค Indras-Mirror User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Inferenza LLM efficiente per contesti lunghi con teste di recupero e streaming

mit-han-lab
โญ 541 Python ๐Ÿ‘ค mit-han-lab Organization ๐Ÿ• Aggiornato 2025-02-10 ๐Ÿ“… Creato 2024-10-15
193
microsoft/sarathi-serve

Un motore di serving a bassa latenza e alto throughput per LLM

microsoft
โญ 539 Python ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-11-02
194
v-modal/awesome-jev-tools

Un elenco curato di strumenti realizzati per Jev, il modello System One di TypeSafe AI per decisioni tipizzate.

v-modal
โญ 537 ๐Ÿ‘ค v-modal Organization ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2026-09-19
195
brontoguana/krasis

Krasis รจ un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli piรน grandi su hardware consumer con VRAM limitata

brontoguana
โญ 530 C++ ๐Ÿ‘ค brontoguana User ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) โ€” operatore Kubernetes per il serving degli LLM, la pianificazione delle GPU e la gestione del ciclo di vita dei modelli. Compatibile con SGLang, vLLM, TensorRT-LLM e Triton

ome-projects
โญ 529 Go ๐Ÿ‘ค ome-projects Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Impara lโ€™ingegneria dellโ€™inferenza degli LLM passo dopo passo: dalla cache KV, PagedAttention e il batching continuo fino a vLLM, SGLang e alle GPU.

amitshekhariitbhu
โญ 523 Markdown ๐Ÿ‘ค amitshekhariitbhu User ๐Ÿ• Aggiornato 2026-11-09 ๐Ÿ“… Creato 2026-08-18
198
huawei-csl/KVarN

KVarN รจ un backend nativo di vLLM per la quantizzazione della cache KV dei tuoi agenti: da 3 a 5 volte piรน contesto, throughput superiore a FP16 e accuratezza di livello FP16. Senza calibrazione, basta un flag.

huawei-csl
โญ 521 Python ๐Ÿ‘ค huawei-csl Organization ๐Ÿ• Aggiornato 2026-06-22 ๐Ÿ“… Creato 2026-05-29
199
expectedparrot/edsl

Progetta, conduci e analizza i risultati di sondaggi ed esperimenti basati sullโ€™IA. Simula la ricerca nelle scienze sociali e le ricerche di mercato con un gran numero di agenti IA e modelli linguistici di grandi dimensioni.

expectedparrot
โญ 521 Python ๐Ÿ‘ค expectedparrot Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-01-02
200
turboderp-org/exui

Interfaccia Web per ExLlamaV2

turboderp-org
โญ 513 JavaScript ๐Ÿ‘ค turboderp-org Organization ๐Ÿ• Aggiornato 2025-02-05 ๐Ÿ“… Creato 2023-10-29