Git Stars Git Stars

#llm-inference Repository

Scopri 202 repository GitHub open source attivi contrassegnati con #llm-inference, che raccolgono un totale di 1,046,424 stelle (con una media di 5,180 stelle per progetto). Il progetto leader di questo argomento è deepseek-ai/DeepSeek-V3, con 104,417 stelle.

202
Totale Repository
1.0M
Totale stelle
5,180
Media Stelle/Repo

202 repository in totale

2
nomic-ai/gpt4all

GPT4All: Esegui LLM locali su qualsiasi dispositivo. Open-source e disponibile per uso commerciale.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Aggiornato 2025-05-27 📅 Creato 2023-03-27
3
oobabooga/textgen

Applicazione desktop open-source per LLM locali. Testo, visione, chiamata di strumenti, API compatibile con OpenAI/Anthropic. 100% privata.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Aggiornato 2026-08-17 📅 Creato 2022-12-21
4
ray-project/ray

Ray è un motore di calcolo AI. Ray consiste in un runtime distribuito principale e un set di librerie AI per accelerare i carichi di lavoro ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2016-10-25
5
microsoft/BitNet

Framework di inferenza ufficiale per LLM a 1 bit

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Aggiornato 2026-07-27 📅 Creato 2024-08-05
6
gitleaks/gitleaks

Trova segreti con Gitleaks 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Aggiornato 2026-10-28 📅 Creato 2018-01-27
7
QwenLM/Qwen3

Qwen3 è la serie di modelli linguistici di grandi dimensioni sviluppata dal team Qwen di Alibaba Cloud.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Aggiornato 2026-01-09 📅 Creato 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: un elenco curato di Large Language Model

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Aggiornato 2025-07-31 📅 Creato 2023-02-17
9
google-ai-edge/gallery

Una galleria che presenta casi d'uso ML/GenAI su dispositivo e consente alle persone di provare e utilizzare modelli localmente.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-03-31
10
liguodongiot/llm-action

Questo progetto mira a condividere i principi tecnici e le esperienze pratiche relative ai modelli di grandi dimensioni (ingegnerizzazione di grandi modelli, applicazione pratica di grandi modelli).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Aggiornato 2026-10-14 📅 Creato 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Contesti di compressione ottica

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Aggiornato 2026-01-27 📅 Creato 2025-10-17
12
kvcache-ai/ktransformers

Un framework flessibile per sperimentare ottimizzazioni di inferenza/fine-tuning di LLM eterogenei

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Aggiornato 2026-11-13 📅 Creato 2024-07-26
13
karpathy/llama2.c

Inferenza Llama 2 in un file puro C

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Aggiornato 2024-08-06 📅 Creato 2023-07-23
14
Stability-AI/StableLM

StableLM: Modelli Linguistici di Stability AI

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Aggiornato 2024-04-08 📅 Creato 2023-04-19
15
mindverse/Second-Me

Allena il tuo sé AI, amplificati, unisci il mondo

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Aggiornato 2025-09-30 📅 Creato 2025-03-16
16
Lightning-AI/litgpt

Oltre 20 LLM ad alte prestazioni con ricette per pre-addestrare, mettere a punto e distribuire su larga scala.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Aggiornato 2026-11-10 📅 Creato 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: Kernel di Attenzione Latente Multi-Testa Efficienti

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Aggiornato 2026-10-27 📅 Creato 2025-02-21
18
bentoml/OpenLLM

Esegui qualsiasi LLM open-source, come DeepSeek e Llama, come endpoint API compatibile con OpenAI nel cloud.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Aggiornato 2026-11-16 📅 Creato 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Aggiornato 2026-11-16 📅 Creato 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ è un toolkit open source per l'ottimizzazione e il deployment dell'inferenza AI.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2018-10-15
21
mistralai/mistral-inference

Libreria di inferenza ufficiale per i modelli Mistral

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Aggiornato 2026-04-20 📅 Creato 2023-09-27
22
abetlen/llama-cpp-python

Binding Python per llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-03-23
23
Tiiny-AI/PowerInfer

Servizio di modelli linguistici di grandi dimensioni ad alta velocità per l'implementazione locale

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Aggiornato 2026-05-11 📅 Creato 2023-12-15
24
bentoml/BentoML

Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2019-04-02
25
ai-dynamo/dynamo

Un framework di inferenza distribuita su larga scala per data center

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-03-03
26
bojieli/ai-infra-book

《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Aggiornato 2026-10-01 📅 Creato 2026-08-22
27
InternLM/lmdeploy

LMDeploy è un toolkit per comprimere, distribuire e servire LLM.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-06-15
28
algorithmicsuperintelligence/openevolve

Implementazione open-source di AlphaEvolve

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2025-05-15
29
drumih/turbo-fieldfare

Inferenza di Gemma 4 26B-A4B in ~2 GB di RAM su qualsiasi MacBook serie M

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Aggiornato 2026-11-14 📅 Creato 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Modelli Linguistici Efficienti in Streaming con Pozzi di Attenzione

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Aggiornato 2024-07-11 📅 Creato 2023-09-29
31
katanemo/plano

Plano è un server proxy nativo AI e un piano dati per applicazioni agentiche. Routing intelligente LLM, osservabilità, orchestrazione degli agenti e protezioni per permetterti di concentrarti sulla logica principale dei tuoi agenti.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Aggiornato 2026-10-24 📅 Creato 2024-07-09
32
google/gemma.cpp

motore di inferenza C++ leggero e autonomo per i modelli Gemma di Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: Abbattere la barriera dei modelli closed-source nell'intelligenza del codice

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Aggiornato 2025-11-11 📅 Creato 2024-06-14
34
karminski/one-small-step

Questo è un semplice progetto di tutorial tecnico科普, focalizzato principalmente sulla spiegazione di concetti e principi tecnologici interessanti e all'avanguardia. Ogni articolo si sforza di essere completato in 5 minuti di lettura.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aggiornato 2026-03-08 📅 Creato 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Libreria di Kernel per LLM Serving

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-07-22
36
simplescaling/s1

s1: Scalatura semplice al momento dell'esecuzione

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Aggiornato 2025-06-25 📅 Creato 2025-02-01
37
lemonade-sdk/lemonade

Lemonade aiuta gli utenti a scoprire ed eseguire app AI locali fornendo LLM ottimizzati direttamente dalle loro GPU e NPU. Unisciti al nostro Discord: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2025-05-15
38
kserve/kserve

Piattaforma di inferenza AI generativa e predittiva distribuita standardizzata per deployment scalabile e multi-framework su Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2019-03-27
39
meta-pytorch/gpt-fast

Generazione di testo Transformer semplice ed efficiente, nativa di Pytorch, in <1000 LOC di Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Aggiornato 2025-08-22 📅 Creato 2023-10-17
40
cactus-compute/engine

Quantizzazione a 2 bit, kernel e ambiente di esecuzione per dispositivi consumer.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Aggiornato 2026-11-05 📅 Creato 2025-04-23
41
gpustack/gpustack

Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ Motore di inferenza WebGPU in Rust puro — Compatibile con le API OpenAI, nativo GGUF, funziona su qualsiasi GPU. Niente Python. Niente llama.cpp. Singolo binario.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Aggiornato 2026-11-12 📅 Creato 2025-08-28
43
alexzhang13/rlm

Libreria di inferenza plug-and-play generale per Modelli Linguistici Ricorsivi (RLM), che supporta vari ambienti sandbox.

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Aggiornato 2026-11-21 📅 Creato 2025-12-20
44
sgl-project/mini-sglang

Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Aggiornato 2026-05-17 📅 Creato 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Un elenco curato di Awesome LLM/VLM Inference Papers con codici: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, ecc.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Aggiornato 2026-10-20 📅 Creato 2023-08-27
46
superduper-io/superduper

Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Aggiornato 2025-09-01 📅 Creato 2022-08-30
47
ztxz16/fastllm

fastllm è una libreria di inferenza per modelli linguistici di grandi dimensioni ad alte prestazioni, senza dipendenze da backend, che consente di eseguire inferenze in modo efficiente sulla maggior parte dei dispositivi.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Aggiornato 2026-11-21 📅 Creato 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: Un modello linguistico Mixture-of-Experts forte, economico ed efficiente

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Aggiornato 2024-09-25 📅 Creato 2024-04-22
49
FellouAI/eko

Eko (Eko keeps operating) - Costruisci workflow agentici pronti per la produzione con linguaggio naturale - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Aggiornato 2026-03-03 📅 Creato 2024-11-23
50
ruvnet/RuVector

RuVector offre processi decisionali e memoria degli agenti ad alte prestazioni in tempo reale, IA autoapprendente e un database GNN vettoriale sviluppato in Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Aggiornato 2026-11-21 📅 Creato 2025-11-19

Domande frequenti

1

Qual è il repository #llm-inference più popolare su GitHub?

Il progetto open source #llm-inference più alto in classifica su GitHub è deepseek-ai/DeepSeek-V3, con 104,417 stelle.

2

Quali linguaggi di programmazione sono più utilizzati nei repository #llm-inference?

Tra i progetti #llm-inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Rust, Go.

3

Come viene calcolata la classifica dei repository #llm-inference?

Monitoriamo 202 repository open source attivi contrassegnati con #llm-inference (500+ stelle), per un totale di 1,046,424 stelle e una media di 5,180 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.