Git Stars Git Stars

#llm-inference Repository

202
Totale Repository
1.0M
Totale stelle
5,180
Media Stelle/Repo
51
turboderp-org/exllamav2

Una libreria di inferenza veloce per eseguire LLM localmente su moderne GPU di classe consumer

turboderp-org
โญ 4,653 Python ๐Ÿ‘ค turboderp-org Organization ๐Ÿ• Aggiornato 2026-03-04 ๐Ÿ“… Creato 2023-08-30
52
openai/harmony

Renderer per il formato di risposta harmony da utilizzare con gpt-oss

openai
โญ 4,548 Rust ๐Ÿ‘ค openai Organization ๐Ÿ• Aggiornato 2026-04-08 ๐Ÿ“… Creato 2025-07-31
53
CalvinXKY/InfraTech

Condivisione di conoscenze AI Infra e pratica di codice: PyTorch, vLLM/SGLang, introduzione al framework slime/vime โšก๏ธ, accelerazione delle prestazioni ๐Ÿš€, basi dei modelli grandi ๐Ÿง , software e hardware AI ๐Ÿ”ง, ecc.

CalvinXKY
โญ 4,411 Jupyter Notebook ๐Ÿ‘ค CalvinXKY User ๐Ÿ• Aggiornato 2026-09-20 ๐Ÿ“… Creato 2025-11-14
54
algorithmicsuperintelligence/optillm

Ottimizzazione del proxy di inferenza per LLM

algorithmicsuperintelligence
โญ 4,343 Python ๐Ÿ‘ค algorithmicsuperintelligence Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2024-08-22
55
NVIDIA/GenerativeAIExamples

Flussi di lavoro di riferimento per l'IA generativa ottimizzati per un'architettura di microservizi e un'infrastruttura accelerate.

NVIDIA
โญ 4,235 Jupyter Notebook ๐Ÿ‘ค NVIDIA Organization ๐Ÿ• Aggiornato 2026-11-06 ๐Ÿ“… Creato 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX รจ un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte piรน veloce di MLX (mlx-lm) di Apple con gli stessi pesi.

raullenchai
โญ 4,168 Python ๐Ÿ‘ค raullenchai User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-25
57
predibase/lorax

Server di inferenza Multi-LoRA che scala a migliaia di LLM ottimizzati

predibase
โญ 3,836 Python ๐Ÿ‘ค predibase Organization ๐Ÿ• Aggiornato 2026-05-28 ๐Ÿ“… Creato 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Una raccolta di metodi scientifici, processi, algoritmi e sistemi per costruire storie e modelli.

hemansnation
โญ 3,782 Jupyter Notebook ๐Ÿ‘ค hemansnation User ๐Ÿ• Aggiornato 2026-10-28 ๐Ÿ“… Creato 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Il tuo cheat sheet per il colloquio di ingegneria IA โ€“ Domande e risposte.

amitshekhariitbhu
โญ 3,707 Markdown ๐Ÿ‘ค amitshekhariitbhu User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-03-21
60
xjdr-alt/entropix

Campionamento Basato sull'Entropia e Decodifica CoT Parallela

xjdr-alt
โญ 3,434 Python ๐Ÿ‘ค xjdr-alt User ๐Ÿ• Aggiornato 2024-11-13 ๐Ÿ“… Creato 2024-10-03
61
ikawrakow/ik_llama.cpp

llama.cpp fork con quants SOTA aggiuntivi e prestazioni migliorate

ikawrakow
โญ 3,411 C++ ๐Ÿ‘ค ikawrakow User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-06-27
โญ 3,377 Python ๐Ÿ‘ค danielgross User ๐Ÿ• Aggiornato 2024-02-25 ๐Ÿ“… Creato 2023-10-01
63
b4rtaz/distributed-llama

Inferenza LLM distribuita. Collega i dispositivi domestici in un potente cluster per accelerare l'inferenza LLM. Piรน dispositivi significano inferenza piรน veloce.

b4rtaz
โญ 3,141 C++ ๐Ÿ‘ค b4rtaz User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-12-04
64
mw00/project-maya

Esegui GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) sulle tue GPU โ€” a partire da 8 GB di VRAM, con supporto per NVIDIA e AMD, unโ€™unica dashboard e unโ€™API compatibile con OpenAI e Anthropic.

mw00
โญ 3,140 C++ ๐Ÿ‘ค mw00 User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-06
65
spiceai/spiceai

Aggiungi un nodo di analisi in tempo reale al tuo database operativo. Spice รจ un motore portatile e accelerato per query SQL, ricerca e inferenza LLM scritto in Rust per applicazioni e agenti di IA basati sui dati.

spiceai
โญ 3,132 Rust ๐Ÿ‘ค spiceai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

Quantizzazione a 4 bit di LLaMA tramite GPTQ

qwopqwop200
โญ 3,077 Python ๐Ÿ‘ค qwopqwop200 User ๐Ÿ• Aggiornato 2024-07-13 ๐Ÿ“… Creato 2023-03-06
67
luminal-ai/luminal

Inferenza alla velocitร  della luce.

luminal-ai
โญ 3,064 Rust ๐Ÿ‘ค luminal-ai Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2023-07-18
โญ 2,804 Python ๐Ÿ‘ค Mega4alik User ๐Ÿ• Aggiornato 2026-07-27 ๐Ÿ“… Creato 2025-08-16
69
syv-ai/HyperQwen

Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150kโ€“262k. Patch per vLLM, pipeline di requantizzazione e benchmark.

syv-ai
โญ 2,778 Python ๐Ÿ‘ค syv-ai Organization ๐Ÿ• Aggiornato 2026-11-10 ๐Ÿ“… Creato 2026-08-15
70
youssofal/MTPLX

Il modo piรน veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.

youssofal
โญ 2,729 Python ๐Ÿ‘ค youssofal User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-05-02
71
vllm-project/production-stack

Il sistema di riferimento di vLLM per il deployment su scala cluster nativo K8S con ottimizzazione delle prestazioni guidata dalla community

vllm-project
โญ 2,729 Python ๐Ÿ‘ค vllm-project Organization ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2025-01-21
72
FasterDecoding/Medusa

Medusa: Un framework semplice per accelerare la generazione di LLM con piรน teste di decodifica

FasterDecoding
โญ 2,684 Jupyter Notebook ๐Ÿ‘ค FasterDecoding Organization ๐Ÿ• Aggiornato 2024-06-25 ๐Ÿ“… Creato 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: Compilazione di LLM in un MegaKernel

mirage-project
โญ 2,625 Cuda ๐Ÿ‘ค mirage-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-05-08
74
incoai/splash

Un motore di inferenza locale per Apple Silicon, progettato attorno al modello.

incoai
โญ 2,591 C++ ๐Ÿ‘ค incoai Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-09-18
75
Nano-Collective/nanocoder

Un agente di programmazione open source per il tuo terminale, costruito da un collettivo comunitario anzichรฉ da un'azienda. Porta il tuo modello, tieni il codice sulla tua macchina e non devi nulla a nessuno.

Nano-Collective
โญ 2,582 TypeScript ๐Ÿ‘ค Nano-Collective Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-07-30
76
SafeAILab/EAGLE

Implementazione ufficiale di EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).

SafeAILab
โญ 2,581 Python ๐Ÿ‘ค SafeAILab Organization ๐Ÿ• Aggiornato 2026-02-20 ๐Ÿ“… Creato 2023-12-07
77
databricks/dbrx

Esempi di codice e risorse per DBRX, un modello linguistico di grandi dimensioni sviluppato da Databricks

databricks
โญ 2,578 Python ๐Ÿ‘ค databricks Organization ๐Ÿ• Aggiornato 2024-05-01 ๐Ÿ“… Creato 2024-03-26
78
Jittor/JittorLLMs

La libreria di inferenza del modello di grandi dimensioni Jito presenta alta efficienza, bassi requisiti di configurazione, buon supporto per il cinese e portabilitร .

Jittor
โญ 2,419 Python ๐Ÿ‘ค Jittor User ๐Ÿ• Aggiornato 2025-02-22 ๐Ÿ“… Creato 2023-04-02
79
ashhart/TensorFold

Motore di inferenza LLM per Metal, CUDA e Vulkan.

ashhart
โญ 2,364 Zig ๐Ÿ‘ค ashhart User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-06-19
80
datawhalechina/zero-to-sglang

Corso ufficiale SGLang x Datawhale sullโ€™inferenza degli LLM: comprendi lโ€™inferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.

datawhalechina
โญ 2,306 Python ๐Ÿ‘ค datawhalechina Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2026-08-27
โญ 2,288 Jupyter Notebook ๐Ÿ‘ค imanoop7 User ๐Ÿ• Aggiornato 2025-03-17 ๐Ÿ“… Creato 2024-11-28
82
cfregly/ai-performance-engineering

Codice, laboratori e risorse per O'Reilly AI Systems Performance Engineering: ottimizzazione GPU, addestramento distribuito, scalabilitร  dell'inferenza e ottimizzazione full-stack.

cfregly
โญ 2,233 Python ๐Ÿ‘ค cfregly User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2025-04-21
83
neuron-core/neuron-ai

Il framework di agenti dell'ecosistema PHP per costruire applicazioni basate sull'IA pronte per la produzione. Collega componenti (LLM, strumenti, database vettoriali, memoria) ad agenti che interagiscono con i tuoi dati e la tua interfaccia utente.

neuron-core
โญ 2,179 PHP ๐Ÿ‘ค neuron-core Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

La tua guida rapida ai colloqui di ingegneria dellโ€™IA nelle principali aziende di IA: domande e risposte.

pallavi-shekhar
โญ 2,098 Markdown ๐Ÿ‘ค pallavi-shekhar User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-09-19
85
microsoft/aici

AICI: Prompts come (Wasm) Programmi

microsoft
โญ 2,077 Rust ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2025-01-22 ๐Ÿ“… Creato 2023-09-26
86
SemiAnalysisAI/InferenceX

Piattaforma di ricerca sullโ€™inferenza open source

SemiAnalysisAI
โญ 2,074 Python ๐Ÿ‘ค SemiAnalysisAI Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-07-12
87
ovg-project/kvcached

Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre

ovg-project
โญ 2,051 Python ๐Ÿ‘ค ovg-project Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-05-27
88
AtomicBot-ai/Atomic-Chat

App AI locale e motore di inferenza per agenti. Esegui LLM a pesi aperti localmente: privato, 100% offline sul tuo computer. Unisciti al nostro Discord: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
โญ 2,040 TypeScript ๐Ÿ‘ค AtomicBot-ai Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-03-31
89
kimjammer/Neuro

Una ricreazione di Neuro-Sama originariamente creata in 7 giorni.

kimjammer
โญ 1,960 Python ๐Ÿ‘ค kimjammer User ๐Ÿ• Aggiornato 2025-01-17 ๐Ÿ“… Creato 2024-01-07
90
liltom-eth/llama2-webui

Esegui qualsiasi Llama 2 localmente con interfaccia grafica Gradio su GPU o CPU da qualsiasi luogo (Linux/Windows/Mac). Usa `llama2-wrapper` come tuo backend Llama2 locale per agenti/app generativi.

liltom-eth
โญ 1,954 Jupyter Notebook ๐Ÿ‘ค liltom-eth User ๐Ÿ• Aggiornato 2024-03-22 ๐Ÿ“… Creato 2023-07-20
91
tile-ai/TileRT

Runtime basato su tessere per inferenza LLM a bassissima latenza

tile-ai
โญ 1,906 Python ๐Ÿ‘ค tile-ai Organization ๐Ÿ• Aggiornato 2026-09-24 ๐Ÿ“… Creato 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

GPU NVIDIA multiple o Apple Silicon per l'inferenza di Large Language Model?

XiongjieDai
โญ 1,862 Jupyter Notebook ๐Ÿ‘ค XiongjieDai User ๐Ÿ• Aggiornato 2024-05-13 ๐Ÿ“… Creato 2023-07-19
93
beam-cloud/beta9

Inferenza GPU serverless ultraveloce, sandbox e processi in background

beam-cloud
โญ 1,858 Go ๐Ÿ‘ค beam-cloud Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2023-11-15
94
turboderp-org/exllamav3

Una libreria ottimizzata per la quantizzazione e l'inferenza per l'esecuzione locale di LLM su GPU consumer moderne

turboderp-org
โญ 1,853 Python ๐Ÿ‘ค turboderp-org Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2025-04-06
95
vllm-project/guidellm

Valuta e migliora le tue distribuzioni LLM per esigenze di inferenza nel mondo reale

vllm-project
โญ 1,800 Python ๐Ÿ‘ค vllm-project Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-05-29
96
software-mansion/react-native-executorch

Libreria di inferenza AI on-device per React Native, ad alte prestazioni e orientata alla privacy, basata sul runtime ExecuTorch di PyTorch

software-mansion
โญ 1,794 TypeScript ๐Ÿ‘ค software-mansion Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2024-10-16
97
janhq/awesome-local-ai

Un fantastico repository di strumenti AI locali

janhq
โญ 1,791 ๐Ÿ‘ค janhq Organization ๐Ÿ• Aggiornato 2024-11-13 ๐Ÿ“… Creato 2023-09-06
99
LlamaEdge/LlamaEdge

Il modo piรน semplice e veloce per eseguire LLM personalizzati e ottimizzati localmente o sull'edge

LlamaEdge
โญ 1,665 Rust ๐Ÿ‘ค LlamaEdge Organization ๐Ÿ• Aggiornato 2026-02-08 ๐Ÿ“… Creato 2023-10-09
100
Nutlope/turboseek

Un motore di ricerca AI ispirato da Perplexity

Nutlope
โญ 1,660 TypeScript ๐Ÿ‘ค Nutlope User ๐Ÿ• Aggiornato 2026-10-23 ๐Ÿ“… Creato 2024-05-26