Git Stars Git Stars

#llm-inference Repository

202
Totale Repository
1.0M
Totale stelle
5,180
Media Stelle/Repo
101
AnswerDotAI/rerankers

Una API unificata, leggera e a bassa dipendenza per utilizzare tutti i comuni modelli di riordino e cross-encoder.

AnswerDotAI
โญ 1,644 Python ๐Ÿ‘ค AnswerDotAI Organization ๐Ÿ• Aggiornato 2025-12-20 ๐Ÿ“… Creato 2024-03-06
102
xLLM-AI/xllm

Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. รˆ ospitato dalla OpenAtom Foundation.

xLLM-AI
โญ 1,626 C++ ๐Ÿ‘ค xLLM-AI Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-08-12
103
autonomous-ai/Personal-AI-Computer

Configurazioni open source di computer per lโ€™IA, dai desktop con 2 GPU ai server con 8 GPU: CAD, distinta base, BIOS e guide allโ€™assemblaggio. Acquista il kit del case con riser PCIe oppure chiedici una verifica gratuita della compatibilitร .

autonomous-ai
โญ 1,601 ๐Ÿ‘ค autonomous-ai Organization ๐Ÿ• Aggiornato 2026-11-05 ๐Ÿ“… Creato 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: Quantizzazione Post-Training Accurata ed Efficiente per Grandi Modelli Linguistici

mit-han-lab
โญ 1,576 Python ๐Ÿ‘ค mit-han-lab Organization ๐Ÿ• Aggiornato 2024-07-12 ๐Ÿ“… Creato 2022-11-17
105
jax-ml/scaling-book

Home di "How To Scale Your Model", un breve manuale in stile blog sulla scalabilitร  di LLM su TPU

jax-ml
โญ 1,537 SCSS ๐Ÿ‘ค jax-ml Organization ๐Ÿ• Aggiornato 2026-10-19 ๐Ÿ“… Creato 2025-02-03
106
theroyallab/tabbyAPI

Il server API ufficiale per Exllama. Compatibile OAI, leggero e veloce.

theroyallab
โญ 1,531 Python ๐Ÿ‘ค theroyallab Organization ๐Ÿ• Aggiornato 2026-11-14 ๐Ÿ“… Creato 2023-11-10
107
felladrin/awesome-ai-web-search

Elenco di software che consente la ricerca sul web con l'assistenza dell'IA: https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
โญ 1,521 HTML ๐Ÿ‘ค felladrin User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-11-09
108
sauravpanda/BrowserAI

Esegui LLM locali come llama, deepseek-distill, kokoro e altro ancora nel tuo browser

sauravpanda
โญ 1,451 TypeScript ๐Ÿ‘ค sauravpanda User ๐Ÿ• Aggiornato 2026-07-21 ๐Ÿ“… Creato 2025-01-08
109
Nutlope/pdftochat

Chatta con i tuoi PDF con l'IA

Nutlope
โญ 1,444 TypeScript ๐Ÿ‘ค Nutlope User ๐Ÿ• Aggiornato 2026-10-23 ๐Ÿ“… Creato 2023-09-09
110
taielab/awesome-hacking-lists

Una raccolta curata di strumenti di penetration testing di prim'ordine e utility di produttivitร  in piรน domini. Unisciti a noi per esplorare, contribuire e migliorare il tuo toolkit di hacking!

taielab
โญ 1,404 ๐Ÿ‘ค taielab User ๐Ÿ• Aggiornato 2025-12-04 ๐Ÿ“… Creato 2020-06-12
โญ 1,368 ๐Ÿ‘ค meituan-longcat Organization ๐Ÿ• Aggiornato 2026-06-23 ๐Ÿ“… Creato 2025-08-30
112
lean-dojo/LeanCopilot

LLM come copiloti per la dimostrazione di teoremi in Lean

lean-dojo
โญ 1,347 C++ ๐Ÿ‘ค lean-dojo Organization ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

๐Ÿ“ฐ Articoli e blog imperdibili su Speculative Decoding โšก๏ธ

hemingkx
โญ 1,309 ๐Ÿ‘ค hemingkx User ๐Ÿ• Aggiornato 2026-06-27 ๐Ÿ“… Creato 2023-09-20
114
aigrantsindia/aigrantsindia

Ottieni chiavi API per gli hackathon di IA

aigrantsindia
โญ 1,287 ๐Ÿ‘ค aigrantsindia User ๐Ÿ• Aggiornato 2025-06-09 ๐Ÿ“… Creato 2025-02-22
115
wici-ai/inferssd

Esegui modelli piรน grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.

wici-ai
โญ 1,277 C++ ๐Ÿ‘ค wici-ai Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-10-22
116
patchy631/time-to-first-token

Una roadmap di 10 settimane, dedicando 30 minuti al giorno, per il serving e lโ€™ottimizzazione dellโ€™inferenza degli LLM. vLLM, SGLang, quantizzazione, decodifica speculativa e benchmarking.

patchy631
โญ 1,245 HTML ๐Ÿ‘ค patchy631 User ๐Ÿ• Aggiornato 2026-08-14 ๐Ÿ“… Creato 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
โญ 1,231 Jupyter Notebook ๐Ÿ‘ค Azure Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2017-08-18
118
eagle-hq/EAGLE-4

Codice ufficiale di inferenza di EAGLE-4

eagle-hq
โญ 1,220 Python ๐Ÿ‘ค eagle-hq Organization ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2026-10-20
119
jmaczan/tiny-vllm

Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM

jmaczan
โญ 1,207 C++ ๐Ÿ‘ค jmaczan User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2026-02-09
120
StayLameBro/backburner

Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura piรน rapida dei prompt e piรน contesto tramite un cavo USB-C

StayLameBro
โญ 1,195 Python ๐Ÿ‘ค StayLameBro User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2026-10-01
121
Tencent/hpc-ops

Libreria di Operatori per l'Inferenza LLM ad Alte Prestazioni

Tencent
โญ 1,193 C++ ๐Ÿ‘ค Tencent Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-01-20
122
character-ai/prompt-poet

Semplifica e ottimizza la progettazione dei prompt sia per gli sviluppatori che per gli utenti non tecnici con un approccio low-code.

character-ai
โญ 1,160 Python ๐Ÿ‘ค character-ai Organization ๐Ÿ• Aggiornato 2026-02-12 ๐Ÿ“… Creato 2024-07-17
123
microsoft/onnxruntime-genai

IA generativa con ONNX Runtime

microsoft
โญ 1,158 C++ ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-11-13
โญ 1,090 Python ๐Ÿ‘ค thinking-machines-lab Organization ๐Ÿ• Aggiornato 2025-11-04 ๐Ÿ“… Creato 2025-09-10
125
zhuzilin/ring-flash-attention

Implementazione dell'attenzione ad anello con flash attention

zhuzilin
โญ 1,054 Python ๐Ÿ‘ค zhuzilin User ๐Ÿ• Aggiornato 2025-09-10 ๐Ÿ“… Creato 2024-02-21
126
jondurbin/airoboros

Implementazione personalizzabile del paper self-instruct.

jondurbin
โญ 1,050 Python ๐Ÿ‘ค jondurbin User ๐Ÿ• Aggiornato 2024-03-07 ๐Ÿ“… Creato 2023-04-29
โญ 1,041 Python ๐Ÿ‘ค huggingface Organization ๐Ÿ• Aggiornato 2026-09-24 ๐Ÿ“… Creato 2023-10-06
128
tspeterkim/flash-attention-minimal

Flash Attention in ~100 righe di CUDA (solo forward pass)

tspeterkim
โญ 1,036 Cuda ๐Ÿ‘ค tspeterkim User ๐Ÿ• Aggiornato 2024-12-30 ๐Ÿ“… Creato 2024-03-07
โญ 1,033 CSS ๐Ÿ‘ค susiai Organization ๐Ÿ• Aggiornato 2026-01-20 ๐Ÿ“… Creato 2017-11-25
โญ 1,027 Python ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2024-01-04 ๐Ÿ“… Creato 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine รจ un semplice middleware per aggiornare i pesi del modello nei motori di inferenza LLM

MoonshotAI
โญ 1,026 Python ๐Ÿ‘ค MoonshotAI Organization ๐Ÿ• Aggiornato 2026-10-22 ๐Ÿ“… Creato 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve รจ un framework Python open-source ispirato dalla ricerca pionieristica sugli agenti di codifica autonomi come AlphaEvolve di DeepMind.

shyamsaktawat
โญ 1,021 Python ๐Ÿ‘ค shyamsaktawat User ๐Ÿ• Aggiornato 2025-05-31 ๐Ÿ“… Creato 2025-05-17
134
tingaicompass/AI-Compass

"AI-Compass" guiderร  la comunitร  nella navigazione dell'oceano delle tecnologie AI. Che tu sia un principiante o uno sviluppatore avanzato, troverai qui percorsi verso tutte le principali direzioni dell'IA. L'obiettivo รจ aiutare gli sviluppatori a comprendere in modo sistematico i concetti fondamentali dell'IA, le tecnologie di punta, le tendenze all'avanguardia e, attraverso la pratica, a padroneggiare l'intero processo dalla teoria alla realizzazione.

tingaicompass
โญ 1,000 Python ๐Ÿ‘ค tingaicompass User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2025-05-27
135
likejazz/llama3.np

llama3.np รจ un'implementazione pura NumPy per il modello Llama 3.

likejazz
โญ 991 Python ๐Ÿ‘ค likejazz User ๐Ÿ• Aggiornato 2025-04-27 ๐Ÿ“… Creato 2024-05-13
136
convergence-ai/proxy-lite

Una versione mini, con pesi aperti, del nostro assistente Proxy.

convergence-ai
โญ 989 Python ๐Ÿ‘ค convergence-ai Organization ๐Ÿ• Aggiornato 2025-02-26 ๐Ÿ“… Creato 2025-02-10
137
feder-cr/jev

jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sรฌ/no, scelte e punteggi con probabilitร , eseguiti sulla CPU del tuo laptop.

feder-cr
โญ 970 C++ ๐Ÿ‘ค feder-cr User ๐Ÿ• Aggiornato 2026-10-18 ๐Ÿ“… Creato 2024-08-15
138
dalisoft/awesome-hosting

Elenco di hosting fantastico ordinato per prezzo del piano minimo

dalisoft
โญ 970 ๐Ÿ‘ค dalisoft User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2019-05-31
139
microsoft/T-MAC

Inferenza LLM a basso bit su CPU/NPU con tabella di ricerca

microsoft
โญ 964 C++ ๐Ÿ‘ค microsoft Organization ๐Ÿ• Aggiornato 2025-06-05 ๐Ÿ“… Creato 2024-02-02
140
triton-inference-server/tensorrtllm_backend

Il backend Triton TensorRT-LLM

triton-inference-server
โญ 944 ๐Ÿ‘ค triton-inference-server Organization ๐Ÿ• Aggiornato 2026-11-02 ๐Ÿ“… Creato 2023-09-12
141
foldl/chatllm.cpp

Implementazione pura in C++ di diversi modelli per chattare in tempo reale sul tuo computer (CPU e GPU)

foldl
โญ 942 C++ ๐Ÿ‘ค foldl User ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2023-12-02
142
guidance-ai/llguidance

Output strutturati superveloci

guidance-ai
โญ 917 Rust ๐Ÿ‘ค guidance-ai Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet e DisaggregatedSet: API Kubernetes per il serving di IA distribuito e disaggregato

kubernetes-sigs
โญ 909 Go ๐Ÿ‘ค kubernetes-sigs Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2024-02-22
144
zhihu/ZhiLight

Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.

zhihu
โญ 906 C++ ๐Ÿ‘ค zhihu Organization ๐Ÿ• Aggiornato 2026-03-18 ๐Ÿ“… Creato 2024-12-06
145
harleyszhang/llm_note

Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.

harleyszhang
โญ 897 Python ๐Ÿ‘ค harleyszhang User ๐Ÿ• Aggiornato 2026-08-19 ๐Ÿ“… Creato 2024-09-18
โญ 891 Python ๐Ÿ‘ค ByteDance-Seed Organization ๐Ÿ• Aggiornato 2025-09-15 ๐Ÿ“… Creato 2025-08-08
148
YassKhazzan/openperplex_backend_os

openperplex รจ un motore di ricerca AI open source

YassKhazzan
โญ 889 Python ๐Ÿ‘ค YassKhazzan User ๐Ÿ• Aggiornato 2024-08-04 ๐Ÿ“… Creato 2024-08-03
149
HazyResearch/Megakernels

Kernel, della varietร  mega :)

HazyResearch
โญ 885 Python ๐Ÿ‘ค HazyResearch Organization ๐Ÿ• Aggiornato 2026-05-26 ๐Ÿ“… Creato 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift รจ una libreria semplice e leggibile che consente di interagire facilmente con modelli linguistici di grandi dimensioni in locale per macOS, iOS, watchOS, tvOS e visionOS.

eastriverlee
โญ 883 Swift ๐Ÿ‘ค eastriverlee User ๐Ÿ• Aggiornato 2026-07-19 ๐Ÿ“… Creato 2023-12-02