#llm-inference Repository
202 repository in totale
Una libreria di inferenza veloce per eseguire LLM localmente su moderne GPU di classe consumer
Condivisione di conoscenze AI Infra e pratica di codice: PyTorch, vLLM/SGLang, introduzione al framework slime/vime โก๏ธ, accelerazione delle prestazioni ๐, basi dei modelli grandi ๐ง , software e hardware AI ๐ง, ecc.
Flussi di lavoro di riferimento per l'IA generativa ottimizzati per un'architettura di microservizi e un'infrastruttura accelerate.
Rapid-MLX รจ un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte piรน veloce di MLX (mlx-lm) di Apple con gli stessi pesi.
Una raccolta di metodi scientifici, processi, algoritmi e sistemi per costruire storie e modelli.
Il tuo cheat sheet per il colloquio di ingegneria IA โ Domande e risposte.
Inferenza LLM distribuita. Collega i dispositivi domestici in un potente cluster per accelerare l'inferenza LLM. Piรน dispositivi significano inferenza piรน veloce.
Esegui GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) sulle tue GPU โ a partire da 8 GB di VRAM, con supporto per NVIDIA e AMD, unโunica dashboard e unโAPI compatibile con OpenAI e Anthropic.
Aggiungi un nodo di analisi in tempo reale al tuo database operativo. Spice รจ un motore portatile e accelerato per query SQL, ricerca e inferenza LLM scritto in Rust per applicazioni e agenti di IA basati sui dati.
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150kโ262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
Il modo piรน veloce per eseguire Qwen 3.8 Flash Next, Qwen 3.8 27B e Ternary Bonsai 2 27B su un Mac: 125 token/s in OpenCode su un M5 Max e un modello 27B sui Mac con 16 GB. Decodifica speculativa MTP nativa su Apple Silicon, accurata a qualsiasi temperatura. Server locale compatibile con OpenAI e Anthropic.
Il sistema di riferimento di vLLM per il deployment su scala cluster nativo K8S con ottimizzazione delle prestazioni guidata dalla community
Medusa: Un framework semplice per accelerare la generazione di LLM con piรน teste di decodifica
Un agente di programmazione open source per il tuo terminale, costruito da un collettivo comunitario anzichรฉ da un'azienda. Porta il tuo modello, tieni il codice sulla tua macchina e non devi nulla a nessuno.
Implementazione ufficiale di EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) e EAGLE-3 (NeurIPS'25).
Esempi di codice e risorse per DBRX, un modello linguistico di grandi dimensioni sviluppato da Databricks
La libreria di inferenza del modello di grandi dimensioni Jito presenta alta efficienza, bassi requisiti di configurazione, buon supporto per il cinese e portabilitร .
Corso ufficiale SGLang x Datawhale sullโinferenza degli LLM: comprendi lโinferenza, costruisci un mini-SGLang da zero, poi leggi il vero codice sorgente di SGLang e invia la tua prima PR. Disponibile in inglese e cinese.
Codice, laboratori e risorse per O'Reilly AI Systems Performance Engineering: ottimizzazione GPU, addestramento distribuito, scalabilitร dell'inferenza e ottimizzazione full-stack.
Il framework di agenti dell'ecosistema PHP per costruire applicazioni basate sull'IA pronte per la produzione. Collega componenti (LLM, strumenti, database vettoriali, memoria) ad agenti che interagiscono con i tuoi dati e la tua interfaccia utente.
La tua guida rapida ai colloqui di ingegneria dellโIA nelle principali aziende di IA: domande e risposte.
Cache KV elastica virtualizzata per la condivisione dinamica della GPU e oltre
App AI locale e motore di inferenza per agenti. Esegui LLM a pesi aperti localmente: privato, 100% offline sul tuo computer. Unisciti al nostro Discord: https://discord.com/invite/8wGSsvmg4V
Esegui qualsiasi Llama 2 localmente con interfaccia grafica Gradio su GPU o CPU da qualsiasi luogo (Linux/Windows/Mac). Usa `llama2-wrapper` come tuo backend Llama2 locale per agenti/app generativi.
GPU NVIDIA multiple o Apple Silicon per l'inferenza di Large Language Model?
Una libreria ottimizzata per la quantizzazione e l'inferenza per l'esecuzione locale di LLM su GPU consumer moderne
Valuta e migliora le tue distribuzioni LLM per esigenze di inferenza nel mondo reale
Libreria di inferenza AI on-device per React Native, ad alte prestazioni e orientata alla privacy, basata sul runtime ExecuTorch di PyTorch
Il modo piรน semplice e veloce per eseguire LLM personalizzati e ottimizzati localmente o sull'edge