#llm-inference Repository
Scopri 202 repository GitHub open source attivi contrassegnati con #llm-inference, che raccolgono un totale di 1,046,424 stelle (con una media di 5,180 stelle per progetto). Il progetto leader di questo argomento è deepseek-ai/DeepSeek-V3, con 104,417 stelle.
202 repository in totale
GPT4All: Esegui LLM locali su qualsiasi dispositivo. Open-source e disponibile per uso commerciale.
Applicazione desktop open-source per LLM locali. Testo, visione, chiamata di strumenti, API compatibile con OpenAI/Anthropic. 100% privata.
Ray è un motore di calcolo AI. Ray consiste in un runtime distribuito principale e un set di librerie AI per accelerare i carichi di lavoro ML.
Qwen3 è la serie di modelli linguistici di grandi dimensioni sviluppata dal team Qwen di Alibaba Cloud.
Una galleria che presenta casi d'uso ML/GenAI su dispositivo e consente alle persone di provare e utilizzare modelli localmente.
Questo progetto mira a condividere i principi tecnici e le esperienze pratiche relative ai modelli di grandi dimensioni (ingegnerizzazione di grandi modelli, applicazione pratica di grandi modelli).
Un framework flessibile per sperimentare ottimizzazioni di inferenza/fine-tuning di LLM eterogenei
Oltre 20 LLM ad alte prestazioni con ricette per pre-addestrare, mettere a punto e distribuire su larga scala.
Esegui qualsiasi LLM open-source, come DeepSeek e Llama, come endpoint API compatibile con OpenAI nel cloud.
Un modello Kimi K3 da 2,78 trilioni di parametri che esegue l'inferenza su una singola CPU con 8,24 GB di RAM. C99 portatile: niente BLAS, niente framework, niente GPU.
OpenVINO™ è un toolkit open source per l'ottimizzazione e il deployment dell'inferenza AI.
Servizio di modelli linguistici di grandi dimensioni ad alta velocità per l'implementazione locale
Il modo più semplice per servire app e modelli AI - Costruisci API di inferenza del modello, code di lavoro, app LLM, pipeline multi-modello e altro!
《Comprendere a fondo l’infrastruttura dell’IA: analisi quantitativa e progettazione dei sistemi》 (di Li Bojie), un manoscritto di libro open source: partendo dai vincoli hardware e dalle architetture dei modelli, deriva quantitativamente la progettazione dei sistemi di inferenza e addestramento degli LLM. Include il testo completo, il PDF, strumenti di calcolo correlati ed esperimenti.
[ICLR 2024] Modelli Linguistici Efficienti in Streaming con Pozzi di Attenzione
Plano è un server proxy nativo AI e un piano dati per applicazioni agentiche. Routing intelligente LLM, osservabilità, orchestrazione degli agenti e protezioni per permetterti di concentrarti sulla logica principale dei tuoi agenti.
DeepSeek-Coder-V2: Abbattere la barriera dei modelli closed-source nell'intelligenza del codice
Questo è un semplice progetto di tutorial tecnico科普, focalizzato principalmente sulla spiegazione di concetti e principi tecnologici interessanti e all'avanguardia. Ogni articolo si sforza di essere completato in 5 minuti di lettura.
Lemonade aiuta gli utenti a scoprire ed eseguire app AI locali fornendo LLM ottimizzati direttamente dalle loro GPU e NPU. Unisciti al nostro Discord: https://discord.gg/5xXzkMu8Zk
Piattaforma di inferenza AI generativa e predittiva distribuita standardizzata per deployment scalabile e multi-framework su Kubernetes
Generazione di testo Transformer semplice ed efficiente, nativa di Pytorch, in <1000 LOC di Python.
Quantizzazione a 2 bit, kernel e ambiente di esecuzione per dispositivi consumer.
Un gestore di cluster GPU per il serving di modelli AI ad alte prestazioni (vLLM, SGLang) e istanze GPU on-demand accessibili via SSH.
⚡ Motore di inferenza WebGPU in Rust puro — Compatibile con le API OpenAI, nativo GGUF, funziona su qualsiasi GPU. Niente Python. Niente llama.cpp. Singolo binario.
Libreria di inferenza plug-and-play generale per Modelli Linguistici Ricorsivi (RLM), che supporta vari ambienti sandbox.
Un'implementazione compatta di SGLang, progettata per demistificare le complessità dei moderni sistemi di serving LLM.
📚Un elenco curato di Awesome LLM/VLM Inference Papers con codici: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, ecc.🎉
Superduper: Framework end-to-end per la creazione di applicazioni e agenti AI personalizzati.
fastllm è una libreria di inferenza per modelli linguistici di grandi dimensioni ad alte prestazioni, senza dipendenze da backend, che consente di eseguire inferenze in modo efficiente sulla maggior parte dei dispositivi.
DeepSeek-V2: Un modello linguistico Mixture-of-Experts forte, economico ed efficiente
Eko (Eko keeps operating) - Costruisci workflow agentici pronti per la produzione con linguaggio naturale - eko.fellou.ai
RuVector offre processi decisionali e memoria degli agenti ad alte prestazioni in tempo reale, IA autoapprendente e un database GNN vettoriale sviluppato in Rust.
Domande frequenti
Qual è il repository #llm-inference più popolare su GitHub?
Il progetto open source #llm-inference più alto in classifica su GitHub è deepseek-ai/DeepSeek-V3, con 104,417 stelle.
Quali linguaggi di programmazione sono più utilizzati nei repository #llm-inference?
Tra i progetti #llm-inference più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, Rust, Go.
Come viene calcolata la classifica dei repository #llm-inference?
Monitoriamo 202 repository open source attivi contrassegnati con #llm-inference (500+ stelle), per un totale di 1,046,424 stelle e una media di 5,180 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.