#inference-optimization Repository
Scopri 41 repository GitHub open source attivi contrassegnati con #inference-optimization, che raccolgono un totale di 86,309 stelle (con una media di 2,105 stelle per progetto). Il progetto leader di questo argomento è lllyasviel/stable-diffusion-webui-forge, con 12,902 stelle.
41 repository in totale
slime è un framework per l’addestramento di LLM pensato per scalare l’apprendimento per rinforzo.
Strumenti di infrastruttura AI testati in produzione per lo sviluppo efficiente di AGI e l'innovazione guidata dalla comunità
[EMNLP'23, ACL'24] Per accelerare l'inferenza dei LLM e migliorare la percezione delle informazioni chiave da parte dei LLM, comprimiamo il prompt e la KV-Cache, ottenendo fino a 20 volte la compressione con una minima perdita di prestazioni.
Qwen3.8 è una serie di modelli linguistici di grandi dimensioni sviluppata dal team Qwen di Alibaba Group.
Esegui rapidamente modelli Qwen di grandi dimensioni sulle GPU che possiedi davvero. Qwen3.8-27B su una singola scheda da 24 GB con vLLM: 127 tok/s per un singolo utente (381 quando la risposta cita il prompt), circa 1.035 tok/s con 64 richieste simultanee e un contesto di 150k–262k. Patch per vLLM, pipeline di requantizzazione e benchmark.
Operatori di inferenza per reti neurali a virgola mobile ad alta efficienza per dispositivi mobili, server e Web
MiMo: Liberare il potenziale di ragionamento dei modelli linguistici – dal pretraining al posttraining
Elenco di articoli sui sistemi di modelli linguistici di grandi dimensioni (LLM)
Questo repository contiene domande di intervista LLM (Large Language Model) poste in aziende leader come Google, Nvidia, Meta, Microsoft e aziende Fortune 500.
https://wavespeed.ai/ [WIP] La soluzione di ottimizzazione dell'inferenza all-in-one per ComfyUI, universale, flessibile e veloce.
Un tutorial che mostra come configurare l'API di Object Detection di TensorFlow su Raspberry Pi
Ricette per scalare il calcolo in fase di inferenza di modelli aperti
Rappresentazione e abbassamento dei riferimenti dei modelli ONNX nell'infrastruttura del compilatore MLIR
Un elenco di alcuni lavori recenti sulla compressione dei token per Vit e VLM
Modello di base video a livello industriale per la generazione unificata da testo a video (T2V) e da immagine a video (I2V).
BladeDISC è un progetto di compilatore a forma dinamica end-to-end per carichi di lavoro di machine learning.
Omni SenseVoice: Riconoscimento vocale ad alta velocità con timestamp delle parole 🗣️🎯
Un'estensione per stable-diffusion-webui per caricare modelli lycoris.
Algoritmi e sistemi LLM con PyTorch, Triton e CUDA, con un approccio pratico. «Tutorial sugli algoritmi e i sistemi LLM»: architetture e addestramento dei modelli, post-addestramento, accelerazione dell’inferenza, ottimizzazione delle prestazioni e degli operatori; include esercizi in Notebook, spiegazioni delle risposte, test ed esperimenti.
Cline versione localizzata in cinese, Cline è un assistente di programmazione autonomo che viene eseguito nel tuo IDE e che, con il tuo permesso, può creare/modificare file, eseguire comandi, utilizzare il browser e altre funzioni.
Krasis è un runtime LLM ibrido che si concentra sull'esecuzione efficiente di modelli più grandi su hardware consumer con VRAM limitata
Impara l’ingegneria dell’inferenza degli LLM passo dopo passo: dalla cache KV, PagedAttention e il batching continuo fino a vLLM, SGLang e alle GPU.
[ICLR 2024 Spotlight] Implementazione ufficiale di ScaleCrafter per la generazione visiva a risoluzione più elevata al momento dell'inferenza.
Domande frequenti
Qual è il repository #inference-optimization più popolare su GitHub?
Il progetto open source #inference-optimization più alto in classifica su GitHub è lllyasviel/stable-diffusion-webui-forge, con 12,902 stelle.
Quali linguaggi di programmazione sono più utilizzati nei repository #inference-optimization?
Tra i progetti #inference-optimization più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, C++, C.
Come viene calcolata la classifica dei repository #inference-optimization?
Monitoriamo 41 repository open source attivi contrassegnati con #inference-optimization (500+ stelle), per un totale di 86,309 stelle e una media di 2,105 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.