#llm-inference Repository
202 repository in totale
Una API unificata, leggera e a bassa dipendenza per utilizzare tutti i comuni modelli di riordino e cross-encoder.
Un motore di inferenza ad alte prestazioni per modelli LLM, VLM e DiT, ottimizzato per diversi acceleratori di IA. ร ospitato dalla OpenAtom Foundation.
Configurazioni open source di computer per lโIA, dai desktop con 2 GPU ai server con 8 GPU: CAD, distinta base, BIOS e guide allโassemblaggio. Acquista il kit del case con riser PCIe oppure chiedici una verifica gratuita della compatibilitร .
[ICML 2023] SmoothQuant: Quantizzazione Post-Training Accurata ed Efficiente per Grandi Modelli Linguistici
Home di "How To Scale Your Model", un breve manuale in stile blog sulla scalabilitร di LLM su TPU
Elenco di software che consente la ricerca sul web con l'assistenza dell'IA: https://hf.co/spaces/felladrin/awesome-ai-web-search
Esegui LLM locali come llama, deepseek-distill, kokoro e altro ancora nel tuo browser
Una raccolta curata di strumenti di penetration testing di prim'ordine e utility di produttivitร in piรน domini. Unisciti a noi per esplorare, contribuire e migliorare il tuo toolkit di hacking!
๐ฐ Articoli e blog imperdibili su Speculative Decoding โก๏ธ
Esegui modelli piรน grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.
Una roadmap di 10 settimane, dedicando 30 minuti al giorno, per il serving e lโottimizzazione dellโinferenza degli LLM. vLLM, SGLang, quantizzazione, decodifica speculativa e benchmarking.
Costruisci il tuo motore di inferenza LLM ad alte prestazioni in C++ e CUDA - una versione piรน piccola di vLLM
Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura piรน rapida dei prompt e piรน contesto tramite un cavo USB-C
Semplifica e ottimizza la progettazione dei prompt sia per gli sviluppatori che per gli utenti non tecnici con un approccio low-code.
Checkpoint-engine รจ un semplice middleware per aggiornare i pesi del modello nei motori di inferenza LLM
OpenAlpha_Evolve รจ un framework Python open-source ispirato dalla ricerca pionieristica sugli agenti di codifica autonomi come AlphaEvolve di DeepMind.
"AI-Compass" guiderร la comunitร nella navigazione dell'oceano delle tecnologie AI. Che tu sia un principiante o uno sviluppatore avanzato, troverai qui percorsi verso tutte le principali direzioni dell'IA. L'obiettivo รจ aiutare gli sviluppatori a comprendere in modo sistematico i concetti fondamentali dell'IA, le tecnologie di punta, le tendenze all'avanguardia e, attraverso la pratica, a padroneggiare l'intero processo dalla teoria alla realizzazione.
jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sรฌ/no, scelte e punteggi con probabilitร , eseguiti sulla CPU del tuo laptop.
Implementazione pura in C++ di diversi modelli per chattare in tempo reale sul tuo computer (CPU e GPU)
LeaderWorkerSet e DisaggregatedSet: API Kubernetes per il serving di IA distribuito e disaggregato
Un motore di accelerazione per l'inferenza LLM altamente ottimizzato per Llama e le sue varianti.
Note LLM, inclusi inferenza del modello, struttura del modello transformer e note sull'analisi del codice del framework LLM.
LLM.swift รจ una libreria semplice e leggibile che consente di interagire facilmente con modelli linguistici di grandi dimensioni in locale per macOS, iOS, watchOS, tvOS e visionOS.