#inference-server Repository
Scopri 13 repository GitHub open source attivi contrassegnati con #inference-server, che raccolgono un totale di 53,014 stelle (con una media di 4,078 stelle per progetto). Il progetto leader di questo argomento è jundot/omlx, con 23,831 stelle.
13 repository in totale
Server di inferenza LLM con batching continuo e cache SSD per Apple Silicon — gestito dalla barra dei menu di macOS
⚡ Motore di inferenza WebGPU in Rust puro — Compatibile con le API OpenAI, nativo GGUF, funziona su qualsiasi GPU. Niente Python. Niente llama.cpp. Singolo binario.
Rapid-MLX è un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte più veloce di MLX (mlx-lm) di Apple con gli stessi pesi.
Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.
RamaLama è uno strumento di sviluppo open-source che semplifica la distribuzione locale di modelli AI da qualsiasi origine e ne facilita l'utilizzo per l'inferenza in produzione, il tutto attraverso il familiare linguaggio dei container.
Trasforma qualsiasi computer o dispositivo edge in un centro di comando per i tuoi progetti di computer vision.
Il modo più semplice e veloce per eseguire LLM personalizzati e ottimizzati localmente o sull'edge
Server di inferenza LLM ad alte prestazioni compatibile con OpenAI e Anthropic per Apple Silicon. MLX nativo, batching continuo, modelli multimodali, chiamate di strumenti MCP e supporto per Claude Code.
Server API compatibile con Jev per modelli decisionali aperti. Ollama per modelli decisionali: scarica ed esegui localmente 29 famiglie di modelli (Laya, pplx-decider, Clef, Winnow, coba...) oppure ospitali autonomamente dietro /v1/systemone. L'SDK TypeSafe funziona senza modifiche: imposta l'URL di base e scegli un modello aperto. CLI, app desktop, Docker, server MCP e benchmark pubblico.
Un framework open-source di computer vision per creare e distribuire app in pochi minuti
Domande frequenti
Qual è il repository #inference-server più popolare su GitHub?
Il progetto open source #inference-server più alto in classifica su GitHub è jundot/omlx, con 23,831 stelle. Server di inferenza LLM con batching continuo e cache SSD per Apple Silicon — gestito dalla barra dei menu di macOS
Quali linguaggi di programmazione sono più utilizzati nei repository #inference-server?
Tra i progetti #inference-server più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Rust, C++.
Come viene calcolata la classifica dei repository #inference-server?
Monitoriamo 13 repository open source attivi contrassegnati con #inference-server (500+ stelle), per un totale di 53,014 stelle e una media di 4,078 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.