Git Stars Git Stars

#inference-server Repository

Scopri 13 repository GitHub open source attivi contrassegnati con #inference-server, che raccolgono un totale di 53,014 stelle (con una media di 4,078 stelle per progetto). Il progetto leader di questo argomento è jundot/omlx, con 23,831 stelle.

13
Totale Repository
53,014
Totale stelle
4,078
Media Stelle/Repo
Linguaggi di programmazione: Python Rust C++

13 repository in totale

1
jundot/omlx

Server di inferenza LLM con batching continuo e cache SSD per Apple Silicon — gestito dalla barra dei menu di macOS

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Aggiornato 2026-11-22 📅 Creato 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ Motore di inferenza WebGPU in Rust puro — Compatibile con le API OpenAI, nativo GGUF, funziona su qualsiasi GPU. Niente Python. Niente llama.cpp. Singolo binario.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Aggiornato 2026-11-12 📅 Creato 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX è un server di inferenza LLM open source (Apache 2.0) per Apple Silicon, compatibile con OpenAI e Anthropic, basato su MLX e progettato per offrire chiamate agli strumenti affidabili agli agenti di programmazione. Fino a 4 volte più veloce di MLX (mlx-lm) di Apple con gli stessi pesi.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Aggiornato 2026-11-22 📅 Creato 2026-02-25
4
superlinked/sie

Server di inferenza open source e cluster di produzione per tutti i modelli di cui il tuo agente ha bisogno.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2023-11-07
5
containers/ramalama

RamaLama è uno strumento di sviluppo open-source che semplifica la distribuzione locale di modelli AI da qualsiasi origine e ne facilita l'utilizzo per l'inferenza in produzione, il tutto attraverso il familiare linguaggio dei container.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Aggiornato 2026-11-14 📅 Creato 2024-07-24
6
roboflow/inference

Trasforma qualsiasi computer o dispositivo edge in un centro di comando per i tuoi progetti di computer vision.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2023-07-31
7
gpt-omni/mini-omni2

Verso GPT-4o open-source con capacità Vision, Speech e Duplex.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Aggiornato 2025-01-16 📅 Creato 2024-10-14
8
LlamaEdge/LlamaEdge

Il modo più semplice e veloce per eseguire LLM personalizzati e ottimizzati localmente o sull'edge

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Aggiornato 2026-02-08 📅 Creato 2023-10-09
9
waybarrios/vllm-mlx

Server di inferenza LLM ad alte prestazioni compatibile con OpenAI e Anthropic per Apple Silicon. MLX nativo, batching continuo, modelli multimodali, chiamate di strumenti MCP e supporto per Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Aggiornato 2026-11-07 📅 Creato 2025-12-06
10
ollaya-dev/ollaya

Server API compatibile con Jev per modelli decisionali aperti. Ollama per modelli decisionali: scarica ed esegui localmente 29 famiglie di modelli (Laya, pplx-decider, Clef, Winnow, coba...) oppure ospitali autonomamente dietro /v1/systemone. L'SDK TypeSafe funziona senza modifiche: imposta l'URL di base e scegli un modello aperto. CLI, app desktop, Docker, server MCP e benchmark pubblico.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Aggiornato 2026-11-21 📅 Creato 2026-09-23
11
basetenlabs/truss

Il modo più semplice per servire modelli AI/ML in produzione

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Aggiornato 2026-11-20 📅 Creato 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Aggiornato 2026-09-27 📅 Creato 2026-03-20
13
pipeless-ai/pipeless

Un framework open-source di computer vision per creare e distribuire app in pochi minuti

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Aggiornato 2024-05-08 📅 Creato 2023-07-21

Domande frequenti

1

Qual è il repository #inference-server più popolare su GitHub?

Il progetto open source #inference-server più alto in classifica su GitHub è jundot/omlx, con 23,831 stelle. Server di inferenza LLM con batching continuo e cache SSD per Apple Silicon — gestito dalla barra dei menu di macOS

2

Quali linguaggi di programmazione sono più utilizzati nei repository #inference-server?

Tra i progetti #inference-server più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Rust, C++.

3

Come viene calcolata la classifica dei repository #inference-server?

Monitoriamo 13 repository open source attivi contrassegnati con #inference-server (500+ stelle), per un totale di 53,014 stelle e una media di 4,078 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.