Git Stars Git Stars

#inference-server Dépôts

Découvrez 13 dépôts GitHub open source actifs associés à #inference-server, cumulant 53,014 étoiles au total (soit une moyenne de 4,078 étoiles par projet). Le projet en tête de ce thème est jundot/omlx, avec 23,831 étoiles.

13
Total des Dépôts
53,014
Nombre total d'étoiles
4,078
Moyenne d'Étoiles/Dépôt
Langages de programmation: Python Rust C++
1
jundot/omlx

Serveur d'inférence LLM avec batching continu et mise en cache SSD pour Apple Silicon — géré depuis la barre de menu macOS

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Mis à jour 2026-11-22 📅 Créé 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ Moteur d'inférence WebGPU en Rust pur — Compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Mis à jour 2026-11-12 📅 Créé 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX est un serveur d’inférence LLM open source (Apache 2.0) pour Apple Silicon, compatible avec OpenAI et Anthropic, basé sur MLX et axé sur des appels d’outils fiables pour les agents de programmation. Jusqu’à 4 fois plus rapide que MLX (mlx-lm) d’Apple avec les mêmes poids.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Mis à jour 2026-11-22 📅 Créé 2026-02-25
4
superlinked/sie

Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2023-11-07
5
containers/ramalama

RamaLama est un outil de développement open-source qui simplifie la mise à disposition locale de modèles d'IA provenant de n'importe quelle source et facilite leur utilisation pour l'inférence en production, le tout grâce au langage familier des conteneurs.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2024-07-24
6
roboflow/inference

Transformez n'importe quel ordinateur ou appareil edge en un centre de commande pour vos projets de vision par ordinateur.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-07-31
7
gpt-omni/mini-omni2

Vers GPT-4o open-source avec des capacités Vision, Speech et Duplex.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Mis à jour 2025-01-16 📅 Créé 2024-10-14
8
LlamaEdge/LlamaEdge

Le moyen le plus simple et le plus rapide d'exécuter des LLM personnalisés et affinés localement ou en périphérie

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Mis à jour 2026-02-08 📅 Créé 2023-10-09
9
waybarrios/vllm-mlx

Serveur d'inférence LLM haute performance compatible OpenAI et Anthropic pour Apple Silicon. MLX natif, traitement par lots continu, modèles multimodaux, appels d'outils MCP et prise en charge de Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Mis à jour 2026-11-07 📅 Créé 2025-12-06
10
ollaya-dev/ollaya

Serveur API compatible avec Jev pour les modèles de décision ouverts. Ollama pour les modèles de décision : téléchargez et exécutez localement 29 familles de modèles (Laya, pplx-decider, Clef, Winnow, coba...), ou hébergez-les vous-même derrière /v1/systemone. Le SDK TypeSafe fonctionne sans modification : définissez son URL de base et choisissez un modèle ouvert. CLI, application de bureau, Docker, serveur MCP et benchmark public.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-09-23
11
basetenlabs/truss

La façon la plus simple de déployer des modèles IA/ML en production

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Mis à jour 2026-09-27 📅 Créé 2026-03-20
13
pipeless-ai/pipeless

Un framework open-source de vision par ordinateur pour créer et déployer des applications en quelques minutes

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Mis à jour 2024-05-08 📅 Créé 2023-07-21

Foire aux questions

1

Quel est le dépôt #inference-server le plus populaire sur GitHub ?

Le projet #inference-server open source le mieux classé sur GitHub est jundot/omlx, avec 23,831 étoiles. Serveur d'inférence LLM avec batching continu et mise en cache SSD pour Apple Silicon — géré depuis la barre de menu macOS

2

Quels langages de programmation sont les plus utilisés dans les dépôts #inference-server ?

Parmi les projets #inference-server les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Rust, C++.

3

Comment le classement des dépôts #inference-server est-il calculé ?

Nous suivons 13 dépôts open source actifs associés à #inference-server (500+ étoiles), totalisant 53,014 étoiles, avec une moyenne de 4,078 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.