#llm-inference Repositories
Entdecke 202 aktive Open-Source-GitHub-Repositories, die mit #llm-inference getaggt sind und insgesamt 1,046,424 Sterne gesammelt haben (durchschnittlich 5,180 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist deepseek-ai/DeepSeek-V3 mit 104,417 Sternen.
Insgesamt 202 Repositories
GPT4All: Lokale LLMs auf jedem Gerät ausführen. Open-Source und für kommerzielle Nutzung verfügbar.
Open-Source-Desktop-App für lokale LLMs. Text, Vision, Tool-Calling, OpenAI/Anthropic-kompatible API. 100 % privat.
Ray ist ein AI-Compute-Engine. Ray besteht aus einem zentralen verteilten Runtime und einem Satz von AI-Bibliotheken zur Beschleunigung von ML-Workloads.
Qwen3 ist die Serie von großen Sprachmodellen, die vom Qwen-Team von Alibaba Cloud entwickelt wurde.
Eine Galerie, die On-Device-ML/GenAI-Anwendungsfälle präsentiert und es den Benutzern ermöglicht, Modelle lokal auszuprobieren und zu verwenden.
Dieses Projekt zielt darauf ab, die technischen Prinzipien und praktischen Erfahrungen im Zusammenhang mit großen Modellen zu teilen (Industrialisierung großer Modelle, praktische Anwendung großer Modelle).
Ein flexibles Framework zum Erleben heterogener LLM-Inferenz-/Fine-Tune-Optimierungen
Über 20 leistungsstarke LLMs mit Anleitungen zum Vortrainieren, Finetuning und Bereitstellen in großem Maßstab.
Führen Sie beliebige Open-Source-LLMs wie DeepSeek und Llama als OpenAI-kompatiblen API-Endpunkt in der Cloud aus.
Ein Kimi K3-Modell mit 2,78 Billionen Parametern, das Inferenz auf einer einzelnen CPU mit 8,24 GB RAM ausführt. Portables C99: kein BLAS, kein Framework, keine GPU.
OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz.
Hochgeschwindigkeits-Large-Language-Model-Bereitstellung für lokale Bereitstellung
Der einfachste Weg, AI-Apps und -Modelle zu hosten - Erstellen Sie Model Inference APIs, Job-Warteschlangen, LLM-Apps, Multi-Model-Pipelines und mehr!
《AI-Infrastruktur tiefgehend verstehen: Quantitative Analyse und Systemdesign》 (von Li Bojie), ein Open-Source-Buchmanuskript: Ausgehend von Hardwarebeschränkungen und Modellarchitekturen wird das Design von LLM-Inferenz- und Trainingssystemen quantitativ hergeleitet. Enthält den vollständigen Buchtext, ein PDF, zugehörige Berechnungstools und Experimente.
LMDeploy ist ein Toolkit zum Komprimieren, Bereitstellen und Bedienen von LLMs.
Plano ist ein KI-nativer Proxy-Server und eine Datenebene für agentische Anwendungen. Intelligentes LLM-Routing, Beobachtbarkeit, Agentenorchestrierung und Schutzmechanismen, damit Sie sich auf die Kernlogik Ihrer Agenten konzentrieren können.
DeepSeek-Coder-V2: Das Brechen der Barriere von Closed-Source-Modellen in der Code-Intelligenz
Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.
Lemonade hilft Benutzern, lokale KI-Apps zu entdecken und auszuführen, indem es optimierte LLMs direkt von ihren eigenen GPUs und NPUs bereitstellt. Treten Sie unserem Discord bei: https://discord.gg/5xXzkMu8Zk
Standardisierte verteilte generative und prädiktive KI-Inferenzplattform für skalierbare, Multi-Framework-Bereitstellung auf Kubernetes
Einfache und effiziente PyTorch-native Transformer-Textgenerierung in <1000 LOC Python.
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.
⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
Allgemeine Plug-and-Play-Inferenzbibliothek für rekursive Sprachmodelle (RLMs), die verschiedene Sandboxes unterstützt.
Eine kompakte Implementierung von SGLang, entwickelt, um die Komplexität moderner LLM-Serving-Systeme zu entmystifizieren.
📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉
Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.
fastllm ist eine hochperformante Inferenzbibliothek für große Sprachmodelle, die keine Backend-Abhängigkeiten hat und Ihnen hilft, Inferenz auf den meisten Geräten effizient auszuführen.
DeepSeek-V2: Ein starkes, wirtschaftliches und effizientes Mixture-of-Experts Sprachmodell
Eko (Eko keeps operating) - Erstellen Sie produktionsreife agentenbasierte Workflows mit natürlicher Sprache - eko.fellou.ai
RuVector bietet leistungsstarke Echtzeit-Entscheidungsfindung und Agentengedächtnis, selbstlernende KI sowie eine in Rust entwickelte Vektor-GNN-Datenbank.
Häufig gestellte Fragen
Welches ist das beliebteste #llm-inference-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#llm-inference-Projekt auf GitHub ist deepseek-ai/DeepSeek-V3 mit 104,417 Sternen.
Welche Programmiersprachen werden in #llm-inference-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #llm-inference-Projekten auf GitHub sind Python, C++, Rust, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #llm-inference-Repositories berechnet?
Wir verfolgen 202 aktive Open-Source-Repositories, die mit #llm-inference getaggt sind (500+ Sterne), mit insgesamt 1,046,424 Sternen und durchschnittlich 5,180 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.