#inference Repositories
Entdecke 144 aktive Open-Source-GitHub-Repositories, die mit #inference getaggt sind und insgesamt 870,238 Sterne gesammelt haben (durchschnittlich 6,043 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist vllm-project/vllm mit 97,302 Sternen.
Insgesamt 144 Repositories
Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Ultralytics YOLOv5 in PyTorch für Objekterkennung, Instanzsegmentierung, Klassifizierung, Training und Export.
DeepSpeed ist eine Deep-Learning-Optimierungsbibliothek, die verteiltes Training und Inferenz einfach, effizient und effektiv macht.
SGLang ist ein Hochleistungs-Serving-Framework für große Sprachmodelle und multimodale Modelle.
Plattformübergreifende, anpassbare ML-Lösungen für Live- und Streaming-Medien.
ncnn ist ein Hochleistungs-Inferenz-Framework für neuronale Netze, optimiert für mobile Plattformen
FreeToken bringt Modellbereitstellung auf Rechenzentrumsniveau auf Ihren Desktop. Führen Sie riesige Modelle lokal, schnell und effizient aus.
🎨 Die umfassende Mustererkennungsbibliothek für TypeScript mit intelligenter Typinferenz.
NVIDIA® TensorRT™ ist ein SDK für hochleistungsfähige Deep-Learning-Inferenz auf NVIDIA-GPUs. Dieses Repository enthält die Open-Source-Komponenten von TensorRT.
OpenVINO™ ist ein Open-Source-Toolkit zur Optimierung und Bereitstellung von KI-Inferenz.
Der Triton Inference Server bietet eine optimierte Cloud- und Edge-Inferenz-Lösung.
Beispiel-📓 Jupyter-Notebooks, die zeigen, wie man Machine-Learning-Modelle mit 🧠 Amazon SageMaker erstellt, trainiert und bereitstellt.
PyTorch-Implementierung von YOLOv3, YOLOv3-SPP und YOLOv3-tiny für Echtzeit-Objekterkennung mit Training, Validierung, Inferenz und Export in verschiedene Formate.
Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.
Qwen, Gemma oder jedes offene agentische LLM/VLM ganz einfach feinabstimmen (SFT/RL), evaluieren und bereitstellen!
Hello AI World: Leitfaden zum Bereitstellen von Deep-Learning-Inferenznetzwerken und Deep-Vision-Primitiven mit TensorRT und NVIDIA Jetson.
Native MLX-Laufzeitumgebung für typisierte Entscheidungsmodelle von Laya – kurze Entscheidungen in 7–14 ms auf einem M3 Max. Keine Textgenerierung, kein PyTorch und keine Cloud-API.
Mooncake ist die Serving-Plattform für Kimi, einen führenden LLM-Service, der von Moonshot AI bereitgestellt wird.
Eine offene, programmierbare Entscheidungsebene für Modelle und Rechenleistung.
Adversarial Robustness Toolbox (ART) - Python-Bibliothek für Machine-Learning-Sicherheit - Evasion, Poisoning, Extraction, Inference - Rote und Blaue Teams
Ein GPU-Cluster-Manager für hochleistungsfähiges KI-Modell-Serving (vLLM, SGLang) und bedarfsgesteuerte, per SSH zugängliche GPU-Instanzen.
Superduper: End-to-End-Framework zum Erstellen benutzerdefinierter KI-Anwendungen und -Agenten.
cube studio Open-Source Cloud-Native One-Stop Machine Learning/Deep Learning/Large Model AI Platform, MLOps Algorithmus-Link Ganzprozess, Rechenleistung-Leihplattform, Notebook Online-Entwicklung, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Machine-Multi-GPU-verteiltes Training, Hyperparameter-Suche, Inferenzdienst VGPU-Virtualisierung, Edge Computing, Annotationsplattform-Automatisierte-Annotation, Large Model SFT Fine-Tuning/Reward Model/Reinforcement Learning Training von Deepseek usw., Multi-Machine-Inferenz von Large Models wie vLLM/Ollama/MindSpore, Private Knowledge Base, AI Model Marketplace, Unterstützung für heimische CPU/GPU/NPU Ascend-Ökosystem, Unterstützung für RDMA, Unterstützung für verteilte Frameworks wie PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Ein einheitlicher Inferenz- und Post-Training-Framework für die beschleunigte Videogenerierung.
TNN: Entwickelt vom Tencent Youtu Lab und Guangying Lab, ein einheitliches Deep-Learning-Inferenz-Framework für Mobilgeräte, Desktops und Server. TNN zeichnet sich durch mehrere herausragende Merkmale aus, darunter plattformübergreifende Kompatibilität, hohe Leistung, Modellkomprimierung und Codebereinigung. Basierend auf ncnn und Rapidnet stärkt TNN die Unterstützung und Leistungsoptimierung für mobile Geräte weiter und nutzt auch die Vorteile guter Erweiterbarkeit und hoher Leistung aus bestehenden Open-Source-Bemühungen.
Vortrainierte Deep-Learning-Modelle und Demos (hohe Qualität und extrem schnell)
Jedes Modell. Jede Hardware. Keine Kompromisse. Entwickelt mit @ziglang / @openxla / MLIR / @bazelbuild
Open-Source-Bibliothek mit optimierten Deep-Learning-Operationen (Matrixmultiplikation, Faltung und Attention) für CPUs (x64, AArch64, RISC-V) und Intel-GPUs. Wird von PyTorch, TensorFlow, OpenVINO und ONNX Runtime verwendet.
CSGHub ist eine brandneue Open-Source-Plattform zur Verwaltung von LLMs, entwickelt vom OpenCSG-Team. Es bietet sowohl Open-Source- als auch On-Premise/SaaS-Lösungen mit Funktionen, die mit Hugging Face vergleichbar sind. Erhalten Sie die volle Kontrolle über den Lebenszyklus von LLMs, Datensätzen und Agenten, mit Python SDK-Kompatibilität mit Hugging Face. Machen Sie mit! ⭐️
Erstelle Videos auf dem Computer, den du bereits besitzt. FreeVideo führt MiniMax H3 mit nur 8 GB VRAM und 16 GB RAM aus und passt seinen Beschleunigungspfad an deine Hardware an.
Leistungsstarkes Inference- und Deployment-Toolkit für LLMs und VLMs auf Basis von PaddlePaddle
Open-Source-Inferenzserver und Produktionscluster für alle Modelle, die Ihr Agent benötigt.
Beschleunigen Sie Inferenz und Training von 🤗 Transformers, Diffusers, TIMM und Sentence Transformers mit einfach zu bedienenden Hardware-Optimierungswerkzeugen
Gute Projekte für Hochschulabsolventen, Herbstkampagnen, Frühjahrskampagnen und Praktika! Begleitet Sie Schritt für Schritt bei der Implementierung einer Hochleistungs-Deep-Learning-Inferenzbibliothek, die das Schlussfolgern für große Modelle wie Llama2, Unet, YoloV5, Resnet usw. unterstützt. Implementieren Sie Schritt für Schritt eine Hochleistungs-Deep-Learning-Inferenzbibliothek.
Häufig gestellte Fragen
Welches ist das beliebteste #inference-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#inference-Projekt auf GitHub ist vllm-project/vllm mit 97,302 Sternen. Eine hochdurchsatzfähige und speichereffiziente Inferenz- und Serving-Engine für LLMs
Welche Programmiersprachen werden in #inference-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #inference-Projekten auf GitHub sind Python, C++, TypeScript, Jupyter Notebook die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #inference-Repositories berechnet?
Wir verfolgen 144 aktive Open-Source-Repositories, die mit #inference getaggt sind (500+ Sterne), mit insgesamt 870,238 Sternen und durchschnittlich 6,043 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.