#inference Repositories
Insgesamt 144 Repositories
📚 Einführung in die Moderne Statistik - Ein Lehrbuch auf Hochschulniveau, Open Source, mit einem modernen Ansatz, der multivariate Beziehungen und simulationsbasierte Inferenz hervorhebt.
Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.
Eine einheitliche Schnittstelle zum Ausführen von Deep-Learning-Modellen aus mehreren Frameworks
Lerne Machine Learning nicht auswendig. Verstehe es von Grund auf – einschließlich Inferenz, CUDA, Deep Learning, Data Science und Reinforcement Learning.
PyTriton ist eine Flask/FastAPI-ähnliche Schnittstelle, die die Bereitstellung von Triton in Python-Umgebungen vereinfacht.
⚡ Native MLX Swift LLM-Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für 100B+ MoE-Modelle, TurboQuant KV-Cache-Kompression, MACOS + iOS iPhone-App.
Ein Open-Source-Computer-Vision-Framework zum Erstellen und Bereitstellen von Apps in wenigen Minuten
Inferenz-Engine für Machine Learning auf Mikrocontrollern und eingebetteten Geräten
KI-Produktivitätstool – Kostenlos und Open Source, verbessert die Benutzerproduktivität und schützt Privatsphäre und Datensicherheit. Einschließlich, aber nicht beschränkt auf: integrierte lokale exklusive Modelle wie ChatGPT, DeepSeek, Phi, Qwen und andere, intelligente Stapelverarbeitung von Bildern, Videos, Audio usw. mit einem Klick.
Kleines, abhängigkeitsfreies, schnelles Python-Paket zur Erkennung von Binärdateitypen durch Überprüfung der Magic-Number-Signatur
Beispiel-Notebooks für die Arbeit mit SageMaker Studio Lab. Melden Sie sich über den unten stehenden Link für ein Konto an!
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Ein Open-Source-Framework/Compiler für effizientes Deep Learning, geschrieben in Python.
yolort ist ein Laufzeit-Stack für yolov5 auf spezialisierten Beschleunigern wie tensorrt, libtorch, onnxruntime, tvm und ncnn.
Intel® AI Reference Models: Enthält Intel-Optimierungen für das Ausführen von Deep-Learning-Workloads auf Intel® Xeon® Scalable-Prozessoren und Intel® Data Center GPUs
Privacy Meter: Eine Open-Source-Bibliothek zur Überprüfung des Datenschutzes in statistischen Algorithmen und Algorithmen für maschinelles Lernen.
Graph Data Science: eine Abstraktionsschicht in Python zum Erstellen von Wissensgraphen, integriert mit beliebten Graphbibliotheken – über Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow usw.
Ollama für klassische ML-Modelle. AOT-Compiler, der XGBoost, LightGBM, scikit-learn, CatBoost & ONNX-Modelle in nativen C99-Inferenzcode umwandelt. Ein Befehl zum Laden, ein Befehl zum Servieren. 336x schneller als Python-Inferenz.
Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.
Peer-to-Peer-LLM-Inferenz im Browser: Bündle deine Geräte, um große offene Modelle für Chat- und Programmieragenten auszuführen.
Eine leichtgewichtige, tragbare reine C99 ONNX-Inferenz-Engine für eingebettete Geräte mit Hardwarebeschleunigungsunterstützung.
Das Deep Learning Streamer (DL Streamer) Pipeline Framework ist ein Open-Source-Framework für Streaming-Media-Analysen, das auf dem Multimedia-Framework GStreamer* basiert und zur Erstellung komplexer Media-Analyse-Pipelines für die Cloud oder am Edge entwickelt wurde.
Hochleistungsfähige serverlose GPU-Aufgabenorchestrierung – die Scheduling-Schicht hinter wavespeed.ai
Erreichen Sie den Llama3-Inferenzschritt für Schritt, erfassen Sie die Kernkonzepte, meistern Sie die Prozessableitung, implementieren Sie den Code.
Dieses Repository enthält den Code für LipGAN. LipGAN wurde als Teil des Papers mit dem Titel "Towards Automatic Face-to-Face Translation" veröffentlicht.
MMDetection-Modell in TensorRT konvertieren, Unterstützung für FP16, INT8, Batch-Input, dynamische Form usw.
sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD
Python-Bibliothek für YOLO-Kleinstobjekterkennung und Instanzsegmentierung
Lokale Inferenz für Diffusions-Sprachmodelle (LLaDA, Dream), in Mojo geschrieben
🏗️ Passen Sie Open-Source-LLMs einfach an, erstellen und stellen Sie sie bereit!
Führen Sie Ihre Deep-Learning-Workloads auf Kubernetes einfacher und effizienter aus.
Triton Model Analyzer ist ein CLI-Tool, das hilft, die Rechen- und Speicheranforderungen der Triton Inference Server-Modelle besser zu verstehen.
Durch Deep Learning ermittelte und von NVIDIA beschleunigte 3D-Objektposenschätzung
Ein High-Performance-Inferenzsystem für große Sprachmodelle, das für Produktionsumgebungen entwickelt wurde.