#cuda Repositories
Insgesamt 325 Repositories
https://wavespeed.ai/ Bestes Framework zur Optimierung der Inferenzleistung für HuggingFace Diffusers auf NVIDIA GPUs.
Toolkit zur Quantisierung (Komprimierung) von LLM-Modellen mit Hardwarebeschleunigung für Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei-Ascend-NPUs und Intel-/AMD-/Apple-CPUs über HF, vLLM und SGLang.
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
GraphVite: Ein allgemeines und hochperformantes Graph-Embedding-System
Das FFmpeg-Build-Skript bietet eine einfache Möglichkeit, ein statisches FFmpeg unter OSX und Linux mit nicht-freien Codecs zu erstellen.
Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM
CUDA Tile IR ist eine MLIR-basierte Zwischenrepräsentation und Compiler-Infrastruktur für die CUDA-Kernel-Optimierung, die sich auf kachelbasierte Berechnungsmuster und Optimierungen konzentriert, die auf NVIDIA Tensor Core-Einheiten abzielen.
cuTile Rust bietet eine sichere, kachelbasierte Kernel-Programmier-DSL für die Programmiersprache Rust. Es verfügt über eine sichere Host-seitige API zum Übergeben von Tensoren an asynchron ausgeführte Kernel-Funktionen.
RAFT enthält grundlegende und weit verbreitete Algorithmen und Primitiven für maschinelles Lernen und Informationsabruf. Die Algorithmen sind CUDA-beschleunigt und bilden Bausteine, um Hochleistungsanwendungen einfacher zu schreiben.
Plattformübergreifendes, anpassbares Multimedia-/Videoverarbeitungs-Framework. Mit starker GPU-Beschleunigung, heterogenem Design, Unterstützung für mehrere Sprachen, einfacher Bedienung, Kompatibilität mit mehreren Frameworks und hoher Leistung ist das Framework ideal für Transcoding, KI-Inferenz, Algorithmusintegration, Live-Videostreaming und mehr.
Machine-Learning-Bibliothek mit TypeScript-API und Rust-Backend. Kompatibilität mit CUDA und WebGPU. Entwickelt, um zu verstehen, wie ML-Frameworks und -Modelle intern funktionieren.
Eine Implementierung der Video Frame Interpolation über Adaptive Separable Convolution mit PyTorch
UniLab: Vertragsbasierte Infrastruktur für Roboterlernen über verschiedene Physik-Backends und Hardware hinweg
cuDNN Frontend ist NVIDIAs moderner Open-Source-Einstiegspunkt zur cuDNN-Bibliothek und eine wachsende Sammlung von leistungsstarken Open-Source-Kernels.
Eine in Python eingebettete DSL, die das Schreiben schneller, skalierbarer ML-Kernel mit minimalem Boilerplate-Code erleichtert.
Eine CUDA-Implementierung von SIFT für NVIDIA-GPUs (1,2 ms auf einer GTX 1060)
Deep-Learning-Inferenzknoten für ROS / ROS2 mit Unterstützung für NVIDIA Jetson und TensorRT
Schnelles Training von neuronalen Strahlungsfeldern mit freien Kameraflugbahnen
Schulungsmaterialien im Zusammenhang mit der NVIDIA CUDA Training Series (www.olcf.ornl.gov/cuda-training-series/)
BitCracker ist das erste Open-Source-Passwort-Cracking-Tool für mit BitLocker verschlüsselte Speichereinheiten.
Beispiele, die verfügbare Optionen zum Programmieren mehrerer GPUs in einem einzelnen Knoten oder Cluster demonstrieren
Vollständige Lösungen für die Programmierungs-Massively Parallel Processors Edition 4
Ziel: Ermöglichung großartiger Tools für Bazel-Benutzer der C-Sprachfamilie.
Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.