#cuda Repositórios
325 repositórios no total
https://wavespeed.ai/ O melhor framework de otimização de desempenho de inferência para HuggingFace Diffusers em GPUs NVIDIA.
Kit de ferramentas para quantização (compressão) de modelos LLM, com suporte à aceleração por hardware para Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.
Execute modelos maiores do que a capacidade da sua RAM ou VRAM transmitindo especialistas MoE a partir de um SSD. Baseado no llama.cpp.
GraphVite: Um Sistema Geral e de Alto Desempenho para Incorporação de Grafos
O script de compilação do FFmpeg fornece uma maneira fácil de construir um FFmpeg estático no OSX e Linux com codecs não-livres incluídos.
Construa seu próprio mecanismo de inferência LLM de alto desempenho em C++ e CUDA - uma versão menor do vLLM
CUDA Tile IR é uma representação intermediária e infraestrutura de compilador baseada em MLIR para otimização de kernels CUDA, focando em padrões de computação baseados em blocos (tiles) e otimizações direcionadas às unidades Tensor Core da NVIDIA.
cuTile Rust fornece um DSL seguro de programação de kernel baseado em blocos para a linguagem de programação Rust. Ele apresenta uma API segura do lado do host para passar tensores para funções de kernel executadas de forma assíncrona.
O RAFT contém algoritmos e primitivas fundamentais amplamente utilizados para aprendizado de máquina e recuperação de informações. Os algoritmos são acelerados por CUDA e formam blocos de construção para escrever mais facilmente aplicações de alto desempenho.
Framework personalizável de processamento multimídia/vídeo multiplataforma. Com forte aceleração de GPU, design heterogêneo, suporte a vários idiomas, fácil de usar, compatível com várias estruturas e alto desempenho, o framework é ideal para transcodificação, inferência de IA, integração de algoritmos, streaming de vídeo ao vivo e muito mais.
Biblioteca de machine learning com API TypeScript e backend Rust. Compatibilidade com CUDA e WebGPU. Construída para entender como frameworks e modelos de ML funcionam internamente.
uma implementação de Interpolação de Quadros de Vídeo via Convolução Separável Adaptativa usando PyTorch
UniLab: infraestrutura orientada por contratos para o aprendizado robótico em diferentes backends de física e hardware
O cuDNN Frontend é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.
Um DSL incorporado em Python que facilita a escrita de kernels de ML rápidos e escaláveis com um mínimo de código repetitivo.
Um framework de serviço de alto desempenho orientado a taxa de transferência para LLMs
Nós de inferência de aprendizado profundo para ROS / ROS2 com suporte para NVIDIA Jetson e TensorRT
Treinamento rápido de campo de radiação neural com trajetórias de câmera livres
Materiais de treinamento associados à Série de Treinamento CUDA da NVIDIA (www.olcf.ornl.gov/cuda-training-series/)
BitCracker é a primeira ferramenta de quebra de senhas de código aberto para unidades de memória criptografadas com BitLocker
Exemplos demonstrando opções disponíveis para programar várias GPUs em um único nó ou em um cluster
Objetivo: Possibilitar ferramentas incríveis para usuários do Bazel da família de linguagens C.
Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.