Git Stars Git Stars

#quantization Repositórios

109
Total de Repositórios
487,465
Total de estrelas
4,472
Média de Estrelas/Repositório
Linguagens de programação: Python C++ Kotlin JavaScript

109 repositórios no total

101
StartLuxLabs/StartLux-Prism

Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Atualizado 2026-10-27 📅 Criado 2026-10-13
102
zengxiao-he/tessera

Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Atualizado 2026-10-09 📅 Criado 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Atualizado 2026-11-21 📅 Criado 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Artigos de pesquisa incríveis sobre compressão de modelos de aprendizado de máquina, quantização, ferramentas e material de aprendizado.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Atualizado 2024-09-21 📅 Criado 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL permite RL para LLMs de 32B em uma única GPU H100.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Atualizado 2026-11-16 📅 Criado 2025-09-22
106
slavabarkov/tidy

Pesquisa semântica offline de texto para imagem e de imagem para imagem no Android, alimentada pelo modelo CLIP pré-treinado de última geração quantizado e pelo motor de inferência ONNX Runtime

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Atualizado 2024-03-28 📅 Criado 2023-02-24
107
huawei-csl/KVarN

KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Atualizado 2026-06-22 📅 Criado 2026-05-29
108
turboderp-org/exui

Interface Web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Atualizado 2025-02-05 📅 Criado 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Atualizado 2026-11-13 📅 Criado 2026-04-25