#quantization Repositórios
109 repositórios no total
Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.
Do professor aos blocos — um mecanismo de destilação e serviço de LLM construído do zero: kernels Triton/CUDA personalizados, destilação FSDP, processamento em lote contínuo com KV paginado, decodificação especulativa, um gateway Rust, um oráculo JAX e ferramentas de interpretabilidade.
Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.
Artigos de pesquisa incríveis sobre compressão de modelos de aprendizado de máquina, quantização, ferramentas e material de aprendizado.
Pesquisa semântica offline de texto para imagem e de imagem para imagem no Android, alimentada pelo modelo CLIP pré-treinado de última geração quantizado e pelo motor de inferência ONNX Runtime
KVarN é um backend nativo do vLLM para quantização do cache KV dos seus agentes: de 3 a 5 vezes mais contexto, throughput superior ao FP16 e precisão de nível FP16. Sem calibração, basta uma flag.
Ablation totalmente sem censura e com capacidades aprimoradas do Qwen3.6-27B. Decodificação especulativa NVFP4 + z-lab DFlash (n=12) no contêiner unificado ghcr.io/aeon-7/aeon-vllm-ultimate:latest, otimizada para a aceitação de rascunhos em contextos longos no DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose e QuickStart.