Git Stars Git Stars

#quantization Dépôts

109
Total des Dépôts
487,465
Nombre total d'étoiles
4,472
Moyenne d'Étoiles/Dépôt
Langages de programmation: Python C++ Kotlin JavaScript
101
StartLuxLabs/StartLux-Prism

Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2026-10-13
102
zengxiao-he/tessera

Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Mis à jour 2026-10-09 📅 Créé 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-06
104
cedrickchee/awesome-ml-model-compression

Superbes articles de recherche sur la compression de modèles d'apprentissage automatique, quantification, outils et matériel d'apprentissage.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 Mis à jour 2024-09-21 📅 Créé 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL permet l'application de RL aux LLM de 32B sur un seul GPU H100.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2025-09-22
106
slavabarkov/tidy

Recherche sémantique hors ligne de texte à image et d'image à image sur Android, alimentée par un modèle CLIP pré-entraîné à l'état de l'art quantifié et par le moteur d'inférence ONNX Runtime

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 Mis à jour 2024-03-28 📅 Créé 2023-02-24
107
huawei-csl/KVarN

KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Mis à jour 2026-06-22 📅 Créé 2026-05-29
108
turboderp-org/exui

Interface Web pour ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Mis à jour 2025-02-05 📅 Créé 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

Ablation entièrement sans censure et aux capacités améliorées de Qwen3.6-27B. Décodage spéculatif NVFP4 + z-lab DFlash (n=12) dans le conteneur unifié ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimisé pour l’acceptation des brouillons en contexte long sur DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose et guide de démarrage rapide.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 Mis à jour 2026-11-13 📅 Créé 2026-04-25