#knowledge-distillation 仓库
探索 35 个标记为 #knowledge-distillation 的活跃开源 GitHub 仓库,它们累计获得 102,336 个 Star(平均每个项目 2,923 个)。该主题的领先项目是 titanwings/distilly,拥有 26,745 个 Star。
共 35 个仓库
最先进(SOTA)的低位LLM量化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)和稀疏性;在PyTorch、TensorFlow和ONNX Runtime上领先的模型压缩技术
一个基于 PyTorch 构建的免编码框架,用于开展可复现的深度学习研究。PyTorch 生态系统。🏆 目前已实现 28 种发表于 TPAMI、CVPR、ICLR、ECCV、NeurIPS、ICCV、AAAI 等会议和期刊的知识蒸馏方法。🎁 提供训练好的模型、训练日志和配置文件,以确保研究结果可复现并便于基准测试。
本仓库收集了关于“大语言模型知识蒸馏调查”的论文。我们将知识蒸馏分解为知识提取和蒸馏算法,并探索了LLM的技能和垂直蒸馏。
sanoTTS(सानो 在尼泊尔语中意为“小”):一款拥有 29.4 万至 227 万参数的神经网络文本转语音系统,可在售价 3 美元的芯片上、浏览器中或 Python 中运行,并支持低延迟流式传输。
"Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator" 的仓库
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。
常见问题解答
GitHub 上最受欢迎的 #knowledge-distillation 仓库是什么?
GitHub 上排名第一的开源 #knowledge-distillation 项目是 titanwings/distilly,拥有 26,745 个 Star。Distilly — 将他们的思维方式提炼为适用于任何智能体或机器人的可复用技能。原名为 Colleague Skill(原同事 Skill)。
#knowledge-distillation 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #knowledge-distillation 项目中,最常见的编程语言是 Python, Jupyter Notebook, C。
#knowledge-distillation 仓库的排名是如何计算的?
我们跟踪了 35 个标记为 #knowledge-distillation 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 102,336 个 Star,平均每个仓库拥有 2,923 个 Star。排名每日根据 GitHub API 更新。