#knowledge-distillation Repositories
Entdecke 35 aktive Open-Source-GitHub-Repositories, die mit #knowledge-distillation getaggt sind und insgesamt 102,336 Sterne gesammelt haben (durchschnittlich 2,923 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist titanwings/distilly mit 26,745 Sternen.
Insgesamt 35 Repositories
Distilly — Verdichte ihre Denkweise zu wiederverwendbaren Skills für jeden Agenten oder Bot. Früher Colleague Skill (原同事 Skill).
Hochwertige Inhalte aus Büchern, Langform-Videos, Podcasts und mehr in ausführbare Agent Skills destillieren
Einige Skripte zur Zielerkennung und Code mit Verbesserungsideen; bitte im readme.md nachlesen.
Eine Schatzkiste für visuelle Klassifizierung und Erkennung, angetrieben von PaddlePaddle
Vortrainiertes Sprachmodell und zugehörige Optimierungstechniken, entwickelt von Huawei Noah's Ark Lab.
Implementierung von Segnet, FCN, UNet, PSPNet und anderen Modellen in Keras.
SOTA Low-Bit-LLM-Quantisierung (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) und Sparsity; führende Modellkomprimierungstechniken auf PyTorch, TensorFlow und ONNX Runtime
Hervorragende Forschungsarbeiten und Werkzeuge zur Komprimierung von LLMs.
Ein codefreies, auf PyTorch basierendes Framework für reproduzierbare Deep-Learning-Studien. PyTorch-Ökosystem. 🏆 Bislang wurden 28 Methoden zur Wissensdestillation implementiert, die auf TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI usw. vorgestellt wurden. 🎁 Trainierte Modelle, Trainingsprotokolle und Konfigurationen stehen zur Verfügung, um die Reproduzierbarkeit sicherzustellen und Benchmarking zu ermöglichen.
Eine Leseliste zur Generierung synthetischer Daten auf Basis von LLM 🔥
Dieses Repository sammelt Arbeiten für "Eine Übersicht über Knowledge Distillation von Large Language Models". Wir zerlegen KD in Wissensextraktion und Destillationsalgorithmen und erforschen Skill & Vertical Distillation von LLMs.
Sammlung aktueller Methoden zur Kompression und Beschleunigung von (tiefen) neuronalen Netzwerken.
Eine kuratierte Sammlung von Papieren, technischen Berichten, Frameworks und Tools für die On-Policy-Destillation (OPD) großer Sprachmodelle
Ein erweiterbares (allgemeines) Framework für kontinuierliches Lernen basierend auf Pytorch - offizieller Code von Dark Experience für allgemeines kontinuierliches Lernen
sanoTTS (सानो bedeutet auf Nepalesisch „klein“): ein neuronales Text-to-Speech-System mit 294.000 bis 2,27 Millionen Parametern, das auf einem 3-Dollar-Chip, im Browser oder in Python läuft und Streaming mit geringer Latenz bietet.
[ICCV 2023] MI-GAN: Eine einfache Baseline für Image Inpainting auf Mobilgeräten
Das Repository für "Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator"
Eine kuratierte Sammlung von Papieren und Ressourcen zur On-Policy-Destillation für große Sprachmodelle.
Bewährte Verfahren für die Destillation großer Sprachmodelle.
Zusammenfassung, Code für Deep Neural Network Quantization
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
Häufig gestellte Fragen
Welches ist das beliebteste #knowledge-distillation-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#knowledge-distillation-Projekt auf GitHub ist titanwings/distilly mit 26,745 Sternen. Distilly — Verdichte ihre Denkweise zu wiederverwendbaren Skills für jeden Agenten oder Bot. Früher Colleague Skill (原同事 Skill).
Welche Programmiersprachen werden in #knowledge-distillation-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #knowledge-distillation-Projekten auf GitHub sind Python, Jupyter Notebook, C die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #knowledge-distillation-Repositories berechnet?
Wir verfolgen 35 aktive Open-Source-Repositories, die mit #knowledge-distillation getaggt sind (500+ Sterne), mit insgesamt 102,336 Sternen und durchschnittlich 2,923 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.