#model-quantization Repositories
Entdecke 59 aktive Open-Source-GitHub-Repositories, die mit #model-quantization getaggt sind und insgesamt 217,873 Sterne gesammelt haben (durchschnittlich 3,692 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist zai-org/ChatGLM-6B mit 41,224 Sternen.
Insgesamt 59 Repositories
ChatGLM-6B: Ein quelloffenes zweisprachiges Dialogsprachenmodell | Offenes zweisprachiges Dialog-Sprachmodell
[ICLR 2024] Fine-Tuning von LLaMA zur Befolgung von Anweisungen innerhalb von 1 Stunde und 1,2 Mio. Parametern
Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.
Dies ist eine Schritt-für-Schritt-Anleitung für den Einstieg in KI/LLM-große Modelle, die Tutorials und Demo-Code enthält. Sie führt Sie von APIs zur lokalen Bereitstellung und Feinabstimmung großer Modelle. Die Code-Dateien werden in Online-Versionen für Kaggle oder Colab bereitgestellt, sodass Sie auch ohne Grafikkarte lernen können. Das Projekt enthält außerdem einen kleinen Code-Spielplatz 🎡, auf dem Sie interessante KI-Skripte ausprobieren können. Gleichzeitig enthält es eine vollständige chinesische gespiegelte Version der Hausaufgaben aus Hung-Yi Lees "Einführung in die generative KI 2024"-Kurs.
Dieses Repository zeichnet hauptsächlich Interviewfragen für Algorithmusingenieure für große Modelle (LLMs) auf.
Eine kuratierte Sammlung von Fachartikeln, Benchmarks, Übersichtsarbeiten und Tools zur Modellquantisierung, die Low-Bit-Netzwerke, LLMs, multimodale und generative Modelle, Vektor- und Gitterquantisierung sowie eine effiziente Bereitstellung abdeckt.
Rezepte zum Verkleinern, Optimieren und Anpassen von hochmodernen Bildmodellen. 💜
Hervorragende Forschungsarbeiten und Werkzeuge zur Komprimierung von LLMs.
Mehrere NVIDIA GPUs oder Apple Silicon für die Inferenz großer Sprachmodelle?
Vitis AI ist der Entwicklungstapel von Xilinx für AI-Inferenz auf Xilinx-Hardwareplattformen, einschließlich Edge-Geräten und Alveo-Karten.
Eine Reihe von großen Sprachmodellen für Code, die von PKU-KCL entwickelt wurden
[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle
Spiking Brain-inspired Large Models, die hybride effiziente Attention, MoE-Module und Spike-Kodierung in ihre Architektur integrieren
Offizielle Pytorch-Repository für Extreme Komprimierung von Large Language Models durch additive Quantisierung https://arxiv.org/pdf/2401.06118.pdf und PV-Tuning: Jenseits der Straight-Through-Schätzung für extreme LLM-Komprimierung https://arxiv.org/abs/2405.14852
Cosmos-Reason1-Modelle verstehen physischen Weltverstand und generieren durch lange Chain-of-Thought-Argumentationsprozesse angemessene verkörperte Entscheidungen in natürlicher Sprache.
BlueLM (Blaues Herz Großes Sprachmodell): Öffentliche große Sprachmodelle, entwickelt vom vivo AI Lab
Implementierung eines chinesischen großen Sprachmodells mit geringer Parameteranzahl von Grund auf.
Eine kuratierte Liste von Open-Source-Projekten im Zusammenhang mit DeepSeek Coder
Eine extrem schnelle Implementierung von Whisper, optimiert für Apple Silicon mit MLX.
Tencent Hunyuan A13B (kurz als Hunyuan-A13B), ein innovatives und quelloffenes LLM, das auf einer feingranularen MoE-Architektur basiert.
Modelkomprimierungs-Toolbox für große Sprachmodelle und Diffusionsmodelle
Effiziente Plattform für die Inferenz und das Serving lokaler LLMs, einschließlich eines OpenAI-kompatiblen API-Servers.
Häufig gestellte Fragen
Welches ist das beliebteste #model-quantization-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#model-quantization-Projekt auf GitHub ist zai-org/ChatGLM-6B mit 41,224 Sternen. ChatGLM-6B: Ein quelloffenes zweisprachiges Dialogsprachenmodell | Offenes zweisprachiges Dialog-Sprachmodell
Welche Programmiersprachen werden in #model-quantization-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #model-quantization-Projekten auf GitHub sind Python, Jupyter Notebook, C, Makefile die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #model-quantization-Repositories berechnet?
Wir verfolgen 59 aktive Open-Source-Repositories, die mit #model-quantization getaggt sind (500+ Sterne), mit insgesamt 217,873 Sternen und durchschnittlich 3,692 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.