Git Stars Git Stars

#inference-acceleration Repositories

Entdecke 14 aktive Open-Source-GitHub-Repositories, die mit #inference-acceleration getaggt sind und insgesamt 24,811 Sterne gesammelt haben (durchschnittlich 1,772 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist openai/consistency_models mit 6,461 Sternen.

14
Gesamtzahl der Repositories
24,811
Gesamtanzahl der Sterne
1,772
Durchschnittliche Sterne/Repo
Programmiersprachen: Python Cuda

Insgesamt 14 Repositories

1
openai/consistency_models

Offizielles Repository für Konsistenzmodelle.

openai
⭐ 6,461 Python 👤 openai Organization 🕐 Aktualisiert 2024-03-22 📅 Erstellt 2023-02-26
2
thu-ml/SageAttention

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine Beschleunigung um das 2- bis 5-fache im Vergleich zu FlashAttention, ohne die End-to-End-Metriken bei Sprach-, Bild- und Videomodellen zu verschlechtern.

thu-ml
⭐ 4,017 Cuda 👤 thu-ml Organization 🕐 Aktualisiert 2026-01-17 📅 Erstellt 2024-10-03
3
thu-ml/TurboDiffusion

TurboDiffusion: 100–200× Beschleunigung für Video-Diffusionsmodelle

thu-ml
⭐ 3,870 Python 👤 thu-ml Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2025-12-06
4
ali-vilab/TeaCache

Timestep-Einbettungen erzählen: Es ist an der Zeit, für Video-Diffusionsmodelle zu cachen

ali-vilab
⭐ 1,333 Python 👤 ali-vilab Organization 🕐 Aktualisiert 2025-06-08 📅 Erstellt 2024-11-27
5
meta-pytorch/segment-anything-fast

Eine Batch-orientierte Offline-Inferenzversion von segment-anything

meta-pytorch
⭐ 1,321 Python 👤 meta-pytorch Organization 🕐 Aktualisiert 2025-08-22 📅 Erstellt 2023-08-30
6
thu-ml/SpargeAttn

[ICML2025] SpargeAttention: Ein trainingsfreier spärlicher Aufmerksamkeitsmechanismus, der die Inferenz jedes Modells beschleunigt.

thu-ml
⭐ 1,269 Cuda 👤 thu-ml Organization 🕐 Aktualisiert 2026-02-25 📅 Erstellt 2025-02-25
7
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-05-22
8
NVlabs/Fast-dLLM

Offizielle Implementierung von „Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding“

NVlabs
⭐ 1,116 Python 👤 NVlabs Organization 🕐 Aktualisiert 2026-05-30 📅 Erstellt 2025-05-27
9
Alpha-VLLM/Lumina-mGPT-2.0

Lumina-mGPT 2.0: Standalone autoregressives Bildmodellierung

Alpha-VLLM
⭐ 1,081 Python 👤 Alpha-VLLM Organization 🕐 Aktualisiert 2025-11-03 📅 Erstellt 2025-04-03
10
AlibabaResearch/SparkDiffusion

SparkDiffusion: Beschleunigung der DiT-Videogenerierung um das 265-Fache durch gemeinsame Sparsifizierung, Destillation, Quantisierung usw.

AlibabaResearch
⭐ 750 Python 👤 AlibabaResearch Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2026-09-18
11
OpenGVLab/DCNv4

[CVPR 2024] Deformable Convolution v4

OpenGVLab
⭐ 695 Python 👤 OpenGVLab Organization 🕐 Aktualisiert 2024-05-17 📅 Erstellt 2023-12-25
12
pkunlp-icler/FastV

[ECCV 2024 Vortrag] Code für das Paper: Ein Bild ist 1/2 Token wert nach Schicht 2: Plug-and-Play-Inferenzbeschleunigung für große visuell-sprachliche Modelle

pkunlp-icler
⭐ 579 Python 👤 pkunlp-icler Organization 🕐 Aktualisiert 2025-01-04 📅 Erstellt 2024-03-11
13
thu-ml/SLA

SLA: Über die Sparsität in Diffusion-Transformern hinaus durch feinabstimmbare sparsame lineare Aufmerksamkeit

thu-ml
⭐ 553 Python 👤 thu-ml Organization 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2025-09-25
14
Generated-Computers/Locals

Führen Sie mehrere KI-Agenten gleichzeitig auf Ihrem Mac aus – bis zu 3-mal schneller.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-12

Häufig gestellte Fragen

1

Welches ist das beliebteste #inference-acceleration-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#inference-acceleration-Projekt auf GitHub ist openai/consistency_models mit 6,461 Sternen. Offizielles Repository für Konsistenzmodelle.

2

Welche Programmiersprachen werden in #inference-acceleration-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #inference-acceleration-Projekten auf GitHub sind Python, Cuda die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #inference-acceleration-Repositories berechnet?

Wir verfolgen 14 aktive Open-Source-Repositories, die mit #inference-acceleration getaggt sind (500+ Sterne), mit insgesamt 24,811 Sternen und durchschnittlich 1,772 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.