#inference-acceleration Repositories
Entdecke 14 aktive Open-Source-GitHub-Repositories, die mit #inference-acceleration getaggt sind und insgesamt 24,811 Sterne gesammelt haben (durchschnittlich 1,772 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist openai/consistency_models mit 6,461 Sternen.
Insgesamt 14 Repositories
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention erzielt eine Beschleunigung um das 2- bis 5-fache im Vergleich zu FlashAttention, ohne die End-to-End-Metriken bei Sprach-, Bild- und Videomodellen zu verschlechtern.
Timestep-Einbettungen erzählen: Es ist an der Zeit, für Video-Diffusionsmodelle zu cachen
Eine Batch-orientierte Offline-Inferenzversion von segment-anything
[ICML2025] SpargeAttention: Ein trainingsfreier spärlicher Aufmerksamkeitsmechanismus, der die Inferenz jedes Modells beschleunigt.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Um die Inferenz von Long-Context-LLMs zu beschleunigen, berechnen approximative und dynamische dichte Berechnungen die Aufmerksamkeit, was die Inferenzlatenz beim Vorabfüllen auf einer A100 um bis zu 10x reduziert, während die Genauigkeit erhalten bleibt.
Offizielle Implementierung von „Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding“
SparkDiffusion: Beschleunigung der DiT-Videogenerierung um das 265-Fache durch gemeinsame Sparsifizierung, Destillation, Quantisierung usw.
[ECCV 2024 Vortrag] Code für das Paper: Ein Bild ist 1/2 Token wert nach Schicht 2: Plug-and-Play-Inferenzbeschleunigung für große visuell-sprachliche Modelle
SLA: Über die Sparsität in Diffusion-Transformern hinaus durch feinabstimmbare sparsame lineare Aufmerksamkeit
Führen Sie mehrere KI-Agenten gleichzeitig auf Ihrem Mac aus – bis zu 3-mal schneller.
Häufig gestellte Fragen
Welches ist das beliebteste #inference-acceleration-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#inference-acceleration-Projekt auf GitHub ist openai/consistency_models mit 6,461 Sternen. Offizielles Repository für Konsistenzmodelle.
Welche Programmiersprachen werden in #inference-acceleration-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #inference-acceleration-Projekten auf GitHub sind Python, Cuda die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #inference-acceleration-Repositories berechnet?
Wir verfolgen 14 aktive Open-Source-Repositories, die mit #inference-acceleration getaggt sind (500+ Sterne), mit insgesamt 24,811 Sternen und durchschnittlich 1,772 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.