#paged-attention Repositories
Entdecke 6 aktive Open-Source-GitHub-Repositories, die mit #paged-attention getaggt sind und insgesamt 9,822 Sterne gesammelt haben (durchschnittlich 1,637 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist xlite-dev/Awesome-LLM-Inference mit 5,565 Sternen.
Insgesamt 6 Repositories
📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Effiziente Plattform für die Inferenz und das Serving lokaler LLMs, einschließlich eines OpenAI-kompatiblen API-Servers.
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
Häufig gestellte Fragen
Welches ist das beliebteste #paged-attention-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#paged-attention-Projekt auf GitHub ist xlite-dev/Awesome-LLM-Inference mit 5,565 Sternen. 📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉
Welche Programmiersprachen werden in #paged-attention-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #paged-attention-Projekten auf GitHub sind Python, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #paged-attention-Repositories berechnet?
Wir verfolgen 6 aktive Open-Source-Repositories, die mit #paged-attention getaggt sind (500+ Sterne), mit insgesamt 9,822 Sternen und durchschnittlich 1,637 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.