Qrita：基于枢轴截断与选择的GPU Top-k/Top-p算法

Qrita成为vLLM默认Triton Top-k/Top-p采样器

资讯摘要

论文提出Qrita，一种面向GPU的Top-k与Top-p采样算法，采用枢轴截断与选择，包含基于高斯的σ截断以缩小词表搜索空间，以及带重复处理的四元枢轴搜索，将枢轴搜索迭代次数减半并保证确定性输出。作者用Triton实现，与SGLang、FlashInfer的对应内核对比，报告端到端服务吞吐最高提升1.4倍、内存减半，且输出与基于稳定排序的算法一致。Qrita现为vLLM默认的Triton Top-k/Top-p采样器。

要点速读

1. 论文提出Qrita，用枢轴截断与选择实现GPU上的Top-k和Top-p采样。
2. 作者报告相较SGLang和FlashInfer内核，端到端服务吞吐最高提升1.4倍、内存占用减半，输出与稳定排序算法一致。
3. Qrita已成为vLLM默认的Triton Top-k/Top-p采样器，代码在vLLM仓库公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。