开源插件 vLLM Hook 让 vLLM 模型内部状态可探测、可干预。
资讯摘要
论文提出开源插件 vLLM Hook，用于解决 vLLM 对已部署模型内部状态可编程性受限的问题，从而支持基于注意力模式的对抗提示检测、激活引导等测试时对齐方法。v1（vLLM Hook MIA）运行于 vLLM 的 V2 model runner 并保留 CUDA graphs，支持被动探测与主动干预两种模式，可用于离线与 vllm serve 服务。作者展示了提示注入检测、RAG 重排序、幻觉检测、text-to-SQL schema linking 等用例。
要点速读
- vLLM Hook 通过配置文件指定需捕获的内部状态，提供被动编程（探测内部状态、不改变生成）与主动编程（修改内部状态干预生成）两种功能。
- v1 版本运行在 vLLM 的 V2 model runner 上并保留 CUDA graphs，作者称捕获与引导内部状态只带来少量解码开销，支持离线使用和 vllm serve。
- 作者演示了提示注入检测、基于注意力的 RAG 重排序、激活引导、隐藏状态探测、幻觉检测、text-to-SQL schema linking 和工具调用风险评估等用例。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。