RoleFUZZER：用用户行为模糊测试检验LLM角色规范遵循

RoleFUZZER用覆盖率引导的用户行为模糊测试检验LLM角色规范遵循。

资讯摘要

论文提出用户行为模糊测试，并构建RoleFUZZER框架，将软件测试中的覆盖率引导模糊测试用于搜索可能诱导模型违反角色规范的用户行为。作者报告在15轮测试中覆盖导师、理财顾问、AI面试官、对抗性角色扮演和受组织政策约束的网页代理五类角色规范，每个模型与角色均达到64格行为网格至少89%的覆盖率，并发现与规范相关的失败模式。

要点速读

1. RoleFUZZER以用户行为覆盖网格指导场景构造，网格交叉用户交互类型分类与待测模型的角色规范。
2. 作者报告15轮测试中，每个模型和角色对64格行为网格的覆盖率均不低于89%，并暴露出与规范相关的失败模式。
3. 在相同对话预算下，去掉网格、让LLM自由生成针对规范的用户，覆盖率降至39%至69%，违规种类也更少；同一规范下不同模型可能朝相反方向失败。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。