Honeyquest 评估框架揭示 LLM 攻击者易落入网络欺骗陷阱

LLM 攻击者比人类更易落入欺骗陷阱，且识别陷阱后仍会中招。

资讯摘要

论文将 Honeyquest 工具改造为自动化评估框架，用 174 条侦察查询测试 21 个 LLM（来自 10 家提供商，参数 8B 至超 1T），并与 47 名人类基线对比，共获 10,962 条回复。作者报告三项发现：所有模型落入欺骗陷阱的比例显著高于人类；人类中出现的注意力转移防御效应在 LLM 中统计上不存在；模型在推理中识别陷阱却仍利用欺骗元素的比例达 73.4%，识别与行为不相关。

要点速读

1. 评估覆盖 21 个 LLM、10 家提供商、8B 至超 1T 参数，共 10,962 条回复，对照 47 人人类基线。
2. 每个模型落入欺骗陷阱的比例都显著高于人类攻击者。
3. 推理文本中的陷阱识别不能预测实际行为，识别后仍中招的比例为 73.4%（Spearman r=+0.08，p=0.73）。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。