AI实验代理应只选流程，数值交由确定性代码计算。
资讯摘要
一篇论文总结了构建和运行AI辅助A/B实验代理的经验。作者指出，LLM的非确定性和幻觉与实验系统所需的可信度存在冲突，解决思路不是让模型确定化，而是限定其非确定性可触及的范围：由模型选择并排序流程，所有数值均由确定性代码计算。作者报告了三个意外发现：向模型隐瞒信息反而改善其回答；需求集中在日常检索而非预期的自主决策；代理的过度“乐于助人”威胁统计有效性。
要点速读
- 论文提出，让模型负责选择与排序实验流程，所有报告的数值由确定性代码计算，以限定非确定性范围。
- 作者报告，向模型隐瞒信息反而改善了其回答。
- 作者报告，实际需求集中在日常检索，而非预期的自主决策；代理的过度帮助倾向威胁统计有效性。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。