人格条件化合成查询生成用于电商搜索

人格提示可提升解析器F1，但语法族合成查询幻觉比例更高。

资讯摘要

论文研究冷启动电商搜索中的合成监督：用6个LLM、9种人格条件化提示族，在47字段英国汽车schema上生成118,098条合成查询对，并与1,214条人工标注和15,304条生产查询对比。作者报告IPIP人格组合在四组匹配对比中均提升解析器F1（Holm校正p<.001），语法条件化使生成更接近真实流量；对齐sKL可作为F1的无标注代理（ρ=-0.917）。LLM委员会将927条所有解析器均漏检的查询中37%标为幻觉，语法族幻觉占比38%–42%，IPIP单独最低为28%。

要点速读

1. 实验规模：6个LLM、9种人格条件化提示族，生成118,098条合成查询对，对照1,214条人工标注与15,304条生产查询。
2. 作者报告IPIP人格组合在全部四组匹配对比中提升解析器F1（Holm校正p<.001），语法条件化是使生成贴近真实流量的维度。
3. 对齐sKL与解析器F1相关ρ=-0.917；LLM委员会将927条全解析器漏检查询中37%标为幻觉，语法族幻觉占比38%–42%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。