Right Numbers, Wrong Questions：评估大模型在欠明确金融查询上的表现

论文揭示金融助手会给出真实数字却答非所问，并提出控制建议。

资讯摘要

论文研究金融助手面对欠明确查询时的“frame collapse”问题：用户未说明数据口径、产品变体或投资者情况与适用规则，模型仍会给出真实但答非所问的数字。作者以产品变体和税务规则均有正式定义的印度共同基金为场景，为每种解读计算正确答案并设计测试。结果显示模型会沿用模糊标签、按版面顺序排列选项，较弱模型在缺少投资者信息时套用默认值或过时税规；基于数据的校验和 AI 评审也难以识别此类错误。

要点速读

1. 论文提出“frame collapse”概念，指模型忽略用户未言明的口径与规则，用真实数字回答另一个问题。
2. 在印度共同基金场景中，模型会沿用模糊标签、按版面顺序排列备选，较弱模型缺信息时套用默认值或过时税规。
3. 作者指出基于数据的校验会放过这类答案，AI 评审仅在被告知字段含义时才能发现错标，并据此提出控制建议。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。