论文发现时间推理基准主要考察知识记忆而非算术-语义区分。
资讯摘要
论文提出,时间推理常被分为时间算术与时间语义两类,但这一二分法此前未被直接检验。作者报告两项证据:在标注为算术或语义的子集上微调,增益多为数据集特定(+6.8至+23.1个百分点),同模态跨数据集迁移仅-3.2至+1.1个百分点;基于认知需求的评估显示,定量与逻辑推理并非主要驱动因素,知识才是。作者认为现有基准未清晰实现该区分,主要奖励模型记住时间通常如何运作。
要点速读
- 论文检验时间算术与时间语义二分法,发现同模态内微调增益多为数据集特定,跨数据集迁移接近零甚至为负。
- 基于认知需求的评估显示,定量与逻辑推理不是基准表现的主要驱动因素,知识才是。
- 作者结论:现有时间推理基准未清晰体现算术-语义区分,更多在考察模型对时间常识的记忆。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。