回到最新动态
研究论文 / THE SIGNAL

论文质疑LLM时间推理的算术-语义二分法

Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs

重要性 5.5 AI 辅助整理

论文发现时间推理基准主要考察知识记忆而非算术-语义区分。

资讯摘要

论文提出,时间推理常被分为时间算术与时间语义两类,但这一二分法此前未被直接检验。作者报告两项证据:在标注为算术或语义的子集上微调,增益多为数据集特定(+6.8至+23.1个百分点),同模态跨数据集迁移仅-3.2至+1.1个百分点;基于认知需求的评估显示,定量与逻辑推理并非主要驱动因素,知识才是。作者认为现有基准未清晰实现该区分,主要奖励模型记住时间通常如何运作。

要点速读

  1. 论文检验时间算术与时间语义二分法,发现同模态内微调增益多为数据集特定,跨数据集迁移接近零甚至为负。
  2. 基于认知需求的评估显示,定量与逻辑推理不是基准表现的主要驱动因素,知识才是。
  3. 作者结论:现有时间推理基准未清晰体现算术-语义区分,更多在考察模型对时间常识的记忆。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开