PALM把SSM记忆锚定到物理时间尺度以应对分布偏移。
资讯摘要
论文指出选择性状态空间模型(SSM)的记忆仅通过步长Delta与状态矩阵A的乘积决定,数据无法识别记忆的物理时间尺度,分布偏移时会出现“记忆-时间尺度失配”。作者提出PALM,将Delta与A分别锚定到采集单位:Delta由频谱估计的拐点频率确定,A由物理记忆范围确定。在fMRI上下文截断与Weather-5K留站预测实验中,作者报告PALM表征相似性比Mamba2高11%,在未见站点上各变量与预测步长误差最低,平均比最佳基线低15.2%。
要点速读
- 论文将SSM在分布偏移下的表征退化归因于记忆-时间尺度失配,即Delta与A仅以乘积形式被数据识别。
- PALM通过频谱估计拐点频率锚定Delta、通过物理记忆范围锚定A,使潜时间尺度保持物理单位。
- 作者报告在fMRI上下文截断下表征相似性比Mamba2高11%,在Weather-5K未见站点上平均误差比最佳基线低15.2%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。