Lotus 用预测下一 patch 的预训练目标提升时间序列语言模型表现。
资讯摘要
论文提出“预测接地”（forecast grounding）预训练原则，要求与语言对齐的时间序列表示在下游适配前仍能预测未来演变。Lotus 将每个时间序列通道切分为不重叠 patch 并映射到 LLM 嵌入空间，由时间序列 token 的隐藏状态预测下一个 patch；同时提出结合原始 patch 与频谱表示的时间-频谱 patch 表示。作者报告在三种语言模型骨干和六个下游数据集上，Lotus 以最少可训练参数取得最佳平均表现，准确率 59.91%，比最强匹配基线高 3.36%。
要点速读
- 论文提出 forecast grounding 预训练原则，要求时间序列表示在适配下游任务前保持对未来演变的预测能力。
- Lotus 将各通道切分为不重叠 patch 映射进 LLM 嵌入空间，并用隐藏状态预测下一 patch；另提出融合原始 patch 与频谱表示的时间-频谱 patch 表示。
- 作者报告在三种骨干、六个数据集上平均准确率 59.91%，优于最强匹配基线 3.36%，并在 TSRBench 上以更小规模超过 25–50 倍大小的模型；代码已公开。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。