论文用离散码扩展词表,让 LLM 直接处理时间序列
资讯摘要
论文提出 TEMPO,通过有限标量量化把上下文感知 Transformer 分词器产生的离散码加入 LLM 词表:冻结分词器将四步片段映射为 625 个码,信号 token、尺度统计与文本一并交由 LLM 原有自注意力层处理,仅更新新 token 嵌入与 DoRA 适配器。作者报告以 Qwen3-4B 为骨干并做任务微调后,活动识别 macro-F1 为 89.0%,睡眠分期 85.0%,轴承故障诊断 86.0%。
要点速读
- 冻结分词器将四步时间序列片段映射为 625 码词表,扩展 LLM 词表
- 仅训练新 token 嵌入与 DoRA 适配器,信号与文本共用自注意力层
- 作者报告 Qwen3-4B 骨干下三项任务 macro-F1:89.0%、85.0%、86.0%
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。