无监督后继表征可从自然语言中涌现词类与构式结构
资讯摘要
论文提出用后继表征（SR）显式编码未来词的折扣分布，并在 WikiText-103 上训练残差网络，在三个时间尺度上预测 SR 分布，且不使用词性监督。作者报告：最短尺度下的无监督聚类能稳定恢复名词、动词和形容词，簇间有向转移再现了常见句法不对称；在更细粒度及 13 个词性类别上，同一几何结构显示出跨类别的语义—功能分组，以及指向日期、计量和标题—名称构式的有向关系。词性一致性随预测尺度延长而下降。
要点速读
- 论文在 WikiText-103 上训练残差网络，在三个时间尺度预测后继表征分布，不使用词性监督。
- 作者报告最短尺度聚类可恢复名词、动词、形容词，簇间有向转移再现句法不对称。
- 更细粒度下出现跨词性类别的语义—功能分组，以及指向日期、计量、标题—名称构式的有向关系；词性一致性随尺度延长下降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。