回到最新动态
研究论文 / THE SIGNAL

SCAPE-T:用编码器注意力量化语义复杂度

Quantifying Meaning with SCAPE-T: Semantic Complexity from Encoder-Only Transformer Attention

重要性 4.5 AI 辅助整理

SCAPE-T 在控制词长后成对准确率达 78.5%,优于所测基线。

资讯摘要

论文提出 SCAPE-T,一种基于编码器-only Transformer 注意力推导的语义复杂度指标,将语义复杂度定义为唯一确定文本语义所需的编码长度。该指标由逆加权自关注、CLS 关注和头间冗余三个子指标经层加权聚合而成,仅在超参数校准上使用数据驱动学习。在儿童故事与技术维基百科文章的对比评估中,控制词长后成对准确率为 78.5%,比最强基线高 12.7 个百分点;不控制词长时,可读性启发式方法反超。

要点速读

  1. 论文将语义复杂度定义为唯一指定文本语义所需的编码长度,并用 SCAPE-T 注意力指标进行量化。
  2. SCAPE-T 由逆加权自关注、CLS 关注、头间冗余三个子指标经层加权聚合构成,数据驱动学习仅用于超参数校准。
  3. 在儿童故事与技术维基百科文章的对比评估中,控制词长后成对准确率为 78.5%(95% bootstrap CI 76.1–80.4,N=10k),比最强基线高 12.7 个百分点;不控制词长时可读性方法反超。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开