SURGELLM用特征门控与IWN提升多任务宏F1至0.940。
资讯摘要
论文提出统一Transformer框架SURGELLM，针对微调编码器在多任务中的归纳偏置不匹配、类别不平衡污染特征统计、缺乏外部词汇知识条件化三个问题，设计轻量模块：手术式特征门控、任务条件前缀token与实例加权归一化（IWN）。作者报告在SST-2、多跳检索、LLM提示归因与作者身份检测四项任务、17,830个样本上，IWN变体宏F1达0.940，并发布代码与词表。
要点速读
- 论文提出SURGELLM，包含手术式特征门控、任务条件前缀token和实例加权归一化（IWN）三个轻量模块。
- 作者报告IWN变体宏F1为0.940，比最强非IWN基线高0.036，作者身份检测任务提升0.130。
- 随机词表对照平均F1下降0.028，作者据此认为增益来自词汇而非参数；代码、词表与自动抽取方案已发布。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。