回到最新动态
研究论文 / THE SIGNAL

论文提出个人多语邮箱路由的测量协议并对比九类系统

Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox

重要性 5.0 AI 辅助整理

论文用人工标注测量个人邮箱代理,生产规则准确率低于多数类基线。

资讯摘要

论文提出自托管个人收件箱代理 Foyer 及一套测量协议,用分层抽样、冻结快照、按线程分组划分、预注册假设和人工标注,在训练前获得真实标签。作者在 739 封意大利语/英语邮件上对比九类系统,报告约 200 个标签时逻辑回归在各字段准确率最高,但从不预测两个最稀有类别;发件人关系需从联系人图谱获取,单封邮件无法推断。

要点速读

  1. 论文在 739 封由邮箱主人标注的意大利语/英语邮件上,按线程分组交叉验证对比九类系统,包括生产关键词规则、TF-IDF+逻辑回归、本地与托管决策模型及托管生成式 LLM。
  2. 作者报告生产规则在邮件类型上准确率为 28%,而多数类基线为 58%;约 200 个标签时逻辑回归在类型、紧急度、需回复、噪声四个字段准确率最高,但从不预测两个最稀有类别。
  3. 论文称发件人关系(客户、供应商、服务)在联系人已出现时可从同一联系人的其他邮件以 98.6% 准确率恢复,任何模型都无法从单封邮件推断;按动作组合后,最准确系统忽略需处理邮件的比例为 18%,最佳 LLM 为 4%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开