面向浏览器扩展的CPU端上下文感知字幕翻译

CPU端字幕翻译模型Sotto以约500毫秒延迟部署，胜率超Google Translate基线。

资讯摘要

论文研究面向免费浏览器扩展的英译繁中（台湾）字幕翻译，模型需在观众CPU上约500毫秒内完成单条字幕。作者基于LMT-60训练Sotto-1.7B与已部署的Sotto-0.6B，采用任务专用词表、继续预训练、监督微调、权重插值、logit蒸馏与在线偏好优化。因参考译文不可靠，改用与Google Translate固定基线的成对比较，由两个LLM评审双向判定。

要点速读

1. 在1,820条留出字幕上，Sotto-1.7B对基线胜率0.576，并在与四个开源翻译模型的直接对比中胜出，略低于一个27B模型。
2. 将延迟拆分为prefill与解码：空闲时预填充提示中已知部分，在CPU上把平均端到端延迟降低31%；任务专用词表使相同中文文本的token数减少28%。
3. 部署模型在延迟测试中对每条字幕均保持在500毫秒以内，代码已公开在GitHub。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。