论文在 37 个数据集上评测不生成文本的 Jev 模型
资讯摘要
论文评测 TypeSafe AI 的商业“System One”模型 Jev（jev-1.13.0）：它不生成文本，只从固定选项中作答或给出校准概率。作者在 37 个数据集上零样本测试，共 346,009 次请求，成本低于 10 美元，并与 Qwen3.8-27B、Gemma-4-E4B 对比。Jev 在 27 个数据集上优于 Qwen、全部优于 Gemma，但三类模型在低资源语言、细粒度标签和评分量表任务上均退化。
要点速读
- Jev 在 IMDB、SST-2、HellaSwag、ARC 上达到 95–99% 准确率，在 37 个数据集中 27 个胜过 Qwen，全部胜过 Gemma。
- 作者报告 Jev 的选择概率校准良好，支持选择性预测；二元概率需调阈值，UNFAIR-ToS 的 micro-F1 从 0.50 升至 0.75。
- 顺序决策测试中，Jev 完成 35% 的 ALFWorld 未见任务、42% 的 TextWorld 游戏和 21% 的 BabyAI-Text 任务，常重复无效动作。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。