法语输入变体下LLM准确率与可靠性基准

法语表层扰动会降低LLM准确率与概率可靠性

资讯摘要

论文构建了一个受控的法语表层变体基准，覆盖七类任务，包含4200组原始-低-高强度三元组共12600条输入，高强度变体在低强度编辑基础上继续增加改动。作者评估两个LLM家族的六个模型，报告扰动强度上升时准确率下降、Brier分数与NLL上升；大模型在高强度下准确率损失更小，但概率质量指标并未随规模一致改善，键盘拼写错误影响最大。作者还发现，在原始输入上拟合的校准温度可迁移至变体，校准与输入还原结合可进一步改善Brier分数和NLL。

要点速读

1. 基准含七类任务、4200组三元组共12600条输入，高强度变体保留低强度编辑并追加改动。
2. 作者报告扰动越强准确率越低、Brier分数与NLL越高；键盘拼写错误造成的损失最大。
3. 大模型高强度下准确率损失更小，但Brier分数与NLL的上升未随规模一致减小；原始输入拟合的校准温度可迁移到变体。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。