回到最新动态
论文更新 / THE SIGNAL

查询语言影响LLM回答情感评分

Query Language Sensitivity in Automated Sentiment Scores of LLM Responses

重要性 4.5 AI 辅助整理

情感评分差异需同时检查回答与测量工具本身。

资讯摘要

论文分析12,933条LLM回答,考察多语言情感分类器对品牌描述打分时的测量问题。交叉线性混合模型显示,查询语言解释26.49%的拟合方差,品牌仅占1.46%;剔除英语后重拟合,语言降至5.07%、品牌升至2.23%。英语1,620条回答中有591条负分,其余七种语言11,313条中仅77条。作者指出原方差分解高度依赖英语样本,但未确认因果英语效应。

要点速读

  1. 研究覆盖20个品牌标签、8种查询语言、3个提供商别名和15个提示词,共12,933条回答。
  2. 全样本拟合中查询语言占26.49%方差,品牌占1.46%;剔除英语后分别为5.07%和2.23%。
  3. 英语回答1,620条中591条为负分,其他七种语言11,313条中仅77条;作者强调不能据此推断英语回答对品牌更负面。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开