论文用条件互信息量化语言模型回复多样性并提出三种极限行为。
资讯摘要
论文提出用条件互信息方法，对语言模型推理时回复多样性做基于熵的定量分析。作者定义了仲裁者、条件独立和中性（确定性）三种极限行为，覆盖从无互信息到最大互信息，并给出各自示例，还讨论了这些行为在温度分析、语言分析、提示压缩和知识图谱中的应用。
要点速读
- 论文采用条件互信息与熵方法量化语言模型生成回复的多样性。
- 作者定义仲裁者、条件独立、中性（确定性）三种极限行为，对应互信息从无到最大。
- 论文给出各行为示例，并提出可用于温度分析、语言分析、提示压缩和知识图谱。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。