LGMT：检测大模型逻辑推理一致性的开源工具

LGMT 用逻辑等价改写检测大模型推理自相矛盾，报告不一致率约两成至三成。

资讯摘要

论文提出开源工具 LGMT，用基于一阶逻辑的蜕变关系检测大模型推理不一致：给定前提-结论形式的源测试用例，生成逻辑等价的后续用例，无需真值标签即可比对模型蕴含预测是否一致。工具内置 20 条蜕变关系，支持经 Z3 验证的自定义关系，提供 CLI 与网页界面及离线模拟模式。作者报告在 3091 个蜕变组的基准上，六个常用模型的不一致率为 20.84%–29.44%。

要点速读

1. LGMT 通过一阶逻辑蜕变关系生成等价用例，检查模型蕴含预测是否一致，无需真值标签。
2. 内置 20 条蜕变关系，支持 Z3 验证的自定义关系，提供 CLI、网页界面和无需 API 密钥的离线模拟模式。
3. 作者报告在 3091 个蜕变组上测试六个常用 LLM，不一致率为 20.84%–29.44%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。