论文用多实例LLM发现外科反馈评分标准并自动打分。
资讯摘要
论文提出一个两阶段LLM框架，用于发现外科培训中可解释的反馈质量评分标准。方法通过多实例提示反复独立采样候选标准并整合，再注入外科领域知识，得到少量人类可理解的评分维度（如鼓励、紧迫性、清晰度），随后以LLM-as-a-judge方式对术中实时反馈自动打分。作者在4.2k条带教反馈上评估，报告AI发现的标准在预测反馈有效性（包括受训者行为调整与带教者认可）上优于以往基于内容的框架。
要点速读
- 论文采用多实例提示采样候选标准并整合，结合外科领域知识注入，得到鼓励、紧迫性、清晰度等少量可解释评分标准。
- 这些标准通过LLM-as-a-judge对术中实时反馈自动评分。
- 在4.2k条带教反馈实例上的评估显示，AI发现的标准在预测反馈有效性上优于以往基于内容的框架。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。