DocTalk 用 LoRA 微调开源模型做病历问答,作者报告指标提升。
资讯摘要
论文提出 DocTalk,一个面向医生的问答系统,从去标识化出院小结生成简洁且有病历依据的回答。作者通过句子级分解、思维链引导出题和专家审核构建 500 条 QA 对,并用 LoRA 对六个开源模型(三个通用、三个生物医学)做指令微调。作者报告微调后各项指标一致提升,最佳模型 Llama-3-Med42-8B 的 ROUGE-L 为 0.40、BERTScore-F1 为 0.76、UMLS-F1 为 0.49;在 PubMedQA 上,Llama-3.1-8B-Instruct 准确率由 0.931 升至 0.977。系统已部署为安全的网页平台。
要点速读
- 作者构建 500 条临床 QA 对,流程含句子级分解、思维链引导出题与专家审核。
- 对六个开源模型做 LoRA 指令微调,作者报告词法、语义与临床保真度指标一致提升。
- PubMedQA 上 Llama-3.1-8B-Instruct 准确率从 0.931 升至 0.977,Llama-3-Med42-8B 从 0.935 升至 0.943。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。