量子层能否为视觉语言模型带来性能与安全优势？

量子层插入可提准确率，替换可减参数，但效果取决于位置。

资讯摘要

论文以LLaVA-OneVision为骨干，用经典模拟的量子层研究量子组件在视觉语言模型中的作用。作者在四个插入位置和四个替换位置测试4与8量子比特的basic-ring和强纠缠电路，比较经典模型与量子-经典混合模型的性能与计算成本。在Visual Spatial Reasoning数据集上，视觉投影器后插入量子层达到80.7%开发集准确率，比经典全量微调高2.28个百分点；替换最后一个解码器前馈子层保留79.22%准确率并减少1307万可训练参数。作者报告收益高度依赖插入或替换位置，更早替换会降低准确率，参数更少也不必然缩短训练或减少计算；并在六种攻击设置下评估混合模型鲁棒性。代码已公开。

要点速读

1. 以LLaVA-OneVision为骨干，用经典模拟量子层测试4/8量子比特电路在四个插入与四个替换位置的效果。
2. 视觉投影器后插入量子层达80.7%开发集准确率，比经典全量微调高2.28个百分点。
3. 替换最后解码器前馈子层保留79.22%准确率并减少1307万可训练参数，但收益依赖位置，参数减少不必然降低计算。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。