统一多模态模型中，引导向量可跨文本与图像零样本迁移。
资讯摘要
论文研究统一多模态模型（UMM）中的跨模态引导：在一种模态的 token 上找到的引导向量，可零样本迁移到另一模态以控制生成。作者报告，在情绪、物体大小等概念上，文本到图像与图像到文本两个方向均可迁移；即使对某模态独有的概念（如正式与口语化语言），也能在另一模态产生可解释效果。研究还发现，可迁移性强的引导向量在几何上方向相近。
要点速读
- 论文在多个统一多模态模型上研究跨模态引导，这些模型的语言与图像生成共享参数。
- 情绪、物体大小等概念的引导向量可零样本双向迁移（文本到图像、图像到文本）。
- 对正式与口语化语言等模态特有概念，引导向量常在另一模态引发一致且可解释的效果，如正式服装与设计。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。