论文给出文本、视觉、音频混合预训练的缩放定律与实验结论
资讯摘要
论文提出针对文本、视觉、音频三种模态的数据混合缩放定律，基于 MoE 架构开展 268 组实验，参数规模 457M 至 8.3B、训练 token 最多 1500 亿。作者报告：音频的计算最优偏向扩大模型参数，文本与视觉需模型与数据均衡扩展；视觉或音频数据重复超过 2 倍收益可忽略；跨模态干扰高度不对称，视觉对音频干扰强，音频对文本和视觉干扰可忽略。
要点速读
- 实验覆盖 457M–8.3B 参数、最多 1500 亿 token，共 268 组 MoE 实验
- 音频模态偏模型重、文本与视觉需均衡扩展；视觉或音频数据重复超 2 倍收益甚微
- 跨模态干扰不对称：视觉强干扰音频，音频对文本和视觉干扰可忽略
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。