Youtu-Parsing-Omni：单编码器统一多模态解析

单编码器加统一 schema 的 5B 多模态解析器，在多项基准报告领先。

资讯摘要

论文提出 Youtu-Parsing-Omni 全模态解析器，将文档、图像、音频和视频转为带时空定位的结构化记录。它用共享权重的 Youtu-Omni-Encoder 编码所有模态，并以 OmniSchema 统一十项解析任务输出，配合 OSAD 自演化后训练。作者报告单个 5B 参数检查点在 OmniDocBench v1.6 得 96.96，在 OmniParsingBench 以 75.08 领先开源权重模型，优势集中在音频与视频。

要点速读

1. Youtu-Omni-Encoder 由预训练语言模型初始化，所有模态共享权重，在统一时空坐标系中编码，融合层让视频帧关注同步音频。
2. OmniSchema 统一十项解析任务输出，OSAD 以基于 token 角色的目标训练模型自身 rollout，解析器与监督共同演化。
3. 作者报告 5B 检查点在 OmniDocBench v1.6 得 96.96，OmniParsingBench 平均 75.08，图表解析 95.02，代码与权重已公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:16（北京时间）。