CLIVO 用 1.25% 数据达到全量数据 97.2% 的平均分。
资讯摘要
论文提出 CLIVO，一种面向视觉语言模型的数据选择框架，将细粒度语义聚类分配、自动学习的验证目标与可微混合搜索结合。语义簇可独立调整训练占比，合并的簇专家作为评估混合配比的代理；作者按代理损失与真实探针表现的相关性挑选验证样本，再学习非负权重构成目标特定目标函数。固定专家与验证权重后，单次反向传播即可给出所有占比的梯度。
要点速读
- 从 800 万条指令池中选 100K 条，CLIVO 达到全量数据四目标平均分的 97.2%，仅用 1.25% 数据。
- 该预算下，簇内随机采样时比最强评估基线高 1.16 分；结合学习配额与样本排序后优势增至 1.55 分。
- 方法支持语义可视化、模块化选择器和共享专家，用于可解释、可复用的数据筛选。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。