面向实时 iOS 应用的在线稠密强化学习 UI 导航智能体

论文用在线强化学习在实时 iOS 应用上训练 UI 导航智能体。

资讯摘要

论文提出一种在线强化学习框架，直接在实时 iOS 应用上训练 UI 导航智能体，将智能体拆分为 Planning agent 与 UI Grounding 模型，并用 LLM-as-a-Judge 提供步骤级稠密奖励与任务完成终局奖励，以 PPO 和步骤级优势估计优化。作者还提出 GiGPPO 邻居条件价值估计方法，并搭建可编排数百台并发虚拟 iOS 设备的基础设施。作者报告其在 UINavBench、iOSWorld、AndroidWorld 上优于 SFT 与仅终局奖励基线。

要点速读

1. 框架将智能体解耦为 Planning agent 和 UI Grounding 模型，在实时 iOS 应用上做在线强化学习训练。
2. 用 LLM-as-a-Judge 给出步骤级稠密反馈与终局奖励，并以 PPO 加步骤级优势估计优化；GiGPPO 利用并发轨迹中视觉相似状态的奖励信号稳定 critic。
3. 作者报告 8B 智能体在跨分布迁移到 Android 时较 SFT 基线提升近七倍，在真实 iOS 应用上超过 Gemini-3.5-Flash、与 Gemini-3.1-Pro 持平。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。