SAKURA 按带宽自适应传输 KV 缓存,降低手机端隐私图像编辑延迟。
资讯摘要
论文提出 SAKURA,一种云边架构,在带宽预算下向手机传输可复用的注意力 KV 状态,用于隐私图像编辑。它采用细粒度 token 重要性感知压缩,并按实时网络带宽为每个分片自适应选择缓存表示,同时用流水线运行时重叠传输、重建与端侧执行。作者在 Snapdragon 8 Elite Gen 5 手机上以三项编辑任务和两个扩散模型评测,报告延迟较适配 DiT 的 CacheGen 和端侧生成分别降低 1.82 倍和 3.27 倍,缓存存储较未压缩减少 3.06 倍且保持图像质量。
要点速读
- SAKURA 将可复用 KV 状态放在云端,按带宽预算传输到手机,避免把个人图像和提示词上传云端。
- 方法包括 token 重要性感知压缩、按网络带宽自适应选择缓存表示,以及重叠传输与端侧执行的流水线运行时。
- 作者在 Snapdragon 8 Elite Gen 5 手机上用三项编辑任务和两个扩散模型评测,报告延迟降低 1.82 倍和 3.27 倍、缓存存储减少 3.06 倍。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。