论文提出按KV效用排序并用自适应FEC保障截止前传输。
资讯摘要
论文针对边缘多智能体LLM系统中跨智能体传递上下文需重复预填充的问题,提出PriorityFEC方案:将高价值KV块置于传输流前部,并用反馈自适应的流式前向纠删码(FEC)在TTFT截止前调度修复包。作者在分布式边缘LLM服务原型上以Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct测试,报告其任务质量优于对比传输方案,截止约束越严格优势越明显。
要点速读
- 论文指出复用已预填充KV缓存可避免重复计算,但需在TTFT截止前跨不可靠边缘链路完成传输。
- PriorityFEC按KV块效用排序传输,并用反馈自适应流式FEC调度修复包。
- 作者在边缘服务原型上用Qwen2.5-7B-Instruct与Llama-3.1-8B-Instruct评测,报告任务质量优于对比传输方案。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。