论文给出正交RNN权重量化与激活量化的可行方案
资讯摘要
论文探讨正交循环神经网络（ORNN）的权重量化，提出量化近似正交RNN（QORNN），结合量化感知训练与正交投影给出两种学习策略，并研究激活值的训练后量化以实现循环环路的纯整数计算。作者报告，全量化模型是目前在1000步Copy任务上最有效的方案，在permuted MNIST及部分IoT任务上优于现有量化模型，但在LSTM等门控RNN更擅长的任务上效果较弱。
要点速读
- 论文提出QORNN，用QAT与正交投影两种策略学习量化后的近似正交权重矩阵
- 研究激活值训练后量化，使循环环路可纯整数计算
- 作者报告全量化模型在1000步Copy任务上表现最好，并在permuted MNIST和部分IoT任务上超过现有量化模型
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。