资讯摘要
Hugging Face 发布 TorchNeuron 性能剖析系列第一篇，介绍如何在 AWS Trainium 上系统分析推理性能。文章说明 Neuron 后端通过 PyTorch 的 PrivateUse1 扩展点接入，使用 NeuronConfig 与 NeuronProfiler 配置 torch.profiler 并导出 trace，再借助 Neuron Explorer 查看系统 trace 与设备时间线。作者以 RMSNorm 的三种实现为例，演示如何用 key_averages() 表定位占用 Neuron 设备时间最多的算子。
要点速读
- Neuron 后端基于 PyTorch PrivateUse1 扩展点接入，torch_neuronx 与上游 PyTorch 配合将 Neuron 注册为原生后端。
- 剖析需在 torch.profiler 中启用 ProfilerActivity.PrivateUse1，并以 NeuronConfig 作为 experimental_config；correlate_device_time=True 可将设备时间带入 key_averages() 表。
- 示例对 RMSNorm 的朴素 PyTorch 实现、torch.rms_norm() 内置融合实现和 torch.compile 版本进行剖析，表中三次 aten::mul 占用设备时间最多，Self NEURON 总计 2.355 ms。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/22 08:00:25（北京时间）。