可查询热门模型能否原样跑在 AWS Trainium 上
资讯摘要
Hugging Face 发布 torch-neuronx 模型支持 Space，可查询 Hub 上热门模型能否在 AWS Trainium 上不经修改运行，并给出分片核数、运行耗时与峰值显存。结果来自公开数据集 aws-neuron/torch-neuronx-model-support，每行含结果、报错、整套版本与 run.py。目前仅测试 Transformers 的文本生成与图文模型，且限于最多 4 块 Trainium2 设备（16 核）。
要点速读
- Space 提供 Selected、Trending、Downloads 三种视图，可按模型名检索并切换 neuronx-cc 与 Transformers 版本。
- 测试在 trn2 实例上按最小核数分片，生成 32 个 token 校验；单核与 CPU 结果比对，分片时用小模型判断英文流畅度。
- PASS 不代表吞吐或更长生成的表现；作者称计划扩展到 diffusers、sentence transformers 等任务。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:35（北京时间）。