智能制造网APP
智能制造网手机站
智能制造网小程序
智能制造网官微
智能制造网服务号
智能控制
机器人
仪器仪表
物联网
3D打印
工业软件
回放
品牌
Fujifilm/富士
神经网络优化器是大模型训练的底层基础设施，负责调度更新模型权重的方向和步长等。近年来，Muon 优化器在大语言模型训练领域逐渐成为焦点，展现出相比 AdamW 更快的收敛能力。自变量的实验发现，在具身智能训练场景中，受益于不同于语言模型的模型结构与优化需求，Muon 进一步展现出良好的适配性，相比 AdamW 在训练效率和最终性能上均取得显著提升。
但在应用于分布式计算时，Muon 相比 AdamW 引入了额外的计算和通信系统开支，导致端到端步时间飙升到 AdamW 的 2.2 倍左右，计算收敛更快的提效被额外系统开支所吞没，相较 AdamW 不具有绝对优势。
近日，自变量机器人发布了一种高效的分布式 Muon 基础设施 DMuon，将细粒度通信优化、计算感知负载均衡与高性能内核系统相结合，能够消除 Muon 应用于分布式训练时额外引入的系统开支，端到端步时间从 AdamW 的 2.2 倍降低为 1.02 倍，整体模型训练提速约 30%。此外，DMuon 不改变参数更新规则、不需调整训练框架，只需 3 行代码就能引入，有望成为具身模型训练时新的默认选项。
不仅如此，神经网络优化器作为大模型训练的底层设施，过去的优化主要由 OpenAI、DeepSeek、Kimi 等公司贡献。但 Muon 优化器面对的额外系统开销问题，在具身模型训练时又格外突出。自变量此次发布 DMuon 优化器，是罕有的具身模型企业为大模型底层基础设施的优化改造做出贡献。
Muon 优化器能更快计算收敛，但应用于分布式训练仍需改造
Muon 是近两年出现的一种革命性的神经网络优化器，能通过“矩阵正交化”大幅提升训练效率和收敛速度，计算效率相当于过去以逐个元素计算的优化器 AdamW 的 2 倍，已经被 Kimi-K2 与 DeepSeek-V4 在生产规模的训练中使用。
然而，Muon 在实际生产部署中仍有阻碍。大模型预训练时，会将原本存储在单个 GPU 上的模型参数、梯度和优化器状态切割成多个部分，分散到集群中的不同 GPU 上分别存储和计算。这与 AdamW “逐个元素更新”的工作方式相契合，因为其更新只作用于本地分片；但与 Muon 的工作方式相冲突，因为其核心计算步骤 Newton–Schulz 迭代需要知道完整的权重矩阵而非单个分片的信息。
因此，在将 Muon 应用于分布式训练时，必须先重建出完整矩阵、引入逐元素优化器所没有的计算和通信。这笔额外的开销会出现在每一个优化器步骤、矩阵参数上，并随模型规模和分布式宽度而增长。对于具身模型，这种影响更甚：因为具身模型的时序上下文更短，前向-反向传播占比更小，使得优化器的开销更难被摊销。
简单来说，将 Muon 优化器应用于大模型预训练的分片计算时，由于每个 GPU 都需要拼接出完整矩阵、计算同样的 Muon 更新，这带来了海量的重复计算和拼装通信。其结果是，每步训练时间反而达到 AdamW 的 2.2 倍：Muon 在计算效率上省下的时间，又被系统开销消耗掉了。这使得在分布式计算时，Muon 相比 AdamW 尚不是一个能完美替代的选项。
自变量三项改进消除系统开支，端到端步时间接近 AdamW 水平
为了解决 Muon 应用在分片计算上的难题，自变量机器人提出 DMuon ——一个将每步性能差距缩小到 AdamW 水平的分布式 Muon。简单来说，DMuon 既能保留 Muon 计算收敛更快的好处，也能让端到端步时间接近 AdamW，让 Muon 从“理论上很美、生产上很贵”变成可以默认启用的选项。
通过细粒度通信优化、计算感知负载均衡、高性能内核系统这三方面改进，DMuon 能消除冗余的优化器计算。相比传统的分布式 Muon，DMuon 能将端到端单步计算时间加速 1.48-3.01 倍，将优化器步骤加速 6.85-163 倍，将端到端步时间平均保持在 AdamW 的 1.02 倍以内。
DMuon 主要提出了三项改进方法：
1、Owner 中心执行与细粒度通信优化。
Owner 中心执行是 DMuon 解决“冗余计算”和“通信开销”问题的核心架构。原生的分布式 Muon 会让每个显卡都计算完整梯度和 Newton–Schulz 迭代，显卡越多重复计算越多。DMuon 则将每个矩阵参数分配给唯一的 Owner rank(所有者进程)，只有它会保存这个矩阵的优化器状态、执行 Newton–Schulz 迭代计算，再将需要更新的参数分发给需要的 GPU。
由于 Owner 需要收集各 GPU 计算的梯度、发放计算完的新权重，这也带来了额外的通信开销。DMuon 会将这些通信“插空”放在计算的空档里，有三个关键设计：一是让相邻矩阵的通信分散到不同节点间通信组，多路广播可以并发而不排队；二是前向传播中，节点间广播提前发出、节点内广播临近使用才发出，让通信“错峰”进行；三是反向传播中，将“广播下一层参数”与“规约本层梯度”两类通信错开编排。
经过实验，原生的 Muon 优化器的计算时间不随 GPU 数下降而下降，而DMuon 能伴随 GPU 数线性下降，说明冗余计算被消除、GPU 越多收益越大。
2、形状自适应执行栈。
在消除不同 GPU 的重复计算后，优化 Newton–Schulz 计算就成了主要问题。需要计算的权重矩阵形状通常很不一致：有些矩阵能独自占用整张 GPU、有些矩阵需要凑在一起才能喂饱 GPU。这些不同形状矩阵的优化方法差异很大，需要一套“形状自适应”的执行栈，让优化的数学形式、执行方式和底层内核随之改变。
对此，DMuon 作出四项优化：1、采用 Gram 空间递推，将 NS 迭代从 m×n 的矩阵空间搬进 m×m 的 Gram 矩阵空间，将主要计算量从 O(m²n) 降到 O(m³)(m
3、计算感知负载均衡。
DMuon 会基于实测成本来优化 Owner 的工作量分配。虽然每个权重矩阵的更新只由一个 Owner 计算，但由于矩阵大小差异悬殊，计算耗时可能相差数个数量级。如果 Owner 分配不当，可能出现有些 GPU 计算满载、有些 GPU 闲置的情况。
DMuon 在初始化时，先将所有矩阵按形状分组，针对每种形跑完一遍完整的计算，并记录下实测耗时。然后使用混合整数线性规划(MILP)来优化分配，降低所有 Owner 中最慢者的完工时间，以提升整体的计算效率。
三行代码启用 DMuon，成为具身模型训练“默认选项”
自变量将 DMun 优化器的效果在真机上进行了测试。测试是在一个 A800-SXM4-80GB 的集群上完成的(每节点配备 8 张 GPU，节点内通过 NVLink 连接，节点间通过 200 Gb/s 的 InfiniBand 网络连接)，数据精度为 bf16。主要对比的是相同配置的 AdamW 优化器，以及原生的分布式 Muon。
实验发现，原生 Muon 优化器的计算时间不会伴随显卡数下降而下降，说明存在大量的冗余计算；DMuon 则近乎线性下降。当显卡规模较小时，Muon 由于节约了一半优化器显存占用，所以能够开启更大的批大小，计算利用率领先于 AdamW。在规模增大之后，计算效率基本持平 AdamW，但 Muon 本身提供了更快的收敛速度，在自变量预训练设置下，仍能够获得约 30% 的训练收益。
DMuon 采用模块化设计，提供 Drop-In 式接入方式。用户无需修改现有训练代码或调整 PyTorch FSDP 分布式训练流程，仅需数行代码即可完成集成，享受到 Muon 在分布式环境下的高效执行能力。
未来，自变量还将进一步探索面向大规模模型训练的系统优化方向，包括适配更复杂的混合并行策略、结合更底层的通信机制优化，进一步提升优化器在超大规模分布式训练中的扩展效率。
具身企业涉入基建“深水区”，成为大模型技术新的一极
简单来说，自变量发布的 DMuon 优化器能消除将 Muon 用于分布式计算时产生的冗余计算和额外通信等系统开销。这使得 DMuon 成为 Muon 和 AdamW 在大模型分布式训练时的替代品。
神经网络优化器直接影响模型的训练效率，是大模型的底层基础设施。对优化器的改进不仅影响企业内部训练模型的效率，也影响整个具身模型行业的前进速度。此前，很少有具身模型公司能深入基础设施底层。
DMuon的发布，不仅意味着以自变量为代表的具身模型公司，已经成为与大语言模型企业并肩的新的一极，成为技术的积极贡献者；也意味着自变量已经从研究阶段转入工程化阶段，为规模化推出具身模型积蓄底层基础设施的技术力量。
浙公网安备 33010602000006号
智能制造网APP
智能制造网小程序
微信公众号
