最近，华为通过其新推出的 “昇腾 + Pangu Ultra MoE” 系统展示了一个令人惊叹的突破:一个近万亿参数的 MoE 大模型在短短2秒内就能理解并解答一道高等数学题。而这一切都在没有使用 GPU 的情况下实现，显示出华为在自主可控的国产算力和模型训练方面的强大能力。
在技术层面，华为的团队成功提升了训练系统的整体性能，通过智能选择并行策略和优化计算通信，大幅提高了集群的训练效率。在其技术报告中，华为详尽披露了在 CloudMatrix384超节点上进行的多项技术创新，包括改进的通信机制和负载均衡策略。这些创新使得大规模 MoE 训练的专家并行通信开销几乎降至零，同时有效平衡了计算负载。
此外，华为在提高单节点算力方面也取得了显著成效。他们通过优化训练算子的执行，成功将微批处理规模提升至原来的两倍，同时解决了算子下发的效率问题。这种技术的进步意味着，华为的系统在面对复杂计算任务时，能够更加高效地利用现有资源。
华为的这一系列技术创新不仅让 MoE 模型的训练效率大幅提升，更为未来大规模 AI 模型的训练与应用打开了新的可能性。