大模型训练的高成本始终是行业痛点，而混合专家模型（MoE）因其“稀疏激活”特性成为降本增效的关键路径。随着DeepSeek R1开源引爆技术热潮，字节、阿里以及等国内主流大模型企业纷纷加码MoE架构创新，从通信优化到国产算力适配，一场围绕效率与生态的竞逐赛已然展开。
3月1日，DeepSeek发布了“开源周”后的“彩蛋”，首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。“彩蛋”显示，DeepSeek的671B参数模型在处理每个问题时，实际被激活的专家模型参数仅约37B，算力需求降低至传统架构的约二十分之一。
混合专家模型（MoE）架构示意图
MoE架构虽然能有效降低算力消耗，但在分布式训练过程中，仍然面临着跨设备通信开销巨大的挑战。有鉴于此，字节跳动豆包大模型团队于3月10日推出了针对MoE架构的通信优化系统COMET。据介绍，该系统采用细粒度计算与通信重叠技术，在大规模MoE模型上实现了单层1.96倍的加速效果，端到端平均效率也提升了1.71倍。
在这场技术角逐中，另一互联网巨头阿里巴巴也通过开源策略持续扩大声量。3月6日，阿里云发布并开源了全新的推理模型通义千问QwQ-32B。阿里云称，该模型采用密集架构（Dense），尽管参数仅为32B，但性能却能与满血版DeepSeek R1这类混合专家模型（MoE）相媲美。
诚然，DeepSeek等国产大型模型在算法上实现了诸多引领行业的创新，并且都选择了开源，但它们背后所依赖的仍然是英伟达提供的强大算力。而作为发布国内唯一基于全国产化算力训推大模型的企业，科大讯飞则始终将重心放在国产算力的创新突破上。
近日，科大讯飞与华为在国产算力领域取得重大进展，双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理，这是继DeepSeek公布其MoE模型训练推理方案后，业界首个基于国产算力的全新解决方案。
通过算子融合、混合并行策略和通信计算并行优化等一系列创新，科大讯飞在国产算力上实现了显著性能提升：单卡静态内存占用缩减至双机部署的1/4，效率提升75%，专家计算密度增加4倍，推理吞吐提升3.2倍，端到端时延降低50%。科大讯飞称，这一解决方案将应用于讯飞星火深度推理模型X1的训练加速，预期训练时推理效率将提升200%。
从DeepSeek点燃开源之火，到字节、阿里争相技术共享，再到科大讯飞实现国产算力突破，国内MoE赛道已形成“效率迭代”与“自主可控”的双重叙事。开源模式虽对企业直接创收有影响，却能通过生态共建降低研发成本、扩大市场份额；而国产算力突破则关乎技术主权与供应链安全，在AI基础设施竞争白热化的当下，战略意义同样毋庸置疑。
---延伸阅读: