国内首个：百度成功点亮昆仑芯三代万卡集群，还将点亮 3 万卡集群

最新 2 月 5 日消息，百度智能云今日宣布成功点亮昆仑芯三代万卡集群，这也是国内首个正式点亮的自研万卡集群。百度智能云将进一步点亮 3 万卡集群。

• 首先，突破硬件扩展性瓶颈，如卡间互联的拓扑限制，避免通信带宽成为瓶颈；

• 同时，围绕芯片及集群功耗，基于万卡规模常规方案功耗可达十兆瓦或更高，采用创新性散热方案，从而解决万卡集群的能效与散热问题；

• 完善模型的分布式训练优化，采用高效并行化任务切分策略，训练主流开源模型的集群 MFU 提升至 58%；

• 在提升稳定性方面，提供容错与稳定性机制，避免由于单卡故障率随规模指数上升而造成的万卡集群有效性大幅下降，保障有效训练率达到 98%；

• 最后，针对机间通信带宽需求，建设超大规模 HPN 高性能网络，优化拓扑结构，从而降低通信瓶颈，带宽有效性达到 90% 以上。

最新从昆仑芯科技官方获悉，本次点亮的昆仑芯三代万卡集群，采用的是昆仑芯 P800。昆仑芯官网暂未公布该卡的参数。