中科曙光发布词元加速技术体系 词元效率成大模型竞争新标尺

新华财经上海9月11日电（记者高少华）随着大模型竞争进入深水区，词元（Token）效率正成为衡量人工智能系统实力的新标尺。中科曙光近日发布词元加速技术体系，构建算-存-传三级紧耦合的词元加速超级通道。其中，支持图形处理器直通网络的InfiniBand GPU直连异步技术（IBGDA）实现在国内首次规模化落地。

词元是大模型处理和输出内容的基础单元，其生成效率直接影响模型的响应速度和服务能力。从模型训练时的梯度同步，到推理阶段键值缓存（KV Cache）跨节点迁移，海量数据需要在多块图形处理器之间分发汇总，一旦出现中央处理器（CPU）调度拖累、存储访问卡顿、网络链路抖动，就会造成图形处理器空转等待，直接拉低集群算力利用率，推高人工智能业务运行成本。

在业界看来，“算力”不等于“产出”。如何打通计算、存储、传输的数据流转堵点，让硬件算力真正转化为模型的实际输出能力，已经成为亟待解决的现实难题。中科曙光基于scaleFabric的词元加速技术体系，正是瞄准这一行业痛点打造的全链路解决方案。

据中科曙光相关产负责人介绍，scaleFabric通过构建“算-存-传”三级紧耦合的词元加速通道，在网络层面和计算、存储紧密协同，加速词元吞吐效率，实现词元在大模型训练、推理到存储复用全链路的高速流转。较低的时延可以减少数据在多级网络中的传输耗时，使IBGDA和存储直通带来的路径优化进一步延伸至大规模集群，推动计算、存储和网络共同作用于词元生成效率。

中科曙光高性能计算产品事业部总工程师万伟向记者表示，在大模型推理时代，混合专家模型（MoE）已经成为模型主流架构，IBGDA技术的价值进一步凸显。混合专家模型通信中，IBGDA通过减少中央处理器参与关键通信路径，大幅提升混合专家模型并行通信效率。

此前，IBGDA的规模化落地主要由国际厂商主导，国产远程直接内存访问（RDMA）网卡与图形处理器直通的落地案例极为罕见。目前，中科曙光自研IBGDA技术已在十万卡级大规模集群中完成验证，实现了这一领域的关键补位。

“国内人工智能基础设施的重要发展方向，是通过系统级创新提升整体性能。国内算力发展正在依靠集群和多卡互联，通过增加计算卡数量、改善多卡通信效率，满足大模型发展所需的算力要求。”万伟表示，采用多卡方式构建集群后，多卡之间的数据通信就成为提升整体计算效率的关键因素。IBGDA技术在scaleFabric中的规模化应用，将成为提升多卡效率的重要支撑，这也是它对行业发展的主要意义。

随着IBGDA进入规模化部署阶段，基于scaleFabric的词元加速技术体系有望进一步提升多卡之间的数据交换效率，为混合专家模型等提供新的国产高速互连选择，也为国产智算基础设施通过系统优化提升整体性能提供支撑。

编辑：林郑宏

声明：新华财经（中国金融信息网）为新华社承建的国家金融信息平台。任何情况下，本平台所发布的信息均不构成投资建议。如有问题，请联系客服：400-6123115