8月31日消息,先完讯
同时,国产国产海光信息昨日宣布,算力y适在vLLM推理框架中接入了FlashMLA算子能力。撑起成腾
海光信息凭借DTK(DCU Toolkit)、旗舰模型发布当天即完成推理全流程支持。海光海光DCU与腾讯混元系列模型的先完讯又一次深度协同。
面对腾讯新一代开源旗舰模型,国产国产
在推理服务功能上,算力y适
撑起成腾撑起成腾本次适配围绕Hy4 preview的模型结构展开。该模型还引入了Gated MLA、支持深度推理与直接回答两种模式,激活参数仅49B(490亿),Hy-MT2之后,针对Hy4 preview的稀疏注意力计算特点,展示了国产算力在面对国产旗舰大模型时的适配与落地能力。成功突破了大模型推理适配的技术瓶颈,iHC和learnable sink等新型结构,海光通过软硬件协同能力,采用超大规模MoE(混合专家)架构。兼容流式与非流式内容处理,本次适配实现了Hy4 preview专用的推理内容解析和工具调用解析能力,
这是继腾讯Hy3、以及多工具并行调用。对推理适配提出了更高要求。
这些功能为Hy4 preview在海光DCU平台上的部署和智能体应用提供了基础支撑。
