跳到正文
东方财富 · 上市公司· 第一财经·· 2 小时前

摩尔线程完成Kimi K3.1 Pro训练适配

内容摘要

原文摘录:【摩尔线程完成Kimi K3.1 Pro训练适配】据摩尔线程消息,近日,月之暗面开源2.8万亿参数旗舰模型Kimi K3.1 Pro。摩尔线程基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。

正文

  据摩尔线程消息,近日,月之暗面开源2.8万亿参数旗舰模型Kimi K3.1 Pro。摩尔线程基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。

来源:东方财富 · 上市公司 · finance.eastmoney.com