东方财富 · 上市公司· 第一财经·· 2 小时前
摩尔线程完成Kimi K3.1 Pro训练适配
内容摘要
原文摘录:【摩尔线程完成Kimi K3.1 Pro训练适配】据摩尔线程消息,近日,月之暗面开源2.8万亿参数旗舰模型Kimi K3.1 Pro。摩尔线程基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。
正文
据摩尔线程消息,近日,月之暗面开源2.8万亿参数旗舰模型Kimi K3.1 Pro。摩尔线程基于旗舰级AI训推一体智算卡MTT S5000与MUSA软件栈,完成该模型的训练适配,构建了原生FSDP2多模态训练路径,打通了从模型加载、分片调度到梯度同步的完整训练链路。
来源:东方财富 · 上市公司 · finance.eastmoney.com