跳到正文
东方财富 · 上市公司· 南方财经网·· 1 小时前

亿道信息:亿灵AISSD异构推理技术是针对MoE混合专家架构大模型做的底层调度优化

内容摘要

原文摘录:21财经11月9日电,亿道信息在投资者关系活动中表示,亿灵AISSD异构推理技术是针对MoE混合专家架构大模型做的底层调度优化,模型本身没变、能力不降,不用多卡服务器,靠动态专家驻留策略,内存占用大幅降下来,还能在内存、速度之间灵活调档,让普通PC、NAS这类内存受限的端侧设备,也能跑35B或更大的模型。

正文

  21财经11月9日电,亿道信息在投资者关系活动中表示,亿灵AISSD异构推理技术是针对MoE混合专家架构大模型做的底层调度优化,模型本身没变、能力不降,不用多卡服务器,靠动态专家驻留策略,内存占用大幅降下来,还能在内存、速度之间灵活调档,让普通PC、NAS这类内存受限的端侧设备,也能跑35B或更大的模型。

来源:东方财富 · 上市公司 · finance.eastmoney.com