您的位置：首页 >> 热点关注 >> 文章正文

豆包提出全新稀疏架构推理成本较MoE最高可降83%

加入日期：2025-2-12 12:56:15 【顶尖财经网】



分享到：



　　顶尖财经网(www.58188.com)2025-2-12 12:56:15讯：

（原标题：豆包提出全新稀疏架构 推理成本较MoE最高可降83%）

证券时报e公司讯，随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍，推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。实验结果表明，训练规模达2000万value的UltraMem模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模value或expert开辟了新路径。

编辑：　来源：



    郑重声明：以上信息为分析师、合作方提供，本站不拥有版权，版权归原作者所有，如有侵犯您的版权,请及时联系我们,我们将立即改正！以上文章内容仅代表作者个人观点，与顶尖财经网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作出任何保证或承诺，请读者仅作参考，并请自行核实相关内容。本文不作为投资的依据,仅供参考，据此入市,风险自担。发布本文之目的在于传播更多信息，并不意味着顶尖财经网赞同或者否定本文部分以及全部观点或内容。如对本文内容有疑义，请及时与我们联系。

顶 尖 财 经 -- 中 华 顶 尖 网 络 信 息 服 务 中 心
www.58188.com