字节豆包大模型团队提出稀疏模型架构推理成本最高可降低83%_快讯

字节豆包大模型团队提出稀疏模型架构推理成本最高可降低83%

2025-02-13 14:35 字节豆包大模型

2月12日，据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。据介绍，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。