当GPU算力不再是唯一瓶颈，KV Cache与MoE专家的数据调度成为新战场。AI Infra正从“堆算力”转向“协同计算与存储”的新阶段。Mooncake将KV Cache变为独立基础设施资源，通过分离式架构实现缓存复用，有效请求承载能力提升59%-498%。NVIDIA CMX则在HBM与共享存储间增加G3.5层，以Flash为介质提供PB级共享上下文，持续Token吞吐提升最高达5倍。SSD由此从“文件来源”升级为推理数据层。市场涌现两类产品：强化型（英韧、华为）与推理参与型——群联以缓存SSD扩展显存，江波龙让SPU成为存储侧调度节点，寅谱-联芸则贯通计算侧与存储侧数据路径。未来竞争不在单盘性能，而是NAND、固件到推理框架的完整协作体系。当每瓦Token产出成为核心指标，存储正从外围走向AI Infra的中心舞台。🎯
发布于 江苏
分享
1
1
未登录
友善发言
评论
加载中
