logo
泰山弟子_dmnY
07-08·公关媒介·10年+
华为高管：国内Token流通效率仅60%
从AI Infra演进看这数据敲警钟，企业私有化部署大模型时发现推理贵不光是卡贵，网内Token来回折腾损耗四成等于隐性加倍成本。华为提要把流通效率拉到90%+像水电一样无损流动，若真通过智算中心直连+RDMA无损网络做到，单位Token综合成本还能再下一个台阶，对做私有化大模型的企业是实打实利好。
发布于 广东
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中