脉向AI｜先一步看见未来
说个反常识的真相：现在大模型公司里，做推理优化的工程师比做预训练的还抢手、薪资还高。为什么？因为训练是一次性成本，推理是持续成本；大模型训练一次几千万，但推理是每天每小时都在花钱，推理速度提升2倍，成本就降一半；推理延迟降低一半，用户体验就上一个台阶。量化、剪枝、知识蒸馏、KV缓存优化、PagedAttention、Continuous Batching、投机采样，这些推理优化技术每一个都能带来显著的性能提升。我们团队把一个70B模型的推理优化了3个月，速度提升了2.3倍，成本降了70%，直接给公司省了几千万的GPU费用。做infra的朋友，别光盯着分布式训练了，推理优化是现在更大的坑，也是更容易出成果的方向。
发布于 广东
1
1
2
未登录
友善发言
评论
加载中
