聊聊性能测试为何在 AI 时代重新迎来红利
上周我们项目上线一个大模型接口，功能测试过了，自动化全绿，上线第二天直接被打崩。QPS到800的时候，GPU集群响应时间从200ms飙到8秒。老板问我怎么没压测。我说排期里没性能测试的环节。老板说以后加。AI 时代的功能测试就像买彩票刮涂层——刮出来"谢谢参与"还是"五百万"，跟性能毫无关系。功能对了但扛不住量，等于彩票印出来了但兑奖窗口只开一个。我干测试六年了，头三年性能测试是可有可无的东西。上线前跑个JMeter意思一下，能到预期值就行。后来上AI项目，这套流程直接废了。AI跟传统服务不一样。一个模型接口调一次，消耗的GPU算力跟传统HTTP请求差了几个数量级。更离谱的是，用户量大模型输出长度还不一样——有人问"今天天气怎么样"，有人扔三千字让你写年终总结。同一个接口，响应时间差十倍。这导致什么结果？你以为压测过了，实际是踩到了一个随机分布的坑。现在性能测试重新被重视，不是因为技术本身多牛，是因为不做的代价太大了。一个模型服务崩了，用户体验到的不是"页面转圈"，是等半天然后出来半截话。比慢更让人烦躁的是慢加断断续续。我们组去年招了个做性能测试的同事，之前被边缘化了三年，今年突然变成香饽饽。他说最爽的一次是上线前压测发现模型批量推理的显存泄漏问题，避免了一次大规模事故。功能测试是看车能不能开。性能测试是看这车上了高速会不会散架。以前大家觉得不上高速，散架不散架无所谓。现在人人都在上高速。
发布于 山东
分享
评论
赞
未登录
友善发言
评论
加载中
