聊聊性能测试为何在 AI 时代重新迎来红利
我最近跟几个做大模型应用的朋友聊天，发现他们最头疼的不是算法，居然是性能测试。我朋友公司做了个RAG应用，上线后GPU账单吓死人，性能测试团队介入后把提示词缓存命中率从40%拉到80%，向量检索从实时改成预计算，QPS翻了一倍，每月GPU账单直接砍半，省下近10万块。以前测性能为了用户体验，现在测性能是为了真金白银。我自己压测对话机器人也发现，同样100个并发，有的2秒返回有的要15秒，瓶颈不在代码，而是模型生成Token速度忽快忽慢，加上向量数据库检索延迟波动，不测根本不知道问题出在哪。前两天我让大模型帮我分析压测报告，它直接标出热点代码和慢SQL，比我翻监控快多了。所以我现在感受特别深，性能测试在AI时代从成本中心变成了利润中心，谁测得好谁就省得多跑得快，这红利来得实实在在。
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
