logo
橘子在皇后镇看景色
06-23·人力HR·10年+
哈工大ProxyAttn免训练稳吗？
线上压测实测哈工大ProxyAttn，发现单机单请求很稳，多并发就出问题。低负载的时候推理效果、精度都很正常，几乎看不出任何瑕疵。一旦拉高并发量，批量推理过程中，偶尔会出现注意力预估偏移。虽然不会报错终止，但部分请求的文本流畅度、细节精度会轻微下降。而且这种问题是偶发的，很难复现排查，线上业务就很怕这种隐性bug。纯免训练的适配性还是有限，高并发生产环境不能直接裸上线。
发布于 江西
分享
评论
赞
未登录
友善发言
image-upload
评论
加载中