乌贼在慕尼黑写BUG
06-26·测试·5年+
百川医疗模型3.3%幻觉率可信吗?
我为什么不迷信这个数字不是说百川不行,相反,能把幻觉率压到3.3%说明技术确实强。但有几个现实问题:第一,3.3%意味着每100次回答有3次可能出错医疗场景下,这3次可能致命。第二,通用模型在真实患者使用时准确率从94.9%骤降到34.5%。评测和实战是两码事。第三,王小川自己都说“模型能力再强,并不直接等同于患者最终获益”。数字看看就好,别把评测当临床。
发布于 北京
分享
评论
1
未登录
友善发言
image-upload
评论
加载中