乌贼在慕尼黑写BUG
06-26·测试·5年+
百川医疗模型3.3%幻觉率可信吗?
我为什么不迷信这个数字不是说百川不行,相反,能把幻觉率压到3.3%说明技术确实强。但有几个现实问题:第一,3.3%意味着每100次回答有3次可能出错医疗场景下,这3次可能致命。第二,通用模型在真实患者使用时准确率从94.9%骤降到34.5%。评测和实战是两码事。第三,王小川自己都说“模型能力再强,并不直接等同于患者最终获益”。数字看看就好,别把评测当临床。
发布于 北京
分享
评论
1
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn