百川医疗模型3.3%幻觉率可信吗？
翻完百川M4公开资料才看清，3.3%幻觉率只在HealthBench数据集测出。这套基准以单轮医学问答为主，样本偏标准化考题，很少覆盖复杂多轮问诊、疑难病案。线下拿院内真实病历自测，遇到罕见病、合并并发症场景，幻觉出现频率明显高于3.3%。不同评测集统计口径完全不一样，有的只算完全编造内容，有的把知识偏差也算幻觉。只看厂商放出的单一榜单数字，很难判断真实落地时的稳定程度。公开跑分只能做横向对比参考，没法直接套到医院真实业务流程里。
发布于 江西
分享
评论
赞
未登录
友善发言
评论
加载中
