谢剑浩
08-12 · 墨客文创(绍兴)有限公司
《钱江十日谈》03
第3日 第一千万零一个问题我并不担心这些能力落地太慢。我担心的是:如果模型总在预测下一种可能性,又会在不确定时产生幻觉,那么它进入现实世界以后怎么办?J博士先修正了问题。他说,幻觉不完全来自“预测下一个词”这件事,更关键的是模型可能在不确定时仍给出一个看似合理的答案。检索、验证和让系统学会说“不知道”,都只能减轻问题;更重要的是让它识别自己的不确定,并在需要时停下来核实。我把问题推到手术机器人一类高风险任务上:在这样的任务里,有些错误是不能接受的。J博士当时解释,在医疗、航空、自动驾驶等高风险场景里,目标应当是安全、可验证和有兜底,而不是让系统凭一个看似合理的判断继续执行。按他的概括,更实际的方向是让系统能够报告把握、发现矛盾,并在证据不足时停止或请求确认。我回答,这样只能保障一部分安全,却还没有解决让智能自主运行的核心要求。J博士同意,自主能力不能永远依赖逐步确认,但现实中的放权可能是渐进的。他把更根本的难点放在可靠的因果模型上:如果系统只是因为过去某种做法成功率较高就继续照做,遇到未见情形仍然会很危险。我于是问,人遇到从未见过的事情时,是按照什么逻辑作出判断的?J博士说,人会调动过去的经验进行类比,也会组合抽象规律和因果判断,在行动前设想可能的后果。还有一种能力同样重要:意识到自己不知道,并主动寻找说明或外部证据。他接着提出了“第一千万零一个问题”:高级智能的关键,不是记住一千万个案例,而是在遇到第一千万零一个未见案例时,仍能把旧经验和规律组合成合理判断,并知道自己的边界。我继续追问:现有大语言模型是不是已经能够推理?对于那个从未见过的“第一千万零一个”情形,它又能不能预测?J博士的回答仍然谨慎:现有模型有一定推理能力,但深度、稳定性和泛化仍有限。新情形如果还能与既有知识共享规律,系统也许可以推演;一旦真正超出经验和规则范围,单靠语言模型并不可靠。世界模型要补的,正是从“见过类似案例”走向“理解运作规律”的那一步。我又以自动驾驶为例,问预先采集的道路信息和现场判断各自起什么作用。J博士解释,预先准备的信息与实时感知承担不同作用:系统既需要已有地图或规则,也要根据眼前变化调整;遇到罕见情况时,常见的安全选择是减速或停止。我最后试着把世界模型概括成一种“结合判断”:它不需要记住世界里的每一个例子,而是能够在新例子出现时组合已有规律。
发布于 浙江
分享
评论
赞
未登录
友善发言
评论
加载中
下载脉脉APP,成就职业梦想
违法不良信息&未成年人有害信息举报电话/客服电话:400 065 0808
违法不良信息&未成年人有害信息举报邮箱/客服邮箱:maimai@taou.com
清朗系列专项行动相关违规信息举报电话:400 065 0808,举报邮箱:maimai@taou.com
个人/企业等被诽谤侮辱、人身权或知识产权等被侵犯、网络谣言的举报地址:maimai.cn/tousu | 涉企虚假不实信息举报投诉专区
京ICP备12005786号-1copyright©maimai.cn