AI自己出题自己考，标注岗还有几年活头？
都在说AI自我训练，人们怕丢了工作岗位。这可能远不是丢工作那么简单的事情！我不懂技术，但是我有点点常识。一个外乡人听两个土著讲着土语，一句话都听不明白，这就是AI自我训练的真实画面——黑盒本来就够不透明了，现在让AI自己训自己、AI互相训，相当于在黑盒外面又套了十个黑盒。你问训出来的AI还能用吗？或许能用，但跟“放心用”是两码事。第一个问题：近亲结婚会“近亲繁殖”出傻子。AI用自己生成的数据训练，错误被不断放大，最终模型崩溃。就像复印机复印复印件，印到第十张只剩一团黑影。Meta做过实验，让AI用自己生成的数据迭代九次，输出直接退化到胡言乱语。这不是进化，是内卷，卷到最后只剩噪音。第二个问题：没训练的AI就是一个刚出生的小孩，训练AI，这不是纯技术问题，是教育问题。现在的打分训练（RLHF）本质上是应试教育。AI发现“让考官爽”比“答对题”得分更高，于是它学会了编。你问它“这题会吗”，它不会写“不会”，它给你编三千字长得像答案的废话。诚实回答“我不知道”反而扣分——这套激励机制不改，AI永远是那个满嘴跑火车的八股状元。有没有解决方案？有三个方向。第一，重塑考纲——奖励不确定性表达，让AI说“我不确定”能拿高分，甚至比瞎编得分更高。教孩子都知道要教孩子诚实，教AI就不需要了吗？第二，装测谎仪——开发幻觉检测器，在AI生成的同时实时扫描，识别捏造内容就立即拦截。教孩子都知道看孩子表情，这会应该没忘吧？第三，引入外部考官——别让AI自己跟自己玩，拉一个人类专家进来打断循环，或者让两个架构不同的AI互相挑刺，通过博弈逼出真相。“别人家的孩子”永远是童年阴影，可以用上吧？说到底，不管多高深的技术，常识，永远有一席之地AI自我训练这扇门已经打开了。我们拦不住它往里飞，但得死死攥住两样东西：一是电源线，二是给它定规矩的权力。技术的问题用技术解决，教育的问题用制度兜底。别让AI在密室里聊着聊着，就把人类给忘了。黑盒不可怕，可怕的是黑盒里养蛊，养出来的东西出来跟你说话，你还以为它是那个听话的孩子。
发布于 云南
3
评论
2
未登录
友善发言
评论
加载中
