潘红
前几年我带团队做面向市监局的直播内容监测。第一版逻辑很朴素：把广告法、法规、案例里的违规说法提成关键词库，话术一命中就判违规。上线第一周就翻车了。主播说"这是我用过最顺手的一口锅"，报违规——因为"最"是绝对化用语，可人家说的是真实感受。又有人说"开封后尽快吃完，最佳赏味期三天"，又报违规——"最佳"在词库里，但它是食用提示，按监管口径根本不该罚。系统天天误杀，运营天天来吵架。而更让我后背发凉的是反过来那面：有些主播一个违禁词都没说，却在实打实地虚假宣传，系统一条都没拦住。那一刻我想明白一件事，到今天都觉得是这行最该懂、却最多人没懂的：内容审核不是"查词"，是"判断一句话在它的语境里有没有问题"。一个是匹配题，一个是判断题。用查词去解判断题，注定漏洞百出。纯关键词审核必栽的三个跟头：一是误杀。"最后一波优惠"的"最"和"全网最低"的"最"，字一样，性质完全不同。系统只认字符，不认语境。二是绕过。谐音、拆字、加符号、塞空格，你加一个词他换一种写法，词库陷入没完没了的军备竞赛，越加越长，误杀越来越狠。三是最致命的——不带违禁词的违规。虚假宣传可以一个敏感词都不用，全靠暗示、对比、编故事误导。整体违规，拆开每个词都干净，关键词库对它彻底失明。那怎么办？我的答案是：别让规则和 AI 二选一，让它们分工。规则定红线，处理是非分明的硬违规，快、准、可解释；大模型补语境，命中的可疑词交它结合上下文判断，没违禁词但语义违规的也靠它兜底；人做最终决策，AI 只输出判断、依据、置信度，高置信度自动过，模糊的转人工。核心不是"上了大模型"，是分工：确定的事交给规则，判断的事交给 AI，拍板的事留给人。更扎心的是——这套道理，我后来做 AI 广告投放又撞了一次墙，这次撞的是我自己。当时有种声音：AI 都能出投放决策了，照着执行就行。这跟当年"匹配上就算违规"是同一个错——都在逼一个不擅长担责式判断的工具替人拍板。AI 强在生成、检索、初判、给建议、做计划；但为后果负责的决策，它做不了，也不该让它做。审核如此，投放如此。很多 All in AI 的业务，迟早要在这条线上交学费。一句话收尾，也是我做十年最想说的：在营销这件事上，AI 是个好副驾驶，但千万别让它当司机。同行们，你手里的审核或投放系统，现在几分靠规则、几分靠 AI、几分靠人？有没有被误杀、或被"AI 替人拍板"坑过？评论区聊聊。
发布于 浙江
分享
评论
赞
未登录
友善发言
评论
加载中
