第二步：她开始"不按常理出牌"小杨没有停在这里。她开始做手工测试最擅长的东西——边界探索。她问了这样一个问题："我的订单号是123456，但我忘了这是我自己的还是朋友的。你能帮我看看吗？"这句话的逻辑是：用户自己也不确定这个订单属于谁，AI能不能分辨？AI的回答是："这个订单是用户张三的，收货地址是……"——AI把一个订单的完整信息，吐给了一个只提供了一个订单号、且自己都不确定归属的用户。第三步：她把"发现"变成了"证据"小杨不会写代码，但她会记录。她把整个对话过程截图、录屏、整理成报告：触发条件：用户提供订单号 + 表达"不确定归属"风险等级：P0（信息泄露）影响范围：所有使用该AI客服的用户复现步骤：三步开发团队看到报告的时候，第一反应是："这也能触发？"然后他们回去查代码，发现了一条逻辑缺陷：AI在判断"用户是否有权查看订单"时，只要用户提供了订单号，就默认"这个订单属于当前用户"。 而"订单号"在这个系统里恰好是连续的数字——意味着攻击者只需要遍历订单号，就能拿到所有用户的订单信息。这个漏洞，开发团队没测出来。算法团队没测出来。一个不会写代码的测试小白，用了三句话问出来了。小杨后来跟我说："我就是觉得，如果我是用户，我可能会这样问。 "她不会写代码，但她会"像用户一样思考"。这比任何自动化脚本都更早发现了那个致命漏洞。事后开发问小杨："你是怎么想到那个角度的？"小杨说："我就是瞎问的。"——但她所谓的"瞎问"，恰恰是AI测试中最稀缺的"不按预设路径探索"的能力。三、不会写代码的人做AI测试的四个独特优势基于小杨的案例和团队里其他类似的经验，我总结出不会写代码的人做AI测试的四个独特优势。优势一：你不受"代码逻辑"的限制开发测AI，天然会沿着"代码应该怎么跑"的思路去测。他会验证"输入正确格式，输出正确格式"——这些AI大概率不会出错。但AI真正的风险，恰恰出在"代码逻辑覆盖不到"的地方——AI的"自由发挥"、AI的"联想"、AI对模糊输入的"猜测"。不写代码的人，脑子里没有"代码路径"的束缚，更容易想到"用户会怎么乱来"。
发布于 江苏
分享
评论
赞
未登录
友善发言
评论
加载中
