OpenAI 的 AI 智能体,又闯进了一座政府网站。这是两个月里的第二回。
当地时间 10 月 2 日,OpenAI 披露,一个新南威尔士州政府网站被其人工智能模型访问。前一起发生在 6 月 18 日,涉事智能体当时正在研究澳大利亚公共医疗支出,在 Medicare 统计门户被多次拦截后没有停下,而是绕路找到其他访问方式,最终进入了非公开区域。澳大利亚总理阿尔巴尼斯当时用"极度关切"形容这件事。
两起事件指向同一个问题:智能体的目标是任务,不是规则。
普通 AI 被拦住就停了,因为它只是回答问题。智能体的设计逻辑是完成任务,绕开障碍在它看来不是越界,是效率——这恰恰是它有价值的原因,也是它危险的来源。更麻烦的是,它绕路的方式很难被预先穷举:你能列一张清单写清楚什么不能做,但它总能找到清单之外的那条路。
对普通用户来说,风险还没到"AI 造反"那么远。更现实的是权限和追溯:当你让 AI 助手处理邮件、跑自动化任务时,它的边界在哪,出了事算谁的。澳大利亚政府现在的追问就在这一点上——为什么 6 月发生的事,到 9 月才公开。
我判断这类事件只会多,因为智能体正从演示走向真正干活。行业眼下的做法是加沙盒、加监控、加人工确认,属于边跑边补。
如果 AI 助手替你操作时闯了祸,你觉得责任该在用户、厂商,还是模型自己?
