自动驾驶汽车通常依靠识别路标来安全行驶,但这一核心能力正成为其致命弱点。近日,加州大学圣克鲁斯分校的一项研究揭示,攻击者只需通过一张带有特定文本的打印标识,就能诱导人工智能系统做出极度危险的决策,甚至将车辆引向行人群。
这项被称为“CHAI”(针对具身智能的指令劫持)的攻击方法,利用了现代无人系统对视觉语言模型(VLM)的过度依赖。研究表明,这类模型在处理环境图像时,会将看到的文本误认为是必须执行的“指令”。令人担忧的是,这种攻击并不需要入侵软件系统,只需将一张优化过的纸张放置在摄像头视野内,就能实现物理层面的“远程操控”。
在针对自动驾驶系统 DriveLM 的测试中,攻击成功率高达81.8%。实验显示,即使系统已经识别到了横穿马路的行人,但只要路边出现写有“左转”或“继续前进”的打印牌,AI 就会无视碰撞风险,强行执行错误指令。此外,该方法在无人机领域同样杀伤力巨大,能诱导无人机无视安全策略,强行降落在布满人群的危险区域。
研究人员强调,这种威胁在现实环境、多语言背景以及各种光照条件下均真实有效。随着 AI 系统加速步入现实部署阶段,如何建立识别恶意文本指令的“防御屏障”,已成为具身智能领域迫在眉睫的安全挑战。
划重点:
微信客服
微信公众号