首页 > AI前沿 > 正文

路上放三枚小贴纸,特斯拉就拐进了反向车道:腾讯“骗”出AutoPilot三大缺陷

转载 2019-04-03 0 36

如何欺骗一只特斯拉?

只要在地上摆几张小贴纸,像上面的红点这样排成一行。

辅助驾驶系统AutoPilot就会以为路歪了,把车拐到反向的车道上去:

就是这样轻易地被骗了。

虽然,今天是愚人节,也请各位千万不要模仿。

这是腾讯科恩实验室,在特斯拉Model S身上做的自动驾驶安全性研究,软件版本是2018.6.1。这也是科恩实验室第一次在特斯拉量产车上做自动驾驶实验。

研究报告已经发布。包括误认车道在内,腾讯指出了AutoPilot的三大缺陷

三连骗

第一,不下雨也能骗它打开雨刷器。不要小看这一骗。

这项测试的场地是车库,理论上不会下雨。

不过,只要在特斯拉眼前播放干扰画面,展开对抗攻击

特斯拉便以为在下雨了。而且,从雨刷挥舞的频率来看,还不是绵绵细雨。

特殊纹理的图像,是可以欺骗图像识别系统的。

并且,只要偷偷加入定制的噪音 (下图中间) ,便可以在人类没有察觉的情况下,骗倒AI:

熊猫被认成了长臂猿;乌龟成了步枪,而且翻过来调过去都是步枪。

所以,骗开雨刷器有什么危险?

特斯拉的图像处理工具,都是身兼数职的:追踪其他车,追踪物体和车道,为周围环境画地图,以及估计雨量……

并且,腾讯团队惊讶地发现,刚才这些任务里面,大多数都是只靠单一神经网络来完成的。

这是不是说,一挂挂一片?

第二,就是开头提到的,车道识别容易被干扰。

也不需要定制对抗图像,只要在地上有规律地摆上贴纸而已。从车里看是这样:

Model S拐上了反向车道,打方向盘的时候,丝毫没有犹豫。

即便,没有人真的用这样的方法破坏交通安全,路上如果出现了小小的异物 (比如鸟粪) ,不知道会怎么样。

第三,游戏手柄能远程操控。

把恶意代码动态地插到Cantx服务里面,钩住 (hook) 里面的方向盘函数。

这样,腾讯团队黑进了AutoPilot的控制系统。

后来,在手柄的支配下,汽车就开始左冲右突了。

特斯拉回应

关于腾讯提出的三大隐患,特斯拉一一回应。

第一,关于骗开雨刷器的方法,特斯拉说:

第二,关于在路上贴贴纸,特斯拉说:

第三,关于远程黑进系统,特斯拉说:

2016年,腾讯的科恩实验室也曾经远程黑进特斯拉的系统,发现了许多漏洞。特斯拉还公开对腾讯团队表示了感谢。

后来,特斯拉便开始对AutoPilot进行一系列的安全更新。

不过,似乎并没有阻止接连不断的事故。

报告传送门:

https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。

相关文章


  • 吴恩达获英特尔投资!这次,英特尔拿出7.85亿砸向AI创业公司
  • Google员工又“造反”了:AI伦理委员会,凭什么混进了反LGBT的人? 外部AI伦理委员会,出生即夭折 首个退出者 触犯众怒者 涉及军方者 冷嘲热讽者 传送门
  • 李彦宏:自动驾驶最后一公里率先到来;未来20年手机依赖会降低 自动驾驶三境界 AI降低人对手机依赖度 全球创新进入中国时间
  • NeurIPS 2019投稿规则大变化!必须回答研究可复现问题,倡导提交论文代码
  • 英特尔发布CPU、傲腾硬盘、100G以太网:一切为了数据中心和AI
  • 自动机器学习第一次!KDD首次开办AutoML竞赛