人工智能时代前沿技术社区

首页 > 人工智能 > 热点

强化学习型AI容易受到新型攻击

对推动游戏AI并可以控制自动驾驶汽车的技术的对抗性攻击表明,这种技术可能不如我们想象的那么强大。

作者: | 2020-03-01 11:37:32

在过去的几年中,研究人员发现了许多打破使用标记数据训练的AI的方法,称为监督学习。对AI输入的微小调整(例如更改图像中的几个像素)可以完全弄乱它,例如,将懒惰的图片识别为赛车。这些所谓的对抗攻击没有确定的解决方法。  

1583033981579478.png

与监督学习相比,强化学习是一种相对较新的技术,研究较少。但事实证明,它也容易受到篡改输入的影响。强化学习通过奖励做正确的事来教给AI一个如何在不同情况下表现的方法。最终,人工智能学会了一项行动计划,即政策。政策允许AI玩游戏,驾驶汽车或运行自动交易系统。

2017年,现任DeepMind的黄迪(Sandy Huang)和她的同事们研究了经过强化学习训练的AI,可以玩经典的视频游戏Pong。他们表明,在视频输入帧中添加单个流氓像素将可靠地使其丢失。现在,加州大学伯克利分校的亚当·格里夫(Adam Gleave)将对抗性攻击推向了新的高度。

Gleave不太担心到目前为止我们看到的大多数示例。他说:“我对它们是否构成威胁表示怀疑。” “攻击者将通过添加少量噪声来破坏我们的机器学习系统的想法似乎并不现实。” 但是,您可以更改周围事物的行为,而不是使AI看到不存在的事物。换句话说,使用强化学习训练的AI可能会被怪异的行为所欺骗。Gleave和他的同事们将此称为对抗性政策。Gleave说,这是以前无法识别的威胁模型。

在某些方面,对抗策略比对有监督学习模型的攻击更令人担忧,因为强化学习策略控制着AI的整体行为。例如,如果无人驾驶汽车对来自摄像机的输入进行了错误分类,则可能会落在其他传感器上。但是,破坏汽车的控制系统(由强化学习算法控制)可能会导致灾难。Gleave说:“如果要在不解决这些问题的情况下部署策略,那将非常严重。” 如果面对挥舞着手臂的行人,无人驾驶汽车可能会陷入困境。

Gleave和他的同事使用强化学习来训练棒形图机器人玩一些两人游戏,包括将球踢入球门,越过直线比赛和相扑。机器人知道他们的四肢和对手的四肢的位置和运动。

然后,他们训练了第二组机器人,以找到利用第一组机器人的方法,第二组机器人迅速发现了对抗策略。该团队发现,经过训练,对手最初学会受害者玩游戏的时间不到受害者的3%,他们学会了可靠地击败受害者。

对手学会了赢得胜利不是通过成为更好的球员,而是通过采取破坏对手政策的行动。在足球比赛和跑步比赛中,对手有时甚至站不起来。这会使受害者崩溃成扭曲的堆或在圈子中四处游荡。而且,当受害者被“蒙面”且根本看不到对手时,受害者的表现实际上要好得多。