人工智能时代前沿技术社区

首页 > 人工智能 > 热点

心理学的概念正在帮助开发强化学习的新方法

负担理论,是心理学家詹姆士·吉布森创造的一个术语,正在帮助AI更好的发展。

作者: | 2020-07-21 18:27:55

当我们看椅子时,无论椅子的形状和颜色如何,我们都知道可以坐在椅子上。当鱼在水中时,无论其身在何处,都知道它会游泳。这就是负担理论,心理学家詹姆士·吉布森(James J. Gibson)创造的一个术语。

它指出,当聪明的人审视世界时,他们不仅感知物体和它们之间的关系,而且还感知它们的可能性。换句话说,椅子“负担得起”就坐的可能性;承担得起”游泳的可能性。该理论可以部分解释动物智能为何如此普遍化的原因我们通常会立即知道如何与新物体互动,因为我们认识到它们的作用。

 1595327343699280.jpg

DeepMind的研究人员现在正在使用此概念来开发强化学习的新方法。在典型的强化学习中,通过反复试验来学习,首先要假设可能采取任何行动。例如,学习从A点移动到B点的机器人将假定它可以穿过墙壁或家具移动,直到反复出现故障为止。这个想法是,如果机器人首先被教导了它的环境承受能力,它将立即消除必须执行的失败试验的很大一部分。这将使其学习过程更加有效,并有助于其在不同环境中进行推广。

研究人员建立了一个简单的虚拟场景。他们将虚拟座席放在2D环境中,中间有一堵墙,然后让座席探究其运动范围,直到了解到环境允许它做什么为止。然后,研究人员为代理商提供了一组简单的目标,可以通过强化学习来实现,例如向右或向左移动一定量。他们发现,与没有学到能力的特工相比,它避免了任何会导致其在运动中途被墙挡住的举动,从而使其更有效地实现目标。

这项工作仍处于初期阶段,因此研究人员仅使用简单的环境和原始目标。但是他们希望,他们的初步实验将有助于为将想法扩展到更复杂的动作奠定理论基础。将来,他们看到这种方法可以使机器人快速评估它是否可以将液体倒入杯子中。已经对哪些对象提供了保持液体的可能性以及哪些对象没有提供保持液体的认识有了一般性的理解,它将不必反复错过杯子并在桌子上倒满液体来学习如何实现其目的。