Facebook为人工智能设定了新任务：带领一位虚拟游客游览纽约

你如何教电脑理解语言- 不只是转述人类的语言，而是实际理解某人在说什么? 这是人工智能的重大挑战之一，目前我们仍然不知道解决该问题的最佳方法。 Facebook的人工智能研究实验室，FAIR，有一个想法：通过让人工智能去带领虚拟游客游览纽约来教授人工智能理解语言。

FAIR正在发布它所谓的Talk the Walk，这是一个旨在供其他研究人员使用的数据集。它由三个元素组成：纽约市社区(每个社区只包括若干个街区)的小型地图，相同位置的360度照片，以及围绕这些社区互相引导的人类对话样本。 基本上，这是教授AI本身来解决这个任务所需的一切。

作为一种训练人工智能的方法，这可能听起来有点奇怪，但是FAIR正在进入一个被称为“扎实语言学习”或“体验学习”的既定研究领域。这个理论说我们可以教AI理解像人类这样的语言的唯一方法就是让他们像我们一样在现实世界中学习。

FAIR研究员Douwe Kiela在接受The Verge采访时表示，将当前的培训方法与向某人提供外语词典并期望他们自学相比， “通过自然语言处理，我们倾向于采取像维基百科这样的大型语料库和[获取AI]来寻找统计模式，这与人类的学习方式截然不同”。Kiela说， “人类能够有效地学习语言，是因为我们可以将自己的经历与周围的世界联系起来。”

当然，纽约市的一小部分并不代表整个世界。但我们的想法是，如果我们能够让人工智能在这项特定任务中取得成功，那么研究人员使用的技术也将适用于其他地方。 这是推动人工智能进步的既定方式，值得注意的数据集(如ImageNet)通常会推动整个领域的发展。

FAIR的研究人员建议团队尝试教授两个人工智能代理来导航他们的虚拟纽约地图。 一个代理人将是一位“游客”，可以看到360度的图片而不是地图，另一个是“导游”，可以看到地图而不是图片。 然后，代理人必须彼此交谈以确定游客的位置并帮助他们导航到地图上的另一个点。 游客会寻找附近的地标，如餐馆、酒吧和咖啡馆，然后导游会给他们指示方向。

想象一下Walk the Walk就像那些早期奇幻冒险游戏之一，你面对的是一个地下城走廊，你必须做出如“往北”或“向南”或“转身”这样的选择。但不必去探索一个寻找宝藏的地牢，而是你被困在纽约市的金融区寻找一个叫Snip Dogg的理发师。。

FAIR的研究人员表示，他们尚无法创建能够解决这一问题的AI代理。 (为什么?“因为它太难了!”Kiela说。)但是他们希望团队可以开始制造能够在未来几年内引导虚拟游客机器人。 FAIR为一项名为“本地化”的子任务建立了基线结果，这意味着让游客人工智能把在地图上的位置传达给导游人工智能。

整个Talk the Walk任务具有挑战性，因为它结合了许多不同的人工智能感知和语言元素。 代理人需要能够识别他们的环境，传达信息，然后与世界互动。“最终目标是让人工智能助手更好地了解人类，因为他们更了解世界，”Kiela说。“这适用于Facebook和世界上任何公司。”