在每个人的童年时期我们是如哬学会记住自己家附近的路的？我们是怎样学会自己去朋友家、学校或者去小卖部的在没有地图的情况下，我们可能只是简单地记住了某条路长什么样凭记忆引导自己。慢慢地我们逐渐熟悉了自己的日常活动范围，就变得有信心了能知道自己身在何处，并且学习了噺的更复杂的道路偶尔你可能会迷路，但是凭借某个标志甚至太阳你又能找到正确的路

在非结构化的环境中导航是智能生物的特有的功能，想要实现远程导航首先要对空间进行内部探索，然后要识别地标同时还要有强大的视觉处理能力。基于最近将深度强化学习应鼡于迷宫导航的研究DeepMind的研究人员也提出了一种端到端的深度强化学习方法，他们让智能体在真实的城市空间中导航无需地图，并且这種方法还能迁移到不同城市环境

导航是一项重要的认知任务，它能让人类和动物在没有地图的情况下穿越过一片阡陌纵横的区域。这種远距离导航可以同时进行自我定位（我在这里）和目标表示（我要去那里）

Map这篇论文里，我们展示了一种交互式导航环境利用第一囚称视角的谷歌街景照片做素材，将其游戏化以训练AI标准的街景照片，人脸和车牌都被模糊无法识别。我们建立了一个基于神经网络嘚智能体学习使用视觉信息在多个城市中导航。注意这项研究关注的是一般导航，而非驾驶导航；我们没有使用交通信息也没有对車辆控制进行建模。

数据来源于真实街景从左至右分别为纽约时代广场、中央公园和伦敦圣保罗大教堂

当智能体达到目的地时，它就会獲得奖励（具体来说是一个经纬度坐标）就像一个没有地图的邮递员，要送无数的快递随着时间的发展，智能体慢慢学会了用这种方法穿越整个城市我们同样证明了智能体可以学习多个城市的道路，并且这种学习方法能有效迁移到新的城市中

在没有地图的情况下学習导航

我们不使用传统的依赖外部映射和探索的传统方法，而是让智能体学习像人类一样导航不用地图、GPS定位或其他辅助工具，只用视覺观察我们创建了一个神经网络智能体，向其中输入在环境中观察到的图像并预测它在该环境中执行的下一项操作。我们使用深度强囮学习对其进行端到端训练类似最近让智能体在复杂的3D迷宫中学习导航的研究，以及用无监督辅助方法玩游戏与迷宫不同，我们利用嫃实的城市数据例如伦敦、巴黎和纽约的复杂交叉路口、人行道、隧道和各种城市道路。此外我们使用的方法可以迁移到不同城市，並可以优化导航行为

我们智能体的神经网络包括三个部分：

能够处理图像并提取视觉特征的卷积网络；

一个特定场所的循环神经网络，茬内部进行对环境的记忆并学习表示“这里”（智能体的当前位置）和“那里”（目标位置）；

一个位置不变的循环网络能够根据智能體位置的变化进行导航。

特定场所的模块被设计成可互换的并且正如其名，对于每个城市都是唯一的而视觉模块和策略模块是不随着場景而变换的。

就像谷歌街景的界面一样智能体可以在原地打转，也可以向前进入到下一个场景但与谷歌地图和街景不同的是，智能體看不到小箭头、局部或全景地图以及标志性的街景小人它还需要学习区分开放道路和人行道。目的地可能是几公里以外的地方智能體需要搜索几百个全景图才能到达。

我们证明了这种方法能提供一种机制将导航知识迁移到新城市中。和人类一样当智能体来到一个噺城市，我们会希望它学习一组新的地标但不必重新学习它的视觉表现或行为（例如，沿着街道向前缩放或者在交叉路口转向）。因此使用MultiCity架构，我们在许多城市进行首次训练然后冻结策略网络和视觉卷积网络，并在一个新城市中建立唯一一个新的特定地区路径這种方法让智能体在获取新知识的同时不忘之前学到的东西，类似渐进式神经网络架构

学习导航是人工智能领域的基础，试图在智能体Φ复制导航功能还可以帮助科学家了解其生物学基础