为了让AI像人一样思索，DeepMind这次又干了什么？

投稿来源：脑极体

通向AGI(通用人工智能)的道路上，一直有一道庞大的鸿沟横亘在研讨者的面前，那就是人工智能关于因果关系的了解。因果关系的推断，首先关于人类自身就是一个极为复杂的问题。无论是必定性推理还是或然性推理，人类总能在复杂的事物关系中树立精妙地因果推论。且无论对错，这种才干都让人类才干超群，成为站在生物链顶端的那颗孤星。

想象一下，假定你带着女儿去参与一个夏令营，在那里你遇到一个成年女人带着一个小女孩。你很可能会判定那个女人是小女孩的母亲。过了几个星期，你又在你住的左近的一家咖啡店里，你再次看到这个小女孩，但这次她是由一个成年男人带着。基于这两段察看到的事实，你基本能够推断，这个男人和女人有一定的关系。但能否是夫妻关系或者别的关系，就会触及到更多信息，诸如男人和女人的年龄、衣着品味和小孩子的密切水对等等信息。

在这一场景中，我们能够基于在较大跨度的时间、地点中的发作的事实关系中止相关的因果推论。我们把这种在复杂的事物关系中的这种推论称为“长距离推理”。

AI能否控制这一才干?关于目前熟知的一些AI技术，经过数据库对他们中止人脸辨认很容易;假如再给定他们相关身份的学问图谱，AI也能够认出他们。但假如仅给出以上事实场景(关于AI来说是单独的图像)，而不提供任何其他信息，AI能否从图像描画的事实中树立缘由果推理么?

这一次，DeepMind的最新研讨中为AI中止 “长距离推理”提出了一种处置计划。近日，DeepMind公开发表了一篇为ICLR 2020会议提交的论文《MEMO：一种用于情形记忆灵活组合的深度网络》。论文主要提出了一种能够增强现有深度神经网络架构的推理才干的新架构——MEMO。MEMO具有长距离推理的才干，即能够发往常记忆中的多个事实之间的长距离的关系。

那么MEMO的实践表示如何？MEMO这一新的深度神经网络关于AI展开的意义是什么?这些问题依旧需求我们思索和解答。

为什么长距离推理如此重要?

为了讨论长距离推理的重要性，首先我们需求知道感知、记忆、命名、事实、判别以及推理、行动的内涵和关系。历史学家尤瓦尔·赫拉利在《人类简史》中提到的“人的虚拟才干”也就是“人能够想象不存在事物的才干”成为智人打败其他物种的决议要素。但他依旧把复杂问题的解释简单化了。

只需你认真审视自己的日活生活，我们简直都在依照上述认知才干在思索和行动。我们经过感官认知外界构成感知，这时只是一些时空中的理性要素;然后由我们大脑分辨后对其中特别留意的要素(其他大量信息沦为认识的背景)中止命名，从而构成一个事实;再经过大脑的联接才干，把命名经过逻辑词衔接起来构成判别;然后，经过过去阅历的总结和对未来的想象，我们构成相应的推理，最后据此构成计划和实施步骤，最后构成行动。当然，这一系列过程都简直发作在认知的短暂瞬间，致使于很多人忽视认知的复杂性。

我们能够举一个形象的例子。就在写作此文的同时，笔者的二岁半的女儿曾经在客厅拿着塑料的喷壶和铲子对着空气做出舀水、喷水的动作，同时还喊出“水、湿了、擦擦”的单词。两岁半的女儿就好像人类的童年时期，她学会察看和分辨了身边的物品，然后又学会给不同的事物命名(杯子、鞋、壶)，然后又能了解事物之间的关系做出因果推断(壶能够用来盛水、铲子能够用来搬运东西);并且最凶猛的是，她还能虚拟眼前不存在的事物，就好像孩子在想象用铲子给喷壶舀“水”，又把“水”从喷壶里倒了出来，弄“湿了”空中或者她的鞋子。以至于她还能“条件反射”地想起大人们曾重复强调“弄湿了东西要擦洁净”的训诫，试图去找东西来擦拭基本不存在的“水”。

假如说许多动物能够制造和运用工具，而且运用起来比二岁小孩还熟练，但他们依旧无法完成人类小孩关于并未实践发生事情的想象的推理和计划才干。这份独属于人类的天赋怎能不令我们惊奇和自豪。

借用图灵奖得主朱迪亚·珀尔在《为什么：关于因果关系的新科学》关于人的三种不同层级的认知才干的分辨：察看、行动和想象(seeing、doing、imagining)，我们再深化讨论下当前人工智能能够做哪些或者说还不能做哪些?

第一层是察看才干，即察看到事实A与事实B，随后树立起事实A与事实B的判别X，基于判别X，会影响我们得出另外一个结论Y。好比哲学上经典的三段论：我们察看到一个人(事实A),人们都把他称作苏格拉底(事实B)，我们得到“苏格拉底是人”(判别X);我们还控制了一条颠扑不破的谬误：凡人皆有一死(判别Y);最后，我们得出：苏格拉底会死(结论Z)。请不要小看这一才干，我们正是依托强大的判别才干构成阅历，让人类从残酷的自然选择中取得胜利。

第二层是干预才干，即实施干预X或Y，会构成怎样的结果Z。以上例子继续假定，假如我们对“苏格拉底是人”中止干预，好比，当时的人们将苏格拉底崇高化为像耶稣一样的人物，即便他的确是喝下毒药而身亡，但由于曾经“从人变成了神”，所以，我们就能够得出“苏格拉底没有死”的结论。这一假定看似荒唐，正是由于这些才干，我们能够中止育种、畜牧、开采，树立宗教、城邦和帝国组织等，人类文化短短几百年对自然的干预曾经超越之前数百万年的影响。

第三层是反事实的才干，触及到人类的想象和深思才干。即假如判别X或Y惹起了却论Z，那么，假如X、Y没有发作，那么结论Z也会变更。再假定，人类发明了时间机器且发明了长生不死的药物，那我们回到古希腊雅典的监狱，将毒药换成了长生不死药喂给了苏格拉底，判别Y被推翻，同样改动了却论Z。正是这些更为夸大的想象，让人类提出科学假说、树立像相对论、量子力学等等的学问系统，中止文学艺术发明等特殊才干。

那么，目前人工智能处在模仿人类智能的哪个层级。假如你对人工智能有多少达观，那结论就会有多失望。目前即便是成果斐然的深度学习算法，依旧处在这三层认知才干的第一层，其聪慧的难度跟猫头鹰察看老鼠出没与否的才干不相上下。

固然机器学习特别是深度学习算法在好比图像辨认、语音辨认、无人驾驶、棋牌游戏对战等众多范畴能够超越人类，但其方式依旧是“由一系列察看结果驱动，努力于拟合出一个函数……深度神经网络只是为拟合函数的复杂性增加了更多的层次，但其拟合过程依旧由原始数据驱动……处于因果关系之梯的任何运转系统都不可避免地缺乏这种灵活性和顺应性。”

这意味着，机器学习及深度神经网络的算法，只是应用关于输入数据的相关性关系的拟合，而不了解因果关系，那么人工智能就不能从第一层认知上升到第二层级，无法回答有关干预的种种问题。

以上作为了解背景稍显冗长。但MEMO所完成的长距离推理才干，在我们所述的三个认知层次上有了一个显著性的位置。MEMO成为深度神经网络开端具备长距离因果推理才干的一次胜利尝试，也答应以视作人工智能从第一层级向第二层级的跃迁上搭建了一个更好的阶梯。

MEMO算法的创新之处

首先，MEMO参考了神经科学中的“联想推理”的才干，他们从最新的对海马体的研讨中取得了措施灵感。海马体经过一种被称为“方式分别”的过程中中止独立地记忆贮存，以最大限度地减少记忆之间的干扰;同时最新的研讨又指出，这些被独立存储记忆经过循环机制中止检索以完成整合，从而支持众多单个阅历的灵活组合，以推断其不曾察看过的关系。最终由此而构成推理。

DeepMind 研讨人员称，他们正是从这一神经科学模型的研讨中取得启示，来研讨和增强机器学习模型中的推理才干。

MEMO 相较于之前的推理系统，引入了两个新的组件：第一它引入了存储在外部记忆中的事实与构成外部记忆中这些事实的项之间的分别;第二个它应用自顺应检索机制，在产生答案之前允许有一些可变数量的“记忆跃点”。

进一步解释下。第一个组件：MEMO采取了基于EMN(End-to-End Memory Networks，端到端记忆网络)的呈现外部记忆表征的基本结构，但其新结构中参与了经过参照海马体机制设计的新的任务PAI(Paired Associative Inference，联想配对推理)，它允许对记忆中的单个元素中止灵活的加权，以增强推理的才干。

第二个组件：在运转中，还需求处置计算时间过长的问题。在规范的神经网络中，计算量是基于输入的函数的大小而增长，而MEMO更希望让计算时长跟任务的复杂度相关。为此，它从人类联想记忆的方式中引入了一种被称为“REMERGE(重现)”的模型。在该模型中，从记忆中检索到的内容作为新的查询被重新循环，然后应用在重新循环过程中的不同时间步骤检索到的内容之间的差别来计算网络能否顺应在固定点上。MEMO能够采用一种“终止战略”，经过网络输出一个动作(在强化学习的意义上)，表示它能否希望继续计算和查询其记忆，或者它能否能够回答给定的任务。并在强化学习中引入一个新项——二进制中止随机变量(the binary halting random variable)，以最小化预期的计算步骤。

基于这两个新组件的参与，MEMO在下面三个阅历性结果的任务测试中取得显著的优势成果，从而也证明了这两个组件的有效性。

三组结果考证：MEMO与另外两种内存增强架构：EMN和DNC(the Differential Neural Computer，微分神经网络)以及UT(Universal Transformer，普遍转换器，bAbI任务套件中的最新模型)中止了比较。

1、关于联想配对推理：在较小汇合的推理查询上，MEMO能够和DNC一样抵达最高的精确度，而EMN即便有4或10跳，也不能抵达相同的精确度，而且UT也不能精确地处置这个推理测试。而关于较长的序列分离(即下面的长度4和5)，MEMO是独一胜利地回答最复杂推理查询的架构。

2、关于随机生成图形的最短途径的测试：表 2 显现与查找最短的两个节点之间的途径。在只需10个Nodes的短途径上，DNC、UT和MEMO具有圆满的预测时中间最短途径节点的精确性。在20个Nodes的长途径上，MEMO 在具有高度连通性的更复杂的图形中优于 DNC，在最短途径中预测两个节点时，效果更超越 20%。

3、关于BABI任务的问答测试上：在10k锻炼集中，将 MEMO 与两个基准模型以及UT模型中止了比较，结果显现，MEMO独一能够在较长的序列上胜利回答最复杂的推理查询的体系结构。

显然，MEMO在基于记忆表征的长距离推理的改进十分明显，而其创新之处在于它采用了神经科学所应用于测试推理的联想配对推理措施的新型结构。这也从背面证明了神经科学中关于记忆推理的假定：记忆中事实元素的分别贮存与强大的留意力机制组合，在经过对记忆存储中的单个元素的灵活组合来完成推理。

MEMO：通往AGI的正途?

从一开端，AGI就是DeepMind降生之初的目的。DeepMind开创人德米斯·哈萨比斯很早就采用了神经科学的措施来研讨AGI。

早在2010年8月，DeepMind创建前的三个月，哈萨比斯经在当年的奇点峰会上发表了一个题为“一种经过系统神经科学措施构建AGI”(A Systems Neurosciences Approach To Building AGI)的演讲。

在演讲中，他回应了之前两种接近AGI的方向：一是经过意味性AI，即经过描画和编程体系来结构人类大脑的思索体系，其失败之处就是操作难度太大，难以真实描画大脑的结构。二是经过数字方式复制大脑的物理网络结构，这一措施很有意义，但这一任务重点放在恢复大脑的物理功用却不能解释人类聪慧的运转规则。

经过比较，哈萨比斯采取了折中道路：AGI应该从大脑处置信息的宏观措施中得到启示，而不是从其物理结构或者说大脑的特定脑区功用去寻觅措施。简言之，AGI应专注于了解人脑的软件功用，而非硬件功用。经过磁共振成像(FMRI)等新技术，使得人们能够察看人类各种思想活动时大脑内部的活动，从而能够了解其运作机制。而AI研讨应当效仿人类的大脑系统。

这奠定了DeepMind的研讨思绪，人工智能就应该像人一样学习和思索。这意味着，DeepMind深信，神经科学研讨所找到的“大脑算法”能够被神经网络所参照和运用。反过来，这套机制在神经网络机制上的胜利理论，又反过来促进神经科学的展开。

显然，从MEMO的效果而言，模仿人脑神经网络机制的措施似乎能够作为通向AGI的一条通路，但这条路也绝不是坦途，好比眼前这道“因果关系推理”的庞大鸿沟。MEMO的提出，仅仅是在为逾越这道沟壑搭建出的一步重要的阶梯。

在通向AGI的征途里，深度学习等技术还将持续进化，它需求先沿着“因果关系”的这道鸿沟向下，深化到人类因果性认知的各个低谷，好比腾跃式联想、条件干预的因果预测、反事实推理等等，才有可能重新向上逾越鸿沟。

道阻且长，AGI的黎明不会很快到来。但正由于DeepMind这样的AI研讨机构的努力，才干让暗夜中探求的人们一直心胸火种。