Yan LeCun强推的AI简史:两大流派世纪之争,神经网络华丽回归.doc
《Yan LeCun强推的AI简史:两大流派世纪之争,神经网络华丽回归.doc》由会员分享,可在线阅读,更多相关《Yan LeCun强推的AI简史:两大流派世纪之争,神经网络华丽回归.doc(23页珍藏版)》请在三一文库上搜索。
1、Yan LeCun强推的AI简史:两大流派世纪之争,神经网络华丽回归2010年以来,基于机器学习(尤其是深度学习)的预测算法在一些领域取得了极大的成功,比如说图像识别和机器翻译。而我们把这些算法都称作是人工智能(AI)。不过,深度学习成为这些领域的主流并不是一蹴而就的。在人工智能纷繁的历史中,联结主义(神经网络就属于联结主义)长时间被符号主义所排斥。这篇论文通过符号主义和联结主义之间的斗争,回溯了人工智能的历史,以及最近深度学习的出现。在这篇被Yan LeCun等多位大咖推荐的法语文章中,我们将看到,联结主义的科研者们是如何使用大量的数据和强大的算力,一步步用控制论时代的自适应推断机,并主导了
2、符号主义提出的人工智能项目。大数据文摘将全文翻译如下,enjoy。2012年10月 ECCV 会议中的一幕将成为计算机发展史上的一个传奇。ECCV几乎汇集了计算机视觉领域的所有优秀的研究人员。“所以在2012年 ECCV 组织的比赛中,谁赢了?”是Hinton,神经网络之父!他给计算机视觉领域带来了一场地震他和他的学生提供的系统将传统的方法打的一败涂地,而之前他甚至在该领域鲜有研究。他的学生Alex Krizhevsky提出的AlexNet类似于一个黑箱,Alex对这个黑箱说:“你给我好好训练,等可以得到好的结果了,就结束吧。”当时他们使用带有 GPU 的机器进行训练。但是和现在相比,机器的算
3、力还是很有限的,但他们通过一些技巧使GPU之间的通信变得高效,并控制了通信的性能损耗。这绝对是一个疯狂的机器,否则它永远不会成功。那个时候,计算机视觉领域的研究人员都在为 ImageNet 这个数据集感到兴奋。这个数据集有120万张带标签的图片,共有1000多个类别,是衡量比较不同的模型的基准。第一名的错误率是27.3%,第二名是27.18%,第三名是27.68%。而 Hinton 他们使用了AlexNet:“我们跑的模型很深,我们的错误率是17%”,这个错误率比之前最优模型减少了10%。Alex 这个穿黄衣服的极客,他做到了!他宣布结果,房间里的所有人都震惊了。他也不能解释为什么要使用这样的
4、技巧,他只是造了一个黑箱,然后让它自己训练,而他甚至对这个领域一无所知。在那里,他对面是李飞飞,而Yann LeCun坐在房间里面,正站起来准备回答问题。(李飞飞是计算机教授,斯坦福SAIL 实验室的负责人。Yann LeCun 现在是Facebook FAIR 实验室的负责人,同时也是神经网络的奠基人之一。)计算机视觉领域的人试图反驳 “这样做是不行的,物体识别不能用这种方式来做” 这些技术最终都落地了,这大概是因为它们默默的发展了十年然后厚积薄发吧。很多人想探究这类方法取得这么好结果的深层原因。深度学习可以看作一个黑箱,它有很深的结构,一亿个参数。它通过大量的数据进行训练,然后震惊了整个计
5、算机视觉领域。“如果输入的图片有一些扰动,你的模型还能给出一样的结果吗?”,有人问。Alex 自己也无法回答这个问题。还是 LeCun 作出了回答:“这个模型能处理这个问题,是因为”。LeCun 非常高兴,李飞飞问他“Yann,这个模型和你在80年代发明的模型有根本上的不同吗”,Yann 回答说:“不,它们完全一样,并且它赢得了所有的比赛。”深度学习在图像分类任务的成功改变了其相关技术在科学社区长期边缘化的境况。在这个令人吃惊的结果后面,是对这个新方法有效性的质疑,对传统方法未来的担忧,对这个新闯入者理论知识缺乏的嘲笑,对新方法带来的改变的疑惑自2010年以来,神经网络对计算机领域产生了深刻的
6、影响,比如说:信号处理,语音处理,自然语言处理。这个新的方法可以直接把原始数据作为输入,而不需要人工提取特征。它还可以通过大量的数据来优化模型,产生令人瞩目的结果。图1 简单展示了这个转变:由假设演绎模型变成了归纳模型。计算过程,程序,模型的规则,在旧的系统中需要人工设置,而在这个新的系统中它们则成了学习的目标。图1 就展示了这种转变。符号主义 vs 联结主义神经网络在2012年的 ECCV 取得了巨大的成功,但它并不是什么新东西。利用强大的算力,以及大量的数据,现在已经可以满足控制论的一些要求。只是最近用于描述这些技术的术语是人工智能( AI )。John McCarthy 于1956年提出
7、了人工智能这一概念。目前在机器学习领域,尤其是深度学习领域,预测算法正在取得重大进展,但把这些技术归于人工智能并不严谨。在历史上,神经网络(以前叫联结主义)长时间被符号主义所鄙视。这两种方法之间的紧张关系在人工智能刚诞生并与控制论划清界限时就开始了。符号主义的学派以认知主义为基础构成了AI的初步框架:认知就是通过对有意义的表示符号进行推导计算。然而,联结主义认为认知可以看作大规模并行计算, 这些计算在类似于人脑的神经网络中进行,这些神经元集体协作并相互作用(Andler,1992)。这两种思想下造出的“智能”机器区别是巨大的。今天我们正在目睹科技史的一个伟大的逆转:之前在人工智能领域被边缘化的
8、联结主义重新回归。就像Michael Jordan (2018) 讽刺的那样:“维纳提出的方法却披着McCarthy发明的术语的外衣”。维纳提出了控制论,我们现在使用的神经网络就可以看作控制论,而人工智能(AI)这个术语是 McCarthy 发明的。为了讲清楚这些互相交叉的理论方法,首先我们可以根据 Web of Science(WoS)收集的出版物数据来进行统计。观察提到“人工智能”,“符号主义”,“联结主义”文章作者的共引网络就够了。我们可以在图2中看到我们将在本文中将提到的主要人物的名字,他们已经根据不同的科学社区进行了区分。在联结主义社区的中心是 Rumelhart, LeCun 和
9、Hinton。他们是深度学习的奠基者。他们周围也有很多其他研究人员 (Holland, Hopfield), 还有一些人为传统的机器学习方法作出了极大贡献,如 Breiman, Mitchell 和 Vapnik。在符号主义那边,核心人物如McCarthy, Minsky, Simon et Newell可以看作 AI 的创立者。他们周围也围绕着一群人,如 Dreyfus, Searle, Brooks,他们为认知模型、专家系统等等做出了重要贡献。图3如果我们看从1935年到2005年出版的 AI 论文,联结主义和符号主义之间的斗争似乎更加直观。在图3中,我们看到了最初联结主义和控制论的诞生。
10、然后,从20世纪60年代初开始,符号主义主导和定义了人工智能。最后,直到20世纪90年代中期,在人工智能的第二个寒冬之后,联结主义开始使用深度学习的名头在科学出版物中占据主导地位。为了对人工智能系统有个整体的认识,我们引入三个词语,世界(monde),计算器(calculateur),以及视野(horizon)。这些词在不同的情况下有不同的含义:世界可以是:环境输入数据知识数据,计算器可以是:计算程序模型代理(agent),视野可以是:目标函数结果输出。我们讲,这个预测系统安装了一个计算器来根据世界计算一个视野。在 AI 的历史中,世界,计算器,和视野的实体一直不停的变化。对这三部分的架构,研
11、究人员还提出了种种截然不同的方式。AI 从符号主义转向联结主义并不是突然发生的结果,也不是说一种比另一种更有效。这个转变过程是不同方法和科学社区之间的重新组合与竞争。这也影响了计算技术,所需要处理的数据格式,目标,以及需要解决的问题 (Latour, 1987)。现在我们稍微总结一下这些概念:符号主义的研究人员尝试着人工设计计算器,世界,和视野。而联结主义的研究人员则相反,他们尝试把计算器清空了,让世界来自己得出它的视野。控制论和最开始的联结主义神经网络起源于早期的计算机以及控制论,虽然最开始它并不是叫这个名字,我们叫它联结主义。神经网络这个词由神经学家 Warren McCulloch 和
12、逻辑学家 Walter Pitts 在 1943 年提出,最初含义是指给人脑的神经网络进行数学建模。那篇文章一直被深度学习的文章引用至今,甚至可以看作联结主义的起源。从图3我们可以清楚的看到,在控制论的早期阶段,联结主义一直占据着主导地位。那篇文章所描述的是:神经元接受不同的输入,然后会计算出一个加权和。如果这个加权和超过一个阈值,会激发这个神经元。当时这个概念并没有和人工智能联系起来,“人工智能”这个词语还不存在。直到1949年神经学家 Donald O. Hebb 才把神经网络和机器学习联系起来。他发现神经元之间通过突触信息被激活可以看作一个学习过程。受此影响,神经网络模型变成了控制论的一
13、个重点,并成了第一台“智能”机器的计算器的核心 (Dupuy, 2005)。世界和计算器之间的耦合这类系统的特点在于它们与环境(世界)之间紧密耦合,以至于没有必要为它们的计算器配备特别的部分。控制论提议直接弄一个简单的黑箱,将这个黑箱的学习与视野联系起来,通过测量世界和机器行为的误差来调节黑箱里的参数。这种机器智能行为主要基于信息,而不同于人工智能诞生时用的符号主义(Triclot,2008)。这个信息所指的是编码之前的信号。根据 Shannon 的信息论,信息被视为一种纯粹的形式,它表示 “事物中的有序程度或结构”(Triclot,2008)。然后,控制论将其计算的视野定义为对世界的输入和输
14、出的比较。在Norbert Wiener 的防空导弹制导系统里,预测装置的训练过程就是通过比较目标有效轨迹与上一步的预测轨迹之间的区别,然后不断更新系统。这个设备可以根据给定的数据对计算器进行更新,然后收敛到最佳的结果。负反馈系统(将输出误差变为自适应系统的新的输入)就变成了控制论的主要部分。这也参考了当时的行为心理学(Skinner,1971),参考了生物器官的一些行为,机器可以根据环境信号来进行自适应,而不需要在内部给它设置一些规则,总之智能需要有自我学习能力。Arturo Rosenblueth, Norbert Wiener 和 Julian Bigelow 在 1943 年定义了控制
15、论的基本原理,他们想象一个能够自我纠错的机器,通过概率的方法根据目标以及所犯的错误对结果进行修正,这就是一个自适应的过程。以严格的“消除主义”思想,控制论里的系统可以没有意图,计划,或推理的概念(Galison,1994)。Ross Ashby (1956, p. 110) 把系统的计算器部分描述是一个黑箱,控制论里的预测系统的配置与世界和计算器紧密相关,它的视野是系统对自己的自适应优化。 20世纪50年代的控制论系统(Homeostat,Adaline等)由于算力限制,只能算是实验室里的一个玩具,但现在随着算力的提高以及更多的数据,深度学习可以更有效地配置训练这个黑箱。感知机和联结主义系统M
16、cCulloch和Pitts提出的神经网络给计算机视觉领域提供了一种特别适合的解决方案,用计算机配备这些原始的自适应机器。在20世纪50年代后期,神经网络经历了一次重大的发展,进入了一个类脑机器计划。联结主义受到了很多其它工作的启发,包括 Bernard Widrow 的 Adaline,斯坦福大学 Charles Rosen 的 Shakey, Pandemonium, Oliver Selfridge 的混合系统 (1960)。康奈尔大学的心理学家和计算机学家 Frank Rosenblatt 提出的感知机可以算是一个真正的联结主义系统,并且成为了计算器产生智能行为的标志。这种用于图像识别
17、的系统受到了很多关注,并从美国海军(ONR)获得了大量资金。Frank Rosenblatt 设计的机器受 McCulloch 和 Pitts 提出的神经网络的启发,同时增加了学习机制。在感知机叠加的各层中,输入神经元模拟视网膜活动,输出神经元对系统识别的“特征”进行分类,只有中间的隐藏层才能学习。与 McCulloch 和 Pitts 提出的“下行”组织不同,Frank Rosenblatt 提出采用自下而上的方法,用学习机制统计学习网络结构。在软件实现感知机之后,Frank Rosenblatt 将开始构建硬件版本的感知机:Mark I,它将400个用光电设备组成神经元。 突触权重由电位计
18、编码,并且学习期间的权重变化由电动机执行。由于当时的技术限制,这类物理实现的感知机还是很罕见的。并且,由于人工智能另一个分支, 符号主义的发展,这部分研究趋于停滞。符号主义Dartmouth, John McCarthy 和 Marvin Minsky 在1956年达特茅斯举行的会议中提出了人工智能(AI) 这个词语,用来反对早期控制论里的联结主义 (Dupuy, 2005)。他们觉得机器根据输入和输出进行自适应调整是不够的, “符号主义” 人工智能的目标是把人工定义的程序算法和规则放入计算机系统中,这样可以从更高一级来操纵系统。所以AI诞生之初对联结主义的一些观点是排斥的。如图3所示,符号主
19、义从19世纪60年代中期到90年代初,一直在人工智能领域占主导地位。符号主义的最初工作由 Herbert Simon 和 Allen Newell 在19世纪50年代推动。1956年,他们写了第一个人工智能程序 Logic Theorist ,让机器来模拟做决策的过程。这个程序完成的任务也经常被人工智能的研究人员使用。他们宣布: “这个圣诞节我们发明了一个有思维的机器”。从1956年到70年代初,推理模型都是早期AI的核心。这个领域的研究迅速被一小部分机构和人给统治:MIT (Minsky, Papert), Carnegie Mellon (Simon, Newell) 和 Stanford
20、 University (McCarthy)。尽管这个研究圈子内部有一些分歧,但是他们几乎垄断了 AI 研究的一切,包括资金以及大型计算机的使用权。从1964 到 1974,ARPA和空军用于研究人工智能75%的资金都被他们拿走了。他们的项目也争取到了当时为数不多的算力资源。在ARPA,受益于 Joseph Licklider的坚定支持,符号主义项目获得了科研资金,同时也可以通过在军事系统上的应用来验证系统的合理性。在19世纪60年代初,继承自控制论的联结主义方法由于 Frank Rosenblatt 提出的感知机产生了一股热潮。尽管还是一名学生,他开发出了一个神经网络系统 Snarc(195
21、1)。Marvin Minsky 说符号主义所领导的具有优美数学的AI正面临着“神秘”,“被浪漫主义气氛包围”的自组织系统和联结主义的挑战 (Minsky et Papert, 1969)。通过对单层感知机的分析,他和 Simon Papert 证明了神经网络不能实现异或(XOR)操作,所以觉得它们是没有未来的。正如 Mikel Olazaran (1996) 所介绍的,Minsky 和 Papert 的策略是通过流行的符号主义来对人工智能进行定义。即使这本书的造成的影响可能并不是作者的本意,其后果也将是不可改变的:在1971年 Frank Rosenblatt 英年早逝之后,神经网络被抛弃,
22、相关项目的资金资助被停止,神经网络离开了人工智能领域。对符号进行操作的空间符号主义的机器的主要特征是打破了与世界的耦合,并赋予了计算器一个自主的推理空间。在这个完全对计算器开放的编程空间里可对符号进行操作。20世纪50年代建立的冯诺伊曼架构,就是这样一个空间。设计于计算导弹弹道的ENIAC(1946)本想在硬件中给机器“编程”,但后来分离了软件和硬件,软件用执行基于符号的逻辑运算,而硬件是机器的物理结构 (von Neumann, 1945) 。于是一个独立于硬件,专门用于程序的空间产生了。硬件变成“计算程序的中央化通用型自动机”(Goldstine,1972,pp.198-199),而编程,
23、根据艾伦图灵(2004,p.21),变成了“文书工作”。Paul Edwards(1996)表明,接近人类语言的高级编程语言的出现(再编译成0/1形式的机器语言)使分离物理机器和符号机器成为可能。人工智能从此可以说是关于机器的思想的科学。编程语言也是人工智能对计算机科学的最早贡献之一。符号操作空间的出现与认知科学的出现 (1956) 有关。认知科学反对行为主义心理学极其控制论的“黑箱”概念,它的任务是赋予机器抽象和逻辑能力。认知科学也与联结主义不同,不关心生理学和人的行为,只关注推理。计算思想的理论,基于二元论,被构建出来:假设精神状态可以同时被物理地和符号地描述;物理式描述,如对信息的一系列
24、物理性处理,符号式描述,包括符号操作,机械操作,比较,层次、推断 (Andler,2016) 。这一假说也称为“物理符号系统”,假设思想不能直接与世界交流,但世界在思想内部的表示和思想所为可以被嵌在程序中的符号描述和组织。一个“玩具”世界符号主义机器的世界只是一个舞台背景,机器把它的逻辑原则的语法投射到世界:国际象棋,跳棋游戏(Arthur Samuel),几何定理证明 (Herbert Gelertne),就像电子游戏的背景。 第一波人工智能的特点是发明了简化的空间,空间形式需要机器去认识和改动,例如Marvin Minsky的计算机环境Microscope (MAC) 或Terry Win
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Yan LeCun强推的AI简史:两大流派世纪之争,神经网络华丽回归 LeCun AI 简史 流派 世纪 神经网络 华丽 回归
链接地址:https://www.31doc.com/p-3275427.html