第1章 AI新手认识AI

1.1 AI的历史和算法

1.1.1 AI的历史

这里的AI（Aritificial Intelligence，人工智能）是指广义范畴上的。什么是AI？问不同的AI专家会得到不同的答案，总结下来可以说：AI是一门融合了计算机科学、统计学、脑神经学和社会科学的前沿综合性学科。它的目标是希望计算机拥有和人一样的智力，可以替代人类完成识别、认知、分类和决策等多种工作。

广义范畴上的AI的知识内容如下图所示。

我们首先来回顾一下AI的历史。

1950年，图灵发表论文提出著名的图灵测试，预言了创造智能机器的可能性，这成为AI历史上第一个严肃提案。

1956年，达特茅斯会议聚集了最早的一批AI研究者，确定了AI的名称与任务。达特茅斯会议成为AI学科诞生的标志。

20世纪60年代涌现了大批的AI研究方向，包括搜索式推理、自然语言处理、机器视觉等。不少研究者对“机器可在十年左右达到人类的智能水平”这一观点持乐观态度。与此同时，英美政府每年也在研究经费上给予支持。

1974年到1980年，AI的发展遇到瓶颈，迎来了第一次低谷。数据的缺失和算力的不足使得计算的复杂性难以被解决，AI的发展陷入莫拉维克悖论。莫拉维克悖论是由AI学者和机器人学者所发现的一个和常识相左的现象：和传统假设不同，人类所独有的高阶智慧能力，如推理，只需要非常少的计算能力，但是无意识的技能和直觉却需要极大的运算能力。这个理念由汉斯·莫拉维克、布鲁克斯、马文·明斯基等人于20世纪80年代所阐释。莫拉维克说过：“要让电脑如成人般下棋是相对容易的，但是要让电脑有一岁儿童般的感知和行动能力却是相当困难甚至不可能的。”

由于研究缺乏进展，期望落空，而且还受到了业内的很多人士的批评，多国政府停止了对AI研究的资金支持。

1980年，一款名为XCON的专家系统因为每年可以为企业节省数千万美元而受到热捧，进而带动了大公司在AI上的投入，为其提供支持的产业也随之而生，日本、英国、美国等政府重新斥巨资投入AI，拨款数额高达亿级，AI又经历了短暂的繁荣期。

1987年，由于XCON等最初大获成功的专家系统的实用性仅仅局限于某些特定场景，而且难以升级，维护费用也居高不下，第二波AI浪潮迅速由热转冷。由于对AI的高预期再次落空，政府开始大幅削减费用支出，认为AI并非为下一个浪潮。

1997年，深蓝计算机战胜国际象棋冠军，这成为AI史上的里程碑事件。

2000年，互联网发展进入拐点，数据量开始逐步增长。

2012年，深度学习通过ImageNet大规模视觉识别挑战赛（ILSVRC）而名声大噪，进而被广泛应用。

2016年，AlphaGo战胜围棋选手李世石，再次将AI推向高点，资本加码、政策扶持的轮回再次开启。

AI在近年“火”起来是有原因的，核心算法的改进、数据量的增长和应用模式的成熟为AI的发展提供了天时、地利、人和的环境，AI开始从技术上突破了在产业上大规模应用的瓶颈，语音识别、图像识别等AI技术在同一时间取得了较大的突破。三个要素的成熟具体体现在以下几个方面。

① 核心算法的提升。这体现在以深度学习为代表，基于统计模型的算法的整体突破。深度神经网络（DNN）和递归神经网络（RNN）是可以很好提升图像识别和语音识别能力的核心算法。

② 大数据的发展。AI在很多方面是基于统计模型的，统计模型里非常重要的一点就是要有足够多的、符合真实世界客观事实的数据样本。以前在实验室环境下很难收集足够多的数据，现在，数据在数量、覆盖性和全面性方面都获得了大幅提升，人们可以获得的数据量更大，数据更加多维，同时覆盖更全面。此外，处理海量数据的能力非常重要，需要超级计算机、海量存储等工程技术体系的支撑。

③ 应用模式的建立。现在与以往最大的不同在于：研究技术、工程、产品、应用、最终用户的整个产业链条已经被打通，形成了大数据、移动互联网、云计算和智能化的整个循环。

1.1.2 AI的三大学派

AI在发展过程中产生了很多的学派，符号主义、连接主义和行为主义是其中最主要的三家，这些学派相辅相成，共同推进了AI的发展。

① 符号主义学派，又称为逻辑主义学派、心理学派或计算机学派，其原理主要为物理符号系统（即符号操作系统）假设和有限合理性原理。

② 连接主义学派，又称为仿生学派或生理学派，其主要原理为神经网络及神经网络间的连接机制与学习算法。

③ 行为主义学派，又称为进化主义学派或控制论学派，其原理为控制论及“感知——动作”模式控制系统。

三个学派对AI发展有着不同的看法。

① 符号主义学派认为AI源于数理逻辑。数理逻辑从19世纪末开始迅速发展，到20世纪30年代开始用于描述智能行为。计算机出现以后，符号主义学派又在计算机上实现了逻辑演绎系统，代表性的成果为启发式程序——LT逻辑理论家证明了38条数学定理，这表明了人类可以应用计算机研究人的思维构成，模拟人类的智能活动。符号主义学派在1956年首先采用“AI”这个术语，后来又发展了启发式算法、专家系统、知识工程理论与技术，并在20世纪80年代取得很大发展。符号主义学派曾长期一枝独秀，为AI的发展做出了重要贡献，特别是专家系统的成功开发与应用，对AI走向工程应用、实现理论联系实际具有特别重要的意义。在AI的其他学派出现之后，符号主义学派仍然是AI的主流派别。这个学派的代表人物有纽厄尔、西蒙和尼尔逊等。

② 连接主义学派认为AI源于仿生学，特别是对人脑模型的研究。它的代表性成果是1943年由生理学家麦卡洛克和数理逻辑学家皮茨创立的脑模型，即MP模型。MP模型开创了用电子装置模仿人脑结构和功能的新途径。它从神经元开始进而研究神经网络模型和脑模型，开辟了AI的又一发展道路。20世纪60年代至20世纪70年代，连接主义学派对以感知机（Perceptron）为代表的脑模型的研究成为热潮，但由于受到当时的理论模型、生物原型和技术条件的限制，对脑模型的研究在20世纪80年代初期进入低谷，直到霍普菲尔德教授在1982年和1984年发表两篇重要论文，提出用硬件模拟神经网络以后，连接主义学派才重新抬头。1986年，鲁梅尔哈特等人提出多层网络中的反向传播（Back Propagation，后文简称BP）算法。此后，连接主义学派势头大振，从模型到算法，从理论分析到工程实现，各项技术的发展为神经网络计算机走向市场打下了基础。当下，人们对人工神经网络（ANN）的研究热情仍然较高，但研究成果没有预想的好。

③ 行为主义学派认为AI源于控制论。控制论思想早在20世纪40年代至20世纪50年代就成为时代思潮的重要组成部分，影响了早期的AI工作者。维纳和麦卡洛克等人提出的控制论和自组织系统以及钱学森等人提出的工程控制论和生物控制论影响了许多领域。控制论把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联系起来。早期的研究工作重点是模拟人在控制过程中的智能行为和作用，如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究，并进行“控制论动物”的研制。在20世纪60年代至20世纪70年代，上述这些控制论系统的研究取得一定进展，播下了智能控制和智能机器人的种子，并在20世纪80年代诞生了智能控制和智能机器人系统。行为主义学派在20世纪末才以AI新学派的面孔出现，并引起许多人的兴趣。这一学派的代表作首推布鲁克斯的六足行走机器人，它被看作新一代的“控制论动物”，是一个基于“感知—动作”模式模拟昆虫行为的控制系统。

总结：符号主义学派认为AI源于数理逻辑；连接主义学派认为AI源于仿生学，特别是对人脑模型的研究；行为主义学派认为AI源于控制论。

AI三大学派的路线图如下。

1.1.3 AI的三次大发展

AI的第一次高潮始于20世纪50年代。在算法方面，感知机模型被提出用于模拟人的神经元反应过程，并能够使用梯度下降法从训练样本中自动学习，完成分类任务。此外，由于计算机技术的发展，利用计算机实现逻辑推理的一些尝试取得成功，理论与实践的发展带来神经网络的第一次浪潮。然而，感知机模型的缺陷在之后被发现，即它本质上只能处理线性分类问题，就连最简单的异或问题都无法正确分类。许多应用难题并没有随着时间推移而被解决，神经网络的研究也陷入停滞。

AI的第二次高潮始于20世纪80年代。反向传播算法被提出，并用于多层神经网络的参数计算，以解决非线性分类和学习问题。此外，针对特定领域的专家系统也在商业上获得成功应用，AI迎来了又一轮高潮。然而，人工神经网络的设计一直缺少相应的、严格的数学理论的支持，之后反向传播算法更被指出存在梯度消失问题，因此无法对前层进行有效的学习。专家系统也暴露出应用领域狭窄、知识获取困难等问题。AI的研究进入第二次低谷。

AI的第三次高潮始于2010年。深度学习的出现引起了广泛的关注，多层神经网络学习过程中的梯度消失问题被有效地抑制，网络的深层结构能够自动提取并表征复杂的特征，避免传统方法通过人工提取特征的问题。深度学习被应用到语音识别以及图像识别中，取得了非常好的效果。AI在大数据时代进入了第三次发展高潮。

AI的三次大发展的小结。

第一阶段（20世纪50年代至20世纪80年代）。这一阶段AI刚诞生，基于可编程数字计算机已经出现，符号主义学派快速发展，但由于很多事物不能形式化表达，建立的模型存在一定的局限性。此外，随着计算任务的复杂性不断加大，AI发展一度遇到瓶颈。

突破点：解代数应用题、证明几何定理、学英语。

第二阶段（20世纪80年代至20世纪90年代末）。在这一阶段，专家系统快速发展，数学模型的发展取得重大突破，但由于专家系统在知识获取、推理能力等方面存在不足，以及开发成本高等原因，AI的发展又一次进入低谷。

突破点：出现能够进行人机对话、翻译、图像识别的机器。

第三阶段（21世纪初至今）。随着大数据的发展、算法的革新、计算能力的提升，AI在很多应用领域取得了突破性进展，迎来了又一个繁荣时期。产生了IBM的深蓝战胜国际象棋世界冠军卡斯帕罗夫，谷歌的AlphaGo战胜围棋世界冠军李世石等一系列轰动事件。

突破点：机器学习。