智能科学

智能科学研究智能的本质和实现技术,是由脑科学、认知科学、人工智能等创建的前沿交叉学科。脑科学从分子水平、细胞水平、行为水平研究自然智能机理，建立脑模型，揭示人脑的本质； 认知科学是研究人类感知、学习、记忆、思维、意识等人脑与心智活动过程的科学； 人工智能研究用人工的方法和技术，模仿、延伸和扩展人的智能，实现机器智能。智能科学不仅要进行功能仿真,而且要从机理上研究和探索智能的新概念、新理论、新方法。

本书系统地介绍智能科学的概念和方法，吸收了脑科学、认知科学、人工智能、信息科学、形式系统、哲学等方面的研究成果，探索自然智能和机器智能的机理与规律。

本书可作为大学高年级本科生和研究生的“智能科学”“认知科学”“神经信息学”等课程的教科书，也可作为从事智能科学、人工智能、认知科学、脑科学、神经科学、心理学等领域的研究人员的参考书。

中国科学院计算技术研究所研究员， 中国计算机学会会士，中国人工智能学会会士，IEEE高级会员，IFIP TC12 智能主体工作组主席。博士生指导教师。1968年毕业于中国科学院研究生院。长期从事计算机、智能科学的研究。 1979年获中国科学院科技进步二等奖。1994年获中国科学院科技进步特等奖。1998年获中国科学院科技进步二等奖。2001年获中国科学院科技进步二等奖。2002年获国家科技进步二等奖。发表著作14部和学术论文450多篇。现兼任国际信息处理联合会(IFIP)人工智能技术委员会(TC12)委员、太平洋地区人工智能指导委员会常务理事、曾担任中国人工智能学会副理事长、中国计算机学会秘书长。曾多次担任国际学术会议程序委员会主席或委员。

目录

第1章绪论

1.1智能革命

1.2智能科学的兴起

1.3脑科学

1.4认知科学

1.5人工智能

1.6智能科学的研究内容

1.7展望

第2章神经生理基础

2.1脑系统

2.2神经组织

2.2.1神经元的基本组成

2.2.2神经元的分类

2.2.3神经胶质细胞

2.3突触传递

2.3.1化学性突触

2.3.2电突触

2.3.3突触传递的机制

2.4神经递质

2.4.1乙酰胆碱

2.4.2儿茶酚胺类

2.4.35羟色胺

2.4.4氨基酸和寡肽

2.4.5一氧化氮

2.4.6受体

2.5信号跨膜转导

2.5.1转导蛋白

2.5.2第二信使

2.6静息膜电位

2.7动作电位

2.8离子通道

2.9脑电信号

2.9.1脑电信号分类

2.9.2脑电信号分析

2.10神经系统

2.10.1中枢神经系统

2.10.2周围神经系统

2.11大脑皮质

第3章神经计算

3.1概述

3.2神经元模型

3.3反传学习算法

3.3.1反传算法的原理

3.3.2反传算法的数学表达

3.3.3反传算法的执行步骤

3.3.4对反传网络优缺点的讨论

3.4Hopfield模型

3.4.1离散Hopfield网络

3.4.2连续Hopfield网络

3.5自适应共振理论ART模型

3.5.1ART模型的结构

3.5.2ART的基本工作原理

3.5.3ART模型的数学描述

3.6神经网络集成

3.6.1结论生成方法

3.6.2个体生成方法

3.7脉冲耦合神经网络

3.7.1Eckhorn模型

3.7.2脉冲耦合神经网络模型

3.7.3贝叶斯连接域神经网络模型

3.8神经场模型

3.8.1神经场表示

3.8.2神经场学习理论

3.9超限学习机

3.10功能柱神经网络模型

3.10.1模型与方法

3.10.2单功能柱模型的模拟结果

3.11神经元集群的编码和解码

3.11.1概述

3.11.2熵编码理论

3.11.3贝叶斯集群编码

3.11.4贝叶斯集群解码

第4章心智模型

4.1心智建模

4.2图灵机

4.3物理符号系统

4.4ACT模型

4.5SOAR模型

4.6心智社会

4.7LIDA

4.8CAM心智模型

4.9PMJ心智模型

4.10动力系统理论

4.11大脑协同学

第5章视觉感知

5.1视觉的生理机制

5.1.1视网膜

5.1.2光感受器

5.1.3外膝体

5.1.4视皮层

5.1.5感受野

5.1.6功能柱

5.1.7颜色视觉

5.1.8知觉恒常性

5.2视觉理论

5.2.1建构理论

5.2.2直接知觉

5.2.3格式塔理论

5.3视觉有效编码

5.4马尔的视觉计算理论

5.5拓扑视觉理论

5.6视觉的正则化理论

5.7基于模型的视觉理论

5.8计算机视觉

5.8.1图像分割

5.8.2图像理解

5.8.3主动视觉

5.8.4立体视觉

5.8.5利用启发式知识的方法

5.9同步化响应

5.9.1概述

5.9.2神经生物学实验

5.9.3时间编码

5.9.4视皮层的神经元振荡模型

5.9.5视觉系统中的表象与尺度变换

5.9.6神经网络中的非线性动力学问题

第6章听觉感知

6.1听觉通路

6.2听觉信息的中枢处理

6.2.1频率分析机理

6.2.2强度分析机理

6.2.3声源定位和双耳听觉

6.2.4对复杂声的分析

6.3语音编码

6.4韵律认知

6.4.1韵律特征

6.4.2韵律建模

6.4.3韵律标注

6.4.4韵律生成

6.4.5韵律生成的认知神经科学机制

6.5语音识别

6.5.1语音识别概况

6.5.2语音识别系统结构

6.5.3基于深度神经网络的语音识别系统

6.6语音合成

6.6.1语音合成概况

6.6.2文字到语音合成系统

6.6.3概念语音转换系统

6.7听觉场景分析

6.7.1初级分析

6.7.2以图式为基础的知觉组织

6.7.3初级分析与图式加工之间的关系

6.7.4场景分析的总体评价

6.8言语行为

第7章语言

7．1引言

7．2语言认知

7．3乔姆斯基的形式文法

7．3．1短语结构文法

7．3．2上下文有关文法

7．3．3上下文无关文法

7．3．4正则文法

7．4扩充转移网络

7．5格文法

7．6概念依存理论

7．7语言理解

7．7．1概述

7．7．2基于规则的分析方法

7．7．3基于语料的统计模型

7．7．4机器学习方法

7．8脑语言功能区

7．8．1经典语言功能区

7．8．2语义相关功能区

7．8．3音韵相关功能区

7．8．4拼字相关功能区

7．8．5双语者脑语言功能区

第8章学习

8．1概述

8．2行为学习理论

8．2．1条件反射学习理论

8．2．2行为主义的学习理论

8．2．3联结学习理论

8．2．4操作学习理论

8．2．5相近学习理论

8．2．6需要消减理论

8．3认知学习理论

8．3．1格式塔学派的学习理论

8．3．2认知目的理论

8．3．3认知发现理论

8．3．4认知同化理论

8．3．5信息加工学习理论

8．3．6建构主义的学习理论

8．4人本学习理论

8．5观察学习理论

8．6内省学习

8．6．1内省学习一般模型

8．6．2内省学习的元推理

8．6．3失败分类

8．6．4内省过程中的基于案例推理

8．7强化学习

8．7．1强化学习模型

8．7．2Q学习

8．7．3部分感知强化学习

8．8深度学习

8．8．1概述

8．8．2深度信念网络

8．8．3卷积神经网络

8．9学习计算理论

8．9．1哥尔德学习理论

8．9．2模型推理系统

8．9．3大概近似正确学习理论

第9章记忆

9．1概述

9．2记忆系统

9．2．1感觉记忆

9．2．2短时记忆

9．2．3长时记忆

9．3长时记忆

9．3．1长时记忆的类型

9．3．2长时记忆的模型

9．3．3长时记忆的信息提取

9．4工作记忆

9．4．1工作记忆模型

9．4．2工作记忆和推理

9．4．3工作记忆的神经机制

9．5遗忘理论

9．6内隐记忆

9．7动态记忆理论

9．8记忆预测理论

9．8．1恒定表征

9．8．2大脑皮层区的结构

9．8．3大脑皮层区如何工作

9．9互补学习记忆

9．9．1海马体

9．9．2互补学习系统

第10章思维

10．1概述

10．2思维的形态

10．2．1抽象思维

10．2．2形象思维

10．2．3灵感思维

10．3精神活动层级

10．4推理

10．4．1演绎推理

10．4．2归纳推理

10．4．3反绎推理

10．4．4类比推理

10．4．5非单调推理

10．4．6常识性推理

10．5问题求解

10．5．1问题空间

10．5．2产生式系统

10．5．3启发式搜索

10．5．4手段目的分析法

10．5．5解决问题的策略

10．6决策理论

10．6．1决策效用理论

10．6．2满意原则

10．6．3逐步消元法

10．6．4贝叶斯决策方法

10．7智能决策支持系统

10．7．1智能决策支持系统

10．7．2综合集成研讨厅

第11章智力发展

11．1引言

11．2智力理论

11．2．1智力的因素论

11．2．2多元智力理论

11．2．3智力结构论

11．3智力的测量

11．4皮亚杰认知发展理论

11．4．1图式

11．4．2儿童智力发展阶段

11．4．3新皮亚杰主义

11．5智力发展的影响因素

11．5．1成熟因素

11．5．2经验因素

11．5．3社会环境因素

11．5．4平衡化因素

11．6智力发展的人工系统

第12章情绪与情感

12．1概述

12．1．1情绪的构成要素

12．1．2情绪的基本形式

12．1．3情绪状态

12．1．4情绪的功能

12．2情绪理论

12．2．1詹姆斯—兰格情绪学说

12．2．2情绪评估—兴奋学说

12．2．3情绪三因素说

12．2．4基本情绪论

12．2．5维度论

12．2．6非线性动态策略

12．3情绪加工

12．3．1情绪语义网络理论

12．3．2贝克的图式理论

12．3．3威廉斯的情绪加工理论

12．4情感智能

12．5情感计算

12．6情感与认知

12．6．1情感优先假说

12．6．2认知评价观点

12．6．3图式命题联想和类比表征系统

12．7情绪的脑机制

第13章意识

13．1概述

13．2意识的基本要素和特性

13．3心理学的意识观

13．4意识的剧场模型

13．5意识的还原论理论

13．6神经元群组选择理论

13．7意识的量子理论

13．8综合信息理论

13．9显意识思维与潜意识思维

13．10机器意识系统

13．11注意

13．11．1注意的功能

13．11．2选择性注意

13．11．3注意分配

13．11．4注意系统

第14章认知结构

14．1概述

14．2谓词演算

14．3动态描述逻辑

14．3．1描述逻辑

14．3．2动态描述逻辑DDL

14．4归纳逻辑

14．4．1经验主义概率归纳逻辑

14．4．2概率逻辑理论

14．4．3主观贝叶斯概率

14．4．4条件化归纳逻辑

14．4．5非帕斯卡概率归纳逻辑

14．5范畴论

14．6Topos

14．6．1Topos的定义

14．6．2Topos之间的态射

14．6．3Sheaf理论

14．6．4Topos的内逻辑

14．6．5公理和推理

14．7心理逻辑

14．7．1组合系统

14．7．2INRC四元群结构

14．7．3态射—范畴论

14．8认知动力学

第15章智能机器人

15．1概述

15．2智能机器人的体系结构

15．3机器人视觉系统

15．3．1视觉系统分类

15．3．2定位技术

15．3．3自主视觉导航

15．3．4视觉伺服系统

15．4机器人路径规划

15．4．1全局路径规划

15．4．2局部路径规划

15．5细胞自动机

15．6认知机模型

15．7情感机器人

15．8发育机器人

15．9智能机器人发展趋势

第16章类脑智能

16.1概述

16.2大数据智能

16.3认知计算

16.4欧盟人脑计划

16.5美国脑计划

16.6脑模拟系统SPAUN

16.7神经形态芯片

16.7.1神经形态芯片简史

16.7.2IBM的TrueNorth神经形态系统

16.7.3英国SpiNNaker

16.7.4寒武纪神经网络处理器

16.8脑机融合

16.8.1脑机接口

16.8.2脑机融合的认知模型

16.8.3脑机融合的环境感知

16.8.4脑机融合的自动推理

16.8.5脑机融合的协同决策

16.9智能科学发展路线图

16.9.1初级类脑智能

16.9.2高级类脑智能

16.9.3超脑智能

参考文献

第3章

神经计算

神经计算是建立在神经元模型和学习规则基础之上的一种计算范式,由于特殊的拓扑结构和学习方式，产生了多种人工神经网路，模仿人脑信息处理的机理。人工神经网络是由大量处理单元组成的非线性、大规模、自适应的动力系统。

3.1概述

神经计算研究非程序的、适应性的、大脑风格的人工神经网络信息处理的本质和能力［917］。人工神经网络是由大量处理单元组成的非线性大规模自适应动力系统，具有学习能力、记忆能力、计算能力以及智能处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。它是在现代神经科学研究成果的基础上提出的,试图通过模拟大脑神经网络处理、记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。同时,对这种人工神经网络的研究将进一步加深对思维及智能的认识。为了模拟大脑信息处理的机理，人工神经网络具有非线性、非局域性、非定常性、非凸性等特点。人工神经网络是算法和结构统一为一体的系统，可以看作是硬件和软件的混合体。

现代神经计算开始于麦克洛奇和皮兹的先驱工作［483］。麦克洛奇是神经学家和解剖学家。他用20年的时间考虑神经系统对事件的表示问题。皮兹是数学天才，于1942年开始神经计算的研究。 1943年麦克洛奇和皮兹在一个神经建模小组上公布了他们的论文。该小组在芝加哥大学拉谢夫斯基(N Rashevsky)领导下，五年前就很活跃了。

在他们的经典论文里，麦克洛奇和皮兹结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑分析。他们的神经元模型假定遵循有无模型律。如果如此简单的神经元数目足够多，适当设置连接权值并且同步操作,麦克洛奇和皮兹证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它标志着神经网络和人工智能的诞生。

麦克洛奇和皮兹1943年的论文影响了冯·诺依曼,使得他在EDVAC(Electronic Discrete Variable Automatic Computer,电子离散变元自动计算机)中使用了从麦克洛奇和皮兹的神经元导出的理想化的开关延迟要素，进而改进成为EDVIC(Electronic Numerical Integrator and Computer,电子数值积分机和计算机)。EDVIC是第一台通用的电子计算机，于1943年到1946年在宾夕法尼亚大学电子工程摩尔学院建成。麦克洛奇和皮兹的形式神经网络理论在冯·诺依曼1949年在伊利诺伊大学所作的四个报告中的第二个报告中成了显著特色。

1948年维纳的名著《控制论》(Cybernetics)发表,为控制、通信和统计信号处理描述了一些重要概念［810］。1961年该书第二版出版发行，添加了关于学习和自组织的新材料。从第二版的第二章中可以看出，维纳在主体背景下抓住了统计机制的物理意义,但是联合统计机制和学习系统的丰硕成果却留给了霍普菲尔德。

第二个重要发展是1949年，赫布在他的书《行为组织学》(The Organization of Behavir)［311］中第一次清楚说明了突触修正的生理学习规则。特别是赫布提出大脑的连接是随着生物学会不同功能任务而连续地变化的，神经组织就是由这种变化创建起来的。赫布继承了拉莫尼(Ramony)和卡贾尔早期的假设并引入自己的学习假说： 两个神经元之间的可变突触被突触两端神经元的重复激活加强了。赫布的书在心理学家中有广泛的影响，但遗憾的是对工程界却影响很少。

赫布的书是学习和自适应系统的计算模型发展的灵感源泉。1956年罗切斯特(Rochester)、霍兰德(Holland)、哈比特(Habt)、杜伯(Duba)的论文也许是用计算机模拟测试公式化的赫布学习假说的神经理论的第一次尝试,论文报告的模拟结果表明必须加上抑制才能实际工作。同一年，乌特列(Uttley)演示了带有可修改的突触的神经网络可以学习分类简单的二值模式集。乌特列引入了所谓漏电求积和点火神经元(Leaky Integrate and Fire Neuron)，后来凯恩尼罗(Caianiello)对它进行了形式分析。在更晚一些的工作中,乌特列假设了神经系统可变突触的效果依赖于突触两端波动状态的统计关系,因此和香农的理论有了联系。

智能科学（第3版）

第3章神经计算

在1952年,阿希比(Ashby)的书《大脑设计： 自适应行为的起源》出版［34］,这本书引人注目的是其基本观点，即自适应行为不是与生俱来而是后天习得，通过学习动物(系统)的行为变得更好。这本书强调活的生物如同机器的动态观点和有关稳定性的概念。

1954年明斯基在普林斯顿大学写了关于神经网络的博士论文,题目是“类神经增强式系统的理论及其在大脑建模中的应用”。1961年明斯基出版了早期关于AI的优秀论文“人工智能进展”。后面这篇文章包括了关于现在称为神经网络内容的很大一节。 1967年明斯基出版了《计算： 有限和无限机器》这本书，第一次以书的形式扩展了麦克洛奇和皮兹的结果，并把它们放在自动理论和计算理论的背景中。

1954年，作为通信理论先驱者之一和全息照相技术的发明者，盖博尔(Gabor)提出了非线性自适应滤波器的思想，并且他与合作者一起建立了这样的机器。随机过程产生的样本以及希望机器产生的目标函数一起提供给机器完成在线学习。

20世纪50年代，泰勒(Taylor)开始研究联想记忆。接着施泰恩布什(Steinbuch)介绍了学习矩阵，这个矩阵由插在成行的“感觉”接受器和“马达”效应器之间的开关平面网络构成。在1969年，威尔肖(Willshaw)、布尼曼(Buneman)和洛埃特希靳斯(LonguetHiggins)发表了关于非全息照相的联想记忆的优秀论文。这篇文章给出了两类网络模型： 实现相关矩阵的简单光学系统和由光学记忆提出的与之相关的神经网络。联想记忆早期发展的重要贡献包括安德森(Andelson)、科霍南(Kohonen)和纳卡诺(Nakano)于1972年的文章，他们在外积学习规则的基础上独立地引入相关矩阵记忆的思想。

冯·诺依曼是20世纪前50年的科学巨匠。为了纪念他，人们把设计数字计算机的基础命名为冯·诺依曼结构。耶鲁大学邀请他在1956年作Silliman报告。他于1957年去世,稍后他未完成的Silliman报告于1958年出版成书： 《计算机和大脑》(The Computer and the Brain)。这本书很有意义，书中显示出冯·诺依曼开始意识到大脑和计算机的巨大差异。

神经网络中一个值得特别关心的问题是利用被认为不可靠的神经元分量构建可靠的神经网络。1956年冯·诺依曼利用冗余的思想解决了这个重要问题，基于这种思想维诺格拉德(Winograd)和考恩(Cowan)于1963年建议在神经网络中使用分布冗余表示，这表明了大量的元素怎样集体表示具有鲁棒性和并行性的单个概念。

在麦克洛奇和皮兹的经典论文发表15年以后，罗森勃拉特在他有关感知器的研究著作中提出了模式识别问题的新方法，一种新的监督学习方法［632］。感知器收敛定理使罗森勃拉特的工作取得圆满的成功。他于1960年提出感知器收敛定理的第一个证明。该定理的证明也出现在Novikoff(1963)和其他人的工作中。威德罗(Widrow)和霍夫(Hoff)介绍了最小平均平方(Least Mean Square,LMS)算法，并用它构成了Adaline(Adaptive Linear Element)。感知器和Adaline的区别在于训练过程。最早的可训练的具有多个自适应元素的分层神经网络之一是由威德罗和他的学生提出的Madaline(MultipleAdaline)结构［803］。1967年甘利俊一(Amari)将统计梯度方法用于模式分类。1965年Nillson出版《学习机》(Learning Machine)一书［540］，迄今为止它仍是关于用超平面区分线性可分模式的最好的作品。在20世纪60年代，感知器神经网络好像可以做任何事。明斯基和佩珀特(Papert)在1969年合写的《感知器》(Perceptrons)一书中利用数学理论证明单层感知器所能计算的本质局限［508］。在有关多层感知器的简要介绍一节中，他们认为没有任何理由假定单层感知器的任何局限可以在多层的情况下被克服。在多层感知器的设计中面临一个重要的问题就是置信度问题(即隐藏神经元在网络中的置信度问题)。明斯基于1961年在他的“加强学习系统的置信度问题”中首次使用了“置信度”术语。在之后的60年代里，解决感知器的置信度问题所必需的大多数思想和基本概念已经公式化了，也就是现在称之为霍普菲尔德网络的递归(吸引子)网络所固有的许多思想。然而，直到20世纪80年代这些基本问题求解结果才出现。

在20世纪70年代这些因素以这种或那种方式阻碍了人们进一步研究神经网络。除了一些心理学和神经学方面的专家之外，许多研究人员在那个时期都改变了研究领域，只有屈指可数的早期开创者继续神经网络研究。从工程学的角度，可将20世纪70年代追溯为神经网络的潜伏期。

在20世纪70年代一个重要的成果就是出现了利用竞争学习的自组织理论。马尔斯伯格(von der Malsburg)1973年完成的计算机模拟工作也许是第一次演示了自组织。在人脑中拓扑序映射启发下，1976年威尔肖和马尔斯伯格发表了第一篇关于自组织映射形成的论文。

在20世纪80年代关于神经网络的理论和设计方面取得了进展，随之神经网络的研究工作进入了恢复期。格罗斯伯格(S Grossberg)基于他的竞争学习理论的早期工作［292,293,294］,建立了一个新的自组织原则，就是著名的自适应共振理论(Adaptive Resonance Theory,ART)。基本上说，这个理论包括一个由底向上的识别层和一个由顶向下的产生层。如果输入形式和已学习的反馈形式匹配，一个叫做自适应共振的不定状态(即神经活动的放大和延长)发生了。这个前向或反向映射原已由其他的研究者在不同的条件下重新发现。

在1982年，霍普菲尔德基于能量函数的思想提出了一种对称连接的递归网络计算的新方法。并且他在这种递归网络和统计物理中使用的Ising模型之间建立了同构。这个类推为一连串的物理理论进入神经元模型奠定了基础，因此改变了神经网络的研究方法。这类具有反馈的特殊神经网络在80年代引起了大量的关注，在那个时期产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，然而它们包涵的原理，即在动态的稳定网络中存储信息的原理，是极深刻的。事实上，这个原理可以追溯到许多其他研究者的早期工作。

格雷盖(Gragg)和汤姆泼勒(Tamperley)分别于1954年和1955年观察得出正是由于神经元能被“点火”(激活)或“不点火”(静止)，所以在一个网格中的原子可以用它们自旋指向“上”或“下”。

1967年考恩引入了“sigmoid”的激活特征和一个神经元基于Logist函数的平滑激活条件。

格罗斯伯格于1967—1968年引入了一个神经元的相加模型，涉及非线性差分/微分方程，并且探测了以短期记忆为基础的模型用途。

1972年甘利俊一独立地引入了神经元的相加模型，并用它研究随机连接的类神经元的元素的动态行为。

威尔森(Wilson)和考恩于1972年推导了包括兴奋和抑制模型神经元的空间局部化的群体动力学耦合非线性微分方程。

利特勒(Little)和肖于1975年描述了神经元激活或不激活概率模型，并用它发展了短期记忆理论。

安德森、西弗施泰(J W Siverstein)、里兹和琼斯(R S Jones)于1977年提出盒中脑(BrainStateinBox,BSB)模型，由一个非线性动力学耦合的简单联想网络组成。

因此,毫不奇怪1982年霍普菲尔德的论文发表后引起了很大争论［330］。但是，该文第一次使在动态的稳定网络中存储信息的原理清楚了。霍普菲尔德表明了他对从统计力学自旋玻璃体检验具有对称连接的特殊递归网络富有洞察力，对称性设计可以保证收敛到一个稳定的条件。1983年，科恩(M A Cohen)和格罗斯伯格建立了按内容寻址记忆的一般原则连续Hopfield网络是一个特例。吸引子神经网络的一个与众不同的特征是一个学习的必要量——时间出现在网络的非线性动力学中。在这个背景下CohenGrossberg的定理非常重要。

1982年另一个重大发展是科霍南关于使用一维或二维格形结构的自组织映射研究的著作［377］,这在某些方面与威尔肖和马尔斯伯格稍早的工作不同。在文献中科霍南工作在分析和应用方面比威尔肖和马尔斯伯格的模型得到了更多的注意,已经成为这一领域其他创新的评估标准。

1983年克尔潘特里克(S Kirkpatrick)、格拉特(C D Gelatt)和维奇(M P Vecchi)描述了解决组合最优化的问题的称为模拟退火的新方法［369］。模拟退火根植于统计力学，是基于梅罗波列斯(N Metropolis)等在计算机仿真中第一次使用的一个简单技术［496］。阿克列(D H Ackley),辛顿(G E Hinton)和塞杰诺斯基(T J Sejnowski)利用模拟退火的思想发展称为玻尔兹曼(Boltzmann)机的随机机器［321］，它是多层神经网络的第一个成功实现。虽然玻尔兹曼机的学习算法没有反向传播算法的计算效率高,但它证明了明斯基和佩珀特的设想是不成立的，也为尼勒(R M Neal)随后的sigmoid信度网络发展做了铺垫工作［518］。sigmoid信度网络完成了两件事： (1)学习显著改善； (2)联系了神经网络和信度网络。sigmoid信度网络学习性能的进一步提高是沙勒(L K Saul)、雅卡拉(T Jakkolla)和约丹(M I Jordan)利用一个根植于统计力学的平均场理论作出的［628］。

巴托(A G Barto)、苏顿(R S Sutton)和安德森关于强化学习的论文发表于1983年［60］。虽然他们不是第一次使用强化学习(例如明斯基在他1954年的博士论文中考虑过它)，但这篇文章引起了大量关于强化学习及其在控制中应用的兴趣。特别地,他们证明了一个强化学习系统可以在没有有益教师的情况下学习倒立摆(即车上立一个杆)平衡。学习系统仅要求当杆对竖直方向倾斜超过一定角度或车到达轨道的端点时的失败信号。1996年贝特色卡斯(D P Bertsekas)和茨茨克利斯(J N Tsitsiklis)出版了《神经动力学程序》(Neurodynamics),这本书把强化学习和Bellmam的动态规划相联系，把它放在一个恰当的数学基础上。

1984年出版了布雷滕伯格(V Braitenberg)的书《工具： 合成心理学的实验》(Vehicles： Experiments in Synthetic Psychology)。在这本书中布雷滕伯格提出了目标导向的自组织行为原则： 利用公认的基本机制的一个综合体而非由顶向下的分析是最好了解一个复杂过程的方法。在科幻小说的形式下,布雷滕伯格通过描述各种具有简单内部结构的机器说明了这个重要原则。他直接或间接研究了20多年的动物大脑，这启发了他描述这些机器的特性和它们的行为。

1986年鲁梅尔哈特(D E Rumelhart)、辛顿和威廉姆斯(R J Williams)报告了反向传播算法的发展。同一年，著名的鲁梅尔哈特和麦克莱伦德(J L McClelland)主编的《并行分布处理： 认知微结构的探索》(Parallel Distributed Processing： Explorations in the Microstructure of Cognition)一书出版［635］。这本书极大地促进了反向传播算法的使用造成重大影响，它已成为最通用的多层感知器的训练算法。事实上，反向传播学习在同一时间在其他两个地方被独立提出过。在20世纪80年代中公布反向传播算法后，发现早在1974年8月哈佛大学的韦勃斯(P J Werbos)已经在他的博士学位论文中描述了［805］。韦勃斯的博士论文是有效的反向传播模式的梯度计算的第一次描述，它可以应用于包括神经网络作为其特例的一般网络模型。反向传播的基本思想可进一步追溯到勃雷森(A E Bryson)和何(Y C Ho)的书《应用最优控制》(Applied Optimal Control)。在该书标题为“多阶段系统”的2.2节中，描述了使用Lagrange形式的反向传播推导。但是，最终的分析得出反向传播算法的许多荣誉应给予鲁梅尔哈特、辛顿和威廉姆斯，因为他们提出了它在机器学习的应用并且演示了它怎样工作。

1988年林斯克(R Linsker)描述了认知网络中自组织问题的新原理［439］。原理设计成在突触连接和突触动态范围限制下最大限度地保持输入活动模式的信息。其他几个视觉研究者也做出了相似的建议。但是，是林斯克使用了根植于信息理论的抽象概念构成了极大互信息(Infomax)原理的公式。林斯克的文章重新激发了应用信息理论到神经网络中的兴趣。特别是贝尔(A J Bell)和塞杰诺斯基(T J Sejnowski)的信息理论对盲信源分离问题的应用［68］,已经促使许多研究者探索用于求解大都熟知的盲解卷积的很大一类问题的信息理论模型。

同样在1988年,布鲁姆海德(D S Broomhead)和洛韦(D Lowe)描述了使用径向基函数(Radial Basis Function,RBF)设计多层前馈网络的过程。 RBF提供了多层感知器的另一选择。径向基函数的基本想法至少追溯到佩希坎罗夫(O A Bashkirov)、布雷弗曼(E M Braverman)和姆希尼克(I B Muchnik)首先提出的势函数方法［62］,以及艾泽曼(M A Aizerman)、布雷弗曼和罗宗纳(L I Rozonnoer)发展的势函数理论。在1973年杜达(R O Duda)和哈特(P E Hart)的经典著作《模式分类和场景分析》(Pattern Classification and Scene Analysis)给出了势函数方法的一个描述。尽管如此，布鲁姆海德和洛韦的文章导致了联系神经网络设计和数值分析的中重要领域以及线性自适应滤波器的大量研究的努力。1990年波杰欧(T Poggio)和吉罗希(F Girosi)利用Tikhonov的正规化理论进一步丰富了RBF网络理论［584］。

1989年米德(C A Mead)的《模拟VLSI和神经系统》(Analog VLSI and Neural Systems)一书出版。这本书提出了从神经生物学和VLSI技术吸取的不寻常的混合概念，包括米德和他的合作者写的关于硅视网膜和硅耳蜗的章节。

在20世纪90年代早期,瓦珀尼克(V N Vapnik)和他的合作者提出了计算上强有力的并被称为支持向量机(Support Vector Machines,SVM)的一种监督学习网络，用于解决模式识别、回归和密度估计问题［780,781］，新方法是基于有限样本学习理论的结果。支持向量机的一个新颖的特征就是在它们的设计中以自然的方式包含了VapnikChervonenkis(VC)维数。 VC维数提供了神经网络从一个样本集中学习的容量的一种度量。

现在混沌是构成物理现象的关键方面已很好地建立了。许多人提出了一个问题： 在神经网络研究中混沌起关键作用吗？在生物学意义下弗里曼(W J Freeman)相信这个问题的答案是肯定的［241］。根据弗里曼神经模型，活动模式不是大脑外部所加的,而是从内部构建的。混沌动力学提供了对神经元群体内和它们之间自组织模式出现的必要条件进行描述的一个基础。

霍普菲尔德1982年的文章和鲁梅尔哈特和麦克莱伦德(J L McClelland)1986年的两卷书是对20世纪80年代神经网络的复兴最有影响的作品。神经网络从麦克洛奇和皮兹的早期岁月已走过了很长一段路,已确立了它作为根植于神经科学、心理学、数学、物理学和工程的交叉学科的地位，并将继续在理论、设计和应用上逐步深入。

人一出生，大脑就有精巧的构造和具有通过我们通常称为“经验”而建立它自己规则的能力。事实上经验是经时间积累的，大脑在出生后头两年内会发生非常显著的发展(即硬件线路)，超越这个阶段后发展将继续进行。

一个“发展中”的大脑是与可塑的神经元同时的。可塑性允许一个发展中的神经系统适应它的周边环境。正如可塑性似乎是人类大脑中作为信息处理单元的神经元的功能的关键，它在人工神经元组成的神经网络中亦是如此。最普通的形式，神经网络是一个设计出来以对人脑完成特定任务或感兴趣功能的方法进行建模的机器； 网络一般用电子器件实现或者用软件在数字计算机上模拟。在本章中，我们的兴趣大致锁定在一类重要的神经网络上，这种网络通过学习过程来实现有用的计算。为了获得好的结果，神经网络使用了一个很庞大的简单计算单元间的内部连接，这些简单计算单元称为“神经元”或者“处理单元”。据此我们给出将神经网络看作一种自适应机器的定义。

一个神经网络是一个由简单处理单元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。神经网络从两个方面模拟大脑。

前言

智能科学研究智能的本质和实现技术,是由脑科学、认知科学、人工智能等创建的前沿交叉学科。脑科学从分子水平、细胞水平、行为水平研究自然智能机理，建立脑模型，揭示人脑的本质； 认知科学是研究人类感知、学习、记忆、思维、意识等人脑与心智活动过程的科学； 人工智能研究用人工的方法和技术，模仿、延伸和扩展人的智能，实现机器智能。智能科学不仅要进行功能仿真,而且要从机理上研究和探索智能的新概念、新理论、新方法。智能的研究不仅要运用推理,自顶向下,而且要通过学习,由底向上,两者并存。智能科学运用综合集成的方法，对开放系统的智能性质和行为进行研究。

智能科学是生命科学的精华、信息科学技术的核心，现代科学技术的前沿和制高点，涉及自然科学的深层奥秘，触及哲学的基本命题。因此，在智能科学上一旦取得突破，将对国民经济、社会进步、国家安全产生深刻而巨大的影响。目前，智能科学正处在方法论的转变期、理论创新的高潮期和大规模应用的开创期，充满原创性机遇。

智能科学的兴起和发展标志着对以人类为中心的认知和智能活动的研究已进入到新的阶段。智能科学的研究将使人类自我了解和自我控制，把人的知识和智能提高到空前未有的高度。生命现象错综复杂，许多问题还没有得到很好的说明，而能从中学习的内容也是大量的、多方面的。如何从中提炼出最重要的、关键性的问题和相应的技术，这是许多科学家长期以来追求的目标。要解决人类在21世纪所面临的许多困难，诸如能源的大量需求、环境的污染、资源的耗竭、人口的膨胀等,单靠现有的科学成就是很不够的。必须向生物学习，寻找新的科技发展的道路。智能科学的研究将为智能革命、知识革命和信息革命建立理论基础，为智能系统的研制提供新概念、新思想、新途径。

进入21世纪以来，国际上对智能科学及其相关学科，诸如脑科学、神经科学、认知科学、人工智能的研究高度重视。2013年1月28日，欧盟启动了旗舰“人类大脑计划”（human brain project）。2013年4月2日，美国启动BRAIN计划。我国也在积极筹备“脑科学与类脑研究计划”。为了争夺高科技的制高点，国务院于2017年7月8日正式发布《新一代人工智能发展规划》，力图在新一轮国际科技竞争中掌握主导权。

本书系统地介绍智能科学的概念和方法，吸收了脑科学、认知科学、人工智能、信息科学、形式系统、哲学等方面的研究成果，综合地探索人类智能和机器智能的性质和规律。2006年出版第1版、2013年出版第2版以来，国内外在该领域的研究取得了极大进展，我们也取得了不少成果。为了反映智能科学的最新研究成果和发展方向，对原书第2版作了全面修改，特别增加了认知结构、类脑智能等内容。全书共分16章。第1章是绪论，介绍智能科学兴起的科学背景和研究内容。第2章介绍智能科学的生理基础。第3章讨论神经计算的进展。第4章探讨重要的心智模型。第5章论述视觉感知理论。第6章讨论听觉信息处理； 语言的发展对人类大脑的进化发生重大影响。第7章讨论语言认知的理论。第8章重点论述重要的学习理论和方法； 记忆是思维的基础。第9章探讨记忆机制。第10章重点讨论思维形式和类型。第11章研究智力的发展。第12章讨论情绪和情感的有关理论。第13章初步探讨意识问题； 认知结构是智能科学的重要理论基础。第14章讨论认知结构。第15章介绍智能机器人研究的进展。第16章介绍大数据智能和认知计算，概述国际上重大的类脑智能计划的研究进展和基本原理，展望智能科学发展路线图。

在本书撰写过程中，作者与美国麻省理工学院（MIT）明斯基（Marvin Minsky）教授、加利福尼亚大学伯克利分校扎德（Lotfi A. Zadeh）教授、斯坦福大学心智与脑计算中心麦克伦特（J.L.McClelland）教授、华盛顿大学圣路易斯分校范埃森（David Van Essen）教授、南加州大学罗森勃卢姆（P.S.Rosenbloom）教授、密歇根大学莱尔德（J.E.Laird）教授、卡内基梅隆大学米切尔（T.M.Mitchell）教授、西北大学福伯斯（K.D.Forbus）教授、密歇根州立大学翁巨扬（J.Weng）教授、加拿大滑铁卢大学伊莱亚史密斯（C.Eliasmith）教授、德国海德堡大学迈耶（K.Meier）教授、德累斯顿工业大学巴德尔（F.Baader）教授等的讨论和交流，对本书学术思想的确立和发展发挥了重要作用，在此谨向上述学者表示衷心的感谢。

本书研究工作得到国家重点基础研究发展计划课题“脑机协同的认知计算模型”（No.2013CB329502）、“非结构化信息(图像)的内容理解与语义表征”（No.2007CB311004）； 自然科学基金重点项目“基于云计算的海量数据挖掘”（No.61035003）、“基于感知学习和语言认知的智能计算模型研究”（No.60435010）、“Web搜索与挖掘的新理论与方法”（No.60933004）等的支持； 国家863高技术项目“海量Web数据内容管理、分析挖掘技术与大型示范应用”(No.2012AA011003)“软件自治愈与自恢复技术”（No.2007AA01Z132）等项目的支持； 清华大学出版社对本书的出版给予了大力支持，在此一并致谢。

本书可作为大学高年级和研究生的“智能科学”“认知科学”“认知信息学”“人工智能”等课程的教科书，对从事智能科学、脑科学、认知科学、人工智能、神经科学、心理学、哲学等领域的研究人员也具有重要的参考价值。

智能科学是处于研究发展中的前沿交叉学科，许多概念和理论尚待探讨，加之作者水平有限，撰写时间仓促，因此书中难免存在错误或不妥之处，恳请读者指正。

史忠植

2018年1月于北京