机器学习：应用视角

机器学习方法已成为各个领域科学家、研究人员、工程师和学生的重要工具。本书面向想要使用机器学习作为主要工具，而并不一定要成为机器学习研究人员的读者。对于计算机科学专业机器学习方向的高年级本科生或低年级研究生，本书可作为教材和工具书。本书为希望使用机器学习过程来解决问题的读者提供了很多知识和经验，特别强调使用已有的工具和软件包，而不是自己痛苦地编写代码。

本书特色

概述机器学习的主要应用领域，强调应用统计学中标准过程的有用性。

涵盖每个想使用机器学习工具的人应该了解的机器学习思想，无论他们所属的领域或从事的职业是什么。

覆盖的领域足够广泛，以保证读者顺利入门，进而认识到哪些主题值得进一步探索。

强调利用现有的工具和软件包快速解决实际问题。

本书覆盖范围广，注重“实用”。书中的每一类方法都结合了应用实例，这种理论方法与具体实例相结合的风格易于读者理解和动手实践。

机器学习领域内容非常广泛，通过本书，读者可以了解基本思想、方法、应用。当然，本书不可能覆盖机器学习的每个角落：一方面，本书没有涉及某些传统的机器学习范式，如增强学习；另一方面，本书没有介绍近几年来先后出现的一些新的学习范式，如半监督学习、迁移学习、元学习等。随着机器学习的发展，会有更多根植于传统理论的新概念、新方法出现，但只有掌握了基础，才能跟得上技术的日新月异。

大卫·福赛斯（David Forsyth）于1989年在牛津大学贝利奥尔学院获得博士学位，曾在艾奥瓦大学任教3年，在加州大学伯克利分校任教10年，之后到伊利诺伊大学任教。他是2000、2011、2018和2021年度IEEE计算机视觉和模式识别会议（CVPR）的程序委员会共同主席，2006年度CVPR和2008年度IEEE国际计算机视觉会议（ICCV）的大会共同主席，2008年度欧洲计算机视觉会议（ECCV）的程序委员会共同主席，而且是所有主要的计算机视觉国际会议的程序委员会成员。此外，他还在SIGGRAPH程序委员会任职了6届。他于2006年获得IEEE 技术成就奖，分别于2009年和2014成为IEEE会士和ACM会士。

◆ 译者简介 ◆

常虹　中国科学院计算技术研究所研究员、博士生导师。2006年于香港科技大学获得计算机科学博士学位，曾任施乐欧洲研究中心研究员，2008年加入中科院计算技术研究所。长期从事机器学习、计算机视觉、模式识别领域的应用基础研究，特别是半监督学习、度量学习、小样本学习、深度学习等方面的模型和算法，以及在计算机视觉和模式识别问题上的应用，包括图像和视频表示、图像超分率、物体检测、跟踪、行人再识别等。在相关领域发表论文70余篇，其中包括机器学习和计算机视觉等领域的顶级国际期刊和会议论文30余篇。在计算技术研究所和中国科学院大学讲授研究生机器学习课程。

王树徽　中国科学院计算技术研究所研究员。2006年于清华大学获得工学学士学位，2012年于中国科学院计算技术研究所获得工学博士学位，2014年从中科院计算所博士后出站并留所工作。长期从事跨媒体分析推理、机器学习、数据挖掘与知识工程等方面的研究，提出了跨模态深度表征与调和学习、多源互指导的图像视频语义理解、开放跨域迁移学习与知识对齐等方法，发表及录用包括TPAMI、TIP、NeurIPS、CVPR等在内的IEEE/ACM汇刊以及顶级学术会议50余篇。多次担任顶级会议ACMMM领域主席，参与了多个领域内国际会议的会议组织工作，长期担任顶级国际期刊和会议的审稿人。主持或参与包括“科技创新2030-新一代人工智能”、973计划课题、国家自然科学基金面上项目等多个科学研究项目，获2020年国家自然科学基金优青资助。

庄福振　中国科学院计算技术研究所副研究员、硕士生导师，于2011年7月在中国科学院研究生院获得博士学位，2013年9月被聘为副研究员。主要从事机器学习、数据挖掘，包括迁移学习、多任务学习、推荐系统以及大数据挖掘应用等方面的研究，相关成果已经在本领域顶级、重要国际期刊和国际会议上发表\录用论文100余篇。迁移学习的工作曾获得SDM2010和CIKM2010的最佳论文提名，2013年获得中国人工智能学会优秀博士学位论文奖。入选2015年微软亚洲研究院青年教师“铸星计划”，2017入选中国科学院青年创新促进会。

杨双　中国科学院计算技术研究所副研究员，博士毕业于中科院自动化所，主要研究方向包括计算机视觉、机器学习、模式识别等，尤其关注视听语言感知与理解、视频分析等问题。先后主持和参与国家自然科学基金项目、国家高技术研究发展计划(863)、国家重大基础研究计划（973）、华为合作项目等多项，在计算机视觉与机器学习等领域的重要期刊与会议上发表学术论文多篇，获得授权发明专利多项，先后担任IEEE Trans. Knowledge and Data Engineering (TKDE)、IEEE Trans. Multimedia (TMM)、Pattern Recognition、CVPR、BMVC等多个期刊与会议评审人，其关于唇语识别的研究成果亦先后被CCTV-1、麻省理工科技评论中文网、腾讯网等多家媒体展示与报道。

译者序

前言

致谢

关于作者

第一部分　分类

第1章　学会分类2

　1.1　分类的主要思想2

　　1.1.1　误差率及其他性能指标2

　　1.1.2　更详细的评估3

　　1.1.3　过拟合与交叉验证4

　1.2　最近邻分类5

　1.3　朴素贝叶斯7

　　1.3.1　利用交叉验证进行模型选择9

　　1.3.2　数据缺失11

　编程练习11

第2章　支持向量机和随机森林14

　2.1　支持向量机14

　　2.1.1　铰链损失15

　　2.1.2　正则化16

　　2.1.3　通过随机梯度下降来寻找分类器17

　　2.1.4　λ的搜索19

　　2.1.5　总结：用随机梯度下降训练20

　　2.1.6　例子：利用支持向量机分析成人收入21

　　2.1.7　利用支持向量机进行多类分类23

　2.2　利用随机森林进行分类23

　　2.2.1　构造决策树25

　　2.2.2　用信息增益来选择划分27

　　2.2.3　森林29

　　2.2.4　构造并评估决策森林29

　　2.2.5　利用决策森林进行数据分类30

　编程练习31

　MNIST练习33

第3章　学习理论初步35

　3.1　用留出损失预测测试损失35

　　3.1.1　样本均值和期望36

　　3.1.2　利用切比雪夫不等式37

　　3.1.3　一个泛化界37

　3.2　有限分类器族的测试误差与训练误差38

　　3.2.1　霍夫丁不等式39

　　3.2.2　在有限预测器族上训练39

　　3.2.3　所需样例数量40

　3.3　无限预测器集合41

　　3.3.1　预测器和二值函数41

　　3.3.2　对称化43

　　3.3.3　限制泛化误差44

第二部分　高维数据

第4章　高维数据48

　4.1　概述及简单绘图48

　　4.1.1　均值48

　　4.1.2　杆图和散点图矩阵49

　　4.1.3　协方差51

　　4.1.4　协方差矩阵52

　4.2　维数灾难53

　　4.2.1　灾难：数据不是你想象的那样53

　　4.2.2　维数的小困扰55

　4.3　用均值和协方差理解高维数据55

　　4.3.1　仿射变换下的均值和协方差56

　　4.3.2　特征向量及矩阵对角化56

　　4.3.3　通过旋转数据堆来对角化协方差矩阵57

　4.4　多元正态分布58

　　4.4.1　仿射变换与高斯模型59

　　4.4.2　绘制二维高斯模型：协方差椭圆59

　　4.4.3　描述统计与期望60

　　4.4.4　维数灾难的更多内容61

　习题61

第5章　主成分分析64

　5.1　在主成分上表示数据64

　　5.1.1　近似数据团块64

　　5.1.2　例子：变换身高体重堆65

　　5.1.3　在主成分上表示数据67

　　5.1.4　低维表示中的误差68

　　5.1.5　用NIPALS算法提取若干主成分69

　　5.1.6　主成分和缺失值70

　　5.1.7　PCA作为平滑方法71

　5.2　例子：用主成分表示颜色72

　5.3　例子：用主成分表示人脸75

　习题77

　编程练习78

第6章　低秩近似80

　6.1　奇异值分解80

　　6.1.1　SVD和PCA81

　　6.1.2　SVD和低秩近似82

　　6.1.3　用SVD进行平滑82

　6.2　多维缩放83

　　6.2.1　通过高维的距离选择低维的点83

　　6.2.2　使用低秩近似分解因子84

　　6.2.3　例子：利用多维缩放进行映射85

　6.3　例子：文本模型和潜在语义分析87

　　6.3.1　余弦距离88

　　6.3.2　对单词计数进行平滑88

　　6.3.3　例子：对NIPS文档进行映射89

　　6.3.4　获得词的含义90

　　6.3.5　例子：对NIPS数据集的词进行映射92

　　6.3.6　TFIDF93

　习题94

　编程练习95

第7章　典型相关分析97

　7.1　典型相关分析算法97

　7.2　例子：在词和图片上进行CCA99

　7.3　例子：在反射率和遮光上进行CCA102

　编程练习105

第三部分　聚类

第8章　聚类108

　8.1　聚合式聚类和拆分式聚类108

　8.2　k均值算法及其变体111

　　8.2.1　如何选择k的值114

　　8.2.2　软分配115

　　8.2.3　高效聚类和层级式k均值117

　　8.2.4　k中心点算法117

　　8.2.5　例子：葡萄牙的杂货117

　　8.2.6　关于k均值算法的一些见解119

　8.3　用向量量化描述重复性120

　　8.3.1　向量量化121

　　8.3.2　例子：基于加速度计数据的行为123

　编程练习126

第9章　使用概率模型进行聚类130

　9.1　混合模型与聚类130

　　9.1.1　数据团块的有限混合模型130

　　9.1.2　主题和主题模型132

　9.2　EM算法133

　　9.2.1　例子——高斯混合：E步134

　　9.2.2　例子——高斯混合：M步136

　　9.2.3　例子——主题模型：E步136

　　9.2.4　例子——主题模型：M步137

　　9.2.5　EM算法的实践137

　习题140

　编程练习140

第四部分　回归

第10章　回归144

　10.1　概述144

　10.2　线性回归和最小二乘法146

　　10.2.1　线性回归146

　　10.2.2　选择β147

　　10.2.3　残差148

　　10.2.4　R2149

　　10.2.5　变量变换150

　　10.2.6　可以相信回归吗152

　10.3　可视化回归以发现问题153

　　10.3.1　问题数据点具有显著影响153

　　10.3.2　帽子矩阵和杠杆155

　　10.3.3　库克距离156

　　10.3.4　标准化残差156

　10.4　很多解释变量158

　　10.4.1　一个解释变量的函数158

　　10.4.2　正则化线性回归159

　　10.4.3　例子：体重与身体测量值162

　附录　数据165

　习题165

　编程练习168

第11章　回归：选择和管理模型170

　11.1　模型选择：哪种模型最好170

　　11.1.1　偏差与方差170

　　11.1.2　用惩罚机制选择模型：AIC和BIC172

　　11.1.3　使用交叉验证选择模型173

　　11.1.4　基于分阶段回归的贪心搜索174

　　11.1.5　哪些变量是重要的174

　11.2　鲁棒回归175

　　11.2.1　M估计和迭代加权最小二乘176

　　11.2.2　M估计的尺度178

　11.3　广义线性模型179

　　11.3.1　逻辑回归179

　　11.3.2　多类逻辑回归180

　　11.3.3　回归计数数据181

　　11.3.4　离差181

　11.4　L1正则化和稀疏模型182

　　11.4.1　通过L1正则化删除变量182

　　11.4.2　宽数据集185

　　11.4.3　在其他模型上使用稀疏惩罚186

　编程练习187

第12章　Boosting190

　12.1　贪心法和分阶段回归法190

　　12.1.1　例子：贪心分阶段线性回归190

　　12.1.2　回归树192

　　12.1.3　基于树的贪心分阶段回归193

　12.2　Boosting分类器196

　　12.2.1　损失196

　　12.2.2　分阶段降低损失的一般方法197

　　12.2.3　例子：Boosting决策树桩198

　　12.2.4　决策树桩的梯度提升199

　　12.2.5　其他预测器的梯度提升200

　　12.2.6　例子：医生会开阿片类药物吗201

　　12.2.7　用lasso修剪提升的预测器202

　　12.2.8　梯度提升软件204

　习题206

　编程练习207

第五部分　图模型

第13章　隐马尔可夫模型210

　13.1　马尔可夫链210

　　13.1.1　转移概率矩阵212

　　13.1.2　稳态分布214

　　13.1.3　例子：文本的马尔可夫链模型216

　13.2　隐马尔可夫模型与动态规划218

　　13.2.1　隐马尔可夫模型218

　　13.2.2　用网格图图解推断过程219

　　13.2.3　基于动态规划的推断过程222

　　13.2.4　例子：校正简单文本错误222

　13.3　隐马尔可夫模型的学习过程224

　　13.3.1　当隐状态有明确语义信息时225

　　13.3.2　基于EM的隐马尔可夫模型学习过程225

　习题228

　编程练习229

第14章　学习序列模型的判别式方法232

　14.1　图模型232

　　14.1.1　推断与图232

　　14.1.2　图模型234

　　14.1.3　在图模型中的学习235

　14.2　用于序列的条件随机场模型235

　　14.2.1　MEMM和标签偏置236

　　14.2.2　条件随机场模型237

　　14.2.3　学习CRF时需要留心238

　14.3　CRF的判别学习239

　　14.3.1　模型的表示239

　　14.3.2　例子：数字序列建模240

　　14.3.3　建立学习问题241

　　14.3.4　梯度计算241

　习题243

　编程练习243

第15章　平均场推断245

　15.1　有用却难解的模型245

　　15.1.1　用玻尔兹曼机为二值图像去噪246

　　15.1.2　离散马尔可夫随机场246

　　15.1.3　基于离散马尔可夫随机场的去噪和分割247

　　15.1.4　离散马尔可夫场的MAP推断可能很难249

　15.2　变分推断250

　　15.2.1　KL散度250

　　15.2.2　变分自由能251

　15.3　例子：玻尔兹曼机的变分推断251

第六部分　深度网络

第16章　简单神经网络256

　16.1　单元和分类256

　　16.1.1　用单元来构建一个分类器：代价函数256

　　16.1.2　用单元来构建一个分类器：决策 258

　　16.1.3　用单元来构建一个分类器：训练258

　16.2　例子：信用卡账户分类260

　16.3　层和网络264

　　16.3.1　堆叠层264

　　16.3.2　雅可比矩阵和梯度265

　　16.3.3　构建多层266

　　16.3.4　梯度和反向传播267

　16.4　训练多层网络269

　　16.4.1　软件环境270

　　16.4.2　Dropout和冗余单元271

　　16.4.3　例子：再论信用卡账户271

　　16.4.4　高级技巧：梯度缩放273

　习题276

　编程练习277

第17章　简单图像分类器278

　17.1　图像分类278

　　17.1.1　基于卷积的模式检测279

　　17.1.2　卷积层的堆叠283

　17.2　两个实用的图像分类器284

　　17.2.1　例子：MNIST数据集分类285

　　17.2.2　例子：CIFAR10数据集分类288

　　17.2.3　异类：对抗样本292

　编程练习293

第18章　图像分类与物体检测294

　18.1　图像分类295

　　18.1.1　物体图像分类数据集295

　　18.1.2　场景图像分类数据集296

　　18.1.3　增广和集成297

　　18.1.4　AlexNet298

　　18.1.5　VGGNet299

　　18.1.6　批归一化301

　　18.1.7　计算图302

　　18.1.8　Inception网络302

　　18.1.9　残差网络303

　18.2　物体检测305

　　18.2.1　物体检测如何工作305

　　18.2.2　选择性搜索306

　　18.2.3　RCNN、Fast RCNN和Faster RCNN307

　　18.2.4　YOLO309

　　18.2.5　评价检测器310

　18.3　延伸阅读312

　习题313

　编程练习313

第19章　大信号的小码表示315

　19.1　更好的低维映射315

　　19.1.1　萨蒙映射316

　　19.1.2　TSNE317

　19.2　产生低维表示的映射319

　　19.2.1　编码器、解码器和自编码器319

　　19.2.2　令数据块变得更大320

　　19.2.3　去噪自编码器322

　19.3　从例子中产生图像325

　　19.3.1　变分自编码器326

　　19.3.2　对抗损失：愚弄分类器327

　　19.3.3　利用测试函数来匹配分布328

　　19.3.4　通过查看距离来匹配分布329

　编程练习330

译者序

Applied Machine Learning

在计算机科学领域，机器学习正逐渐遍及各个角落，很多应用问题上的研究进展都得益于机器学习方法，人工智能对计算机科学提出的很多挑战性问题也有待于从机器学习中求解。随着计算技术的发展，机器学习的强大能力逐渐显现，因而得到日益广泛的关注。对于想要了解和掌握机器学习方法的学生和学者，本书是一个理想的入门途径。

本书覆盖范围广，注重“实用”。书中的每一类方法都结合了应用实例，例如，结合计算机视觉领域的图像分类和物体检测阐述深度学习的模型和方法。这种理论方法与具体实例相结合的风格易于读者理解和动手实践。

机器学习领域内容非常广泛，通过本书，读者可以了解其基本思想、方法和应用。当然，本书不可能覆盖机器学习的每个角落：一方面，本书没有涉及某些传统的机器学习范式，如增强学习；另一方面，本书没有介绍近年来先后出现的一些新的学习范式，如半监督学习、迁移学习、元学习等。随着机器学习的发展，会有更多根植于传统理论的新概念、新方法出现，但只有掌握了基础，你才能跟得上技术的日新月异。

我在2001年读博士时开始接触机器学习，之后一直从事机器学习及其应用的研究工作。近年来，通过对计算机视觉和模式识别领域若干问题的探索，我愈发认识到机器学习的重要，尽管机器学习在解决问题的角度和方式上与这些应用领域不尽相同。非常感谢大卫·福赛斯教授的信任和机械工业出版社的委托，让我有幸负责组织本书的翻译工作。期待本书能够帮助国内的学生、学者和工程技术人员更好地学习机器学习，我很高兴能为此尽一点绵薄之力。

本书的翻译工作主要是我和计算所的同事王树徽、庄福振、杨双三位老师合作完成的，他们分别在多媒体计算、数据挖掘和计算机视觉领域有丰富的科研经验，从不同的视角对机器学习有深入的理解。还有一些研究生参与了本书的翻译，他们是（排名不分先后）：康楠、胡民阳、崔晏菲、李胤祺、叶博涛、胡梓珂、张函玉、张富威、齐志远、张远航。出版社的老师在排版和校对方面给予了极大的帮助，感谢他们为本书出版付出的努力！

由于时间仓促，本书难免存在瑕疵，包括一些翻译习惯上的差异，在此谨致歉意。若有发现，请及时反馈给我或出版社以进行修正，不胜感激。

常　虹

2020年5月

机器学习方法已成为各个领域科学家、研究人员、工程师和学生的重要工具。许多年前，人们可以发表论文，将（比如说）分类器引入一个还未听说过它的研究领域。现在，在大多数领域中，你要开启自己的研究就必须知道什么是分类器。

本书面向想要使用机器学习作为主要工具，而并不一定要成为机器学习研究人员的读者——在本书编写之际，几乎人人都是如此。本书没有引入机器学习的最新发现，主要涵盖我自己选择的一些主题。这是本书与其他书籍的不同之处。
本书根据我在很多场合针对不同学生讲授的课程的课堂笔记修改而成。当时的学生大多是四年级本科生和一年级研究生，其中有一半的学生不是计算机科学专业，但他们仍然需要机器学习方法的背景知识。该课程强调将各种方法应用于真实的数据集，本书亦然。

决定本书内容的主要原则是要覆盖一些机器学习的思想，我想无论读者的专业或职业如何，只要他们使用学习工具，就应该了解这些思想。虽然忽略一些内容不是件好事，但是我必须做出选择。大多数人会发现广而浅地了解这个领域比深而窄地掌握更有用，因此本书广泛介绍了很多领域。我认为这样很好，因为本书的目标就是让所有读者都能够充分了解这一点，比如，启用分类工具包会使很多问题迎刃而解。所以，本书为你提供了足够多的基础知识，同时使你意识到还有更多的内容值得去了解。

本书对有专业基础的学生也是有用的。以我的经验，很多学生学习部分或全部材料时并不知道它们的用处，最后就忘记了。如果你也是这种情况，我希望本书可以唤醒你的记忆。
本书适合从头至尾地讲授或阅读。在包含15周的一个学期中，我讲授了其中很多内容，且通常设置12次编程作业。不同的教师或读者有不同的需求，所以我在下面给出几点建议。

阅读准备
本书假设你已经具备一定的概率和统计的背景知识。这些背景知识在我编写的另一本书——Probability and Statistics for Computer Science　中文版将由机械工业出版社于2021年出版。——编辑注中均有介绍。两本书有部分重叠，因为不是每位读者都会完整阅读这两本书。但是，我已经尽量减少重叠的比例（大约40页），内容仅限于有必要重复介绍的部分。你应该从另一本书（或其他类似的书籍）中了解的内容包括：

●各种描述性统计量（均值、标准差、方差）和一维数据集的可视化方法

●二维数据集的散点图、相关性和预测

●一些离散概率知识

●少量连续概率知识（大体掌握概率密度函数及其解释

●随机变量及其期望

●少量样本和总体知识

●最大似然

●简单贝叶斯推断

●各种实用概率分布的一些性质，或者到哪里查找它们

理论基础：熟练掌握和应用线性代数的相关知识。我们很快将遇到矩阵、向量、正交矩阵、特征值、特征向量和奇异值分解等概念，本书不会对这些概念做过多的介绍。
编程基础：你应该能够毫不费力地使用一种编程环境。在此我使用的是R或MATLAB，具体依特定工具包的可靠程度而定。在某些地方，使用Python是个很好的主意。

学习技巧：大多数关于编程的简单问题可以通过搜索得到答案。我通常通过网络搜索来了解语法、特定工具包等的详细信息，因为它们很容易被遗忘。答疑时间有学生来问我诸如“如何在R中写循环”等问题时，我经常通过搜索“R loop”来回答，而且告诉他这其实并不需要记忆。

数据集及失效的链接

使用真实数据集是本书的一个重要特点。然而，现实生活是复杂的，我在本书中引用的数据集可能在你阅读时已经被移动了。一般而言，使用网络搜索引擎简单地查找就可以找到被移动的数据集或条目。我也会尽量在我的个人主页上提供缺失或被移动的数据集的链接。在因特网上搜索我的名字，很容易找到我的个人主页。

引用
一般来说，我遵循教材的风格，尽量不在正文中引用论文。我并不准备提供完整的现代机器学习的参考文献列表，也不打算提供一个不完整的参考文献列表。但是，我在书中某些地方提及了一些论文，或者是因为对读者来说了解该论文非常重要，或者是因为我使用的数据集的提供者要求引用其出处。我将尽量在我的个人主页上更正引用的错误或遗漏。

省略的主题

罗列出所有省略的主题是不现实的。其中，我深感遗憾地省略了下述三个主题：核方法、强化学习和像LSTM那样的神经序列模型。省略这些是因为我曾经认为，虽然每个主题都是实践者工具箱的一个重要部分，但是其他的主题更需要在本书中涵盖。完成本书之后我可能会编写关于这些主题的附加内容，完善后再将它们放到网上，并链接到我的个人主页。

本书涉及非常少量的学习理论。尽管学习理论非常重要（我仅用简短的一章进行介绍，让读者有个初步的了解），但它并不会直接影响实践。而且，很多机器学习方法虽然仅由较弱的理论支撑，却是极其有用的。

大卫·福赛斯

美国伊利诺伊州厄巴纳市