Python机器学习：数据建模与分析

适读人群 ：本书既可以作为数据分析从业人员的参考书，也可作为高等院校数据分析、机器学习等专业课程的教材。

配套资源：电子课件、案例程序源代码、案例数据集

本书特色：

系统介绍Python用于机器学习的数据分析、机器学习、数据可视化相关库。

结合大量实例透彻讲解各类机器学习算法在数据建模、数据分析中的应用。

全彩呈现数据建模可视化图像，提供配套数据集、源代码、PPT等学习资源。

本书采用理论与实践相结合的方式，引导读者以Python为工具，以机器学习为方法，进行数据的建模与分析。本书共13章，对机器学习的原理部分进行了深入透彻的讲解，对机器学习算法部分均进行了Python实现。除前两章外，各章都给出了可实现的实践案例，并全彩呈现数据可视化图形。
本书兼具知识的深度和广度，在理论上突出可读性，在实践上强调可操作性，实践案例具备较强代表性。随书提供全部案例的数据集、源代码、教学PPT、关键知识点，教学辅导视频，具备较高实用性。
本书既可以作为数据分析从业人员的参考书，也可作为高等院校数据分析、机器学习等专业课程的教材。
扫描关注机械工业出版社计算机分社官方微信订阅号—身边的信息学，回复67490即可获取本书配套资源下载链接。

薛薇，博士，中国人民大学应用统计研究中心专职研究员，中国人民大学统计学院副教授。主要开设课程：机器学习，计量经济学，统计软件，统计学。研究方向：机器学习与深度学习算法研究。基于顾客消费行为大数据的客户终身价值统计建模，以及营销与品牌大数据的机器学习算法应用。

目录

前言

第1章 机器学习概述 1

1.1 机器学习的发展：人工智能中的

机器学习 1

1.2 机器学习的核心：数据和数据建模 4

1.3 机器学习的典型应用 11

【本章总结】 16

【本章习题】 17

第2章 Python机器学习基础 18

2.1 Python：机器学习的首选工具 18

2.2 Python的集成开发环境：

Anaconda 19

2.3 Python第三方包的引用 24

2.4 NumPy使用示例 24

2.5 Pandas使用示例 29

2.6 NumPy和Pandas的综合应用：空气质量监测数据的预处理和基本分析 32

2.7 Matplotlib的综合应用：空气质量监测数据的图形化展示 36

【本章总结】 41

【本章相关函数】 41

【本章习题】 47

第3章 数据预测与预测建模 49

3.1 数据预测的基本概念 49

3.2 预测建模 50

3.3 预测模型的评价 59

3.4 预测模型的选择问题 69

3.5 Python建模实现 73

模拟研究 82

3.6 Python实践案例 86

【本章总结】 91

【本章相关函数】 91

【本章习题】 91

第4章 数据预测建模：贝叶斯分类器 93

4.1 贝叶斯概率和贝叶斯法则 93

4.2 贝叶斯和朴素贝叶斯分类器 94

4.3 贝叶斯分类器的分类边界 99

4.4 Python建模实现 100

4.5 Python实践案例 103

案情要素分类 105

【本章总结】 110

【本章相关函数】 111

【本章习题】 111

第5章 数据预测建模：近邻分析 112

5.1 近邻分析：K-近邻法 112

5.2 基于观测相似性的加权K-近邻法 117

5.3 K-近邻法的适用性 120

5.4 Python建模实现 122

5.5 Python实践案例 125

评分预测 127

【本章总结】 129

【本章相关函数】 129

【本章习题】 130

第6章 数据预测建模：决策树 131

6.1 决策树概述 131

6.2 CART的生长 139

6.3 CART的后剪枝 141

6.4 Python建模实现 143

6.5 Python实践案例 147

【本章总结】 154

【本章相关函数】 155

【本章习题】 155

第7章 数据预测建模：集成学习 156

7.1 集成学习概述 157

7.2 基于重抽样自举法的集成学习 158

7.3 从弱模型到强模型的构建 163

7.4 梯度提升树 174

7.5 XGBoost算法 181

7.6 Python建模实现 185

7.7 Python实践案例 191

【本章总结】 197

【本章相关函数】 197

【本章习题】 198

第8章 数据预测建模：人工神经网络 200

8.1 人工神经网络的基本概念 201

8.2 感知机网络 203

8.3 多层感知机及B-P反向传播算法 213

8.4 Python建模实现 220

8.5 Python实践案例 223

【本章总结】 227

【本章相关函数】 227

【本章习题】 227

第9章 数据预测建模：支持向量机 229

9.1 支持向量分类概述 229

9.2 完全线性可分下的支持向量分类 233

9.3 广义线性可分下的支持向量分类 238

9.4 线性不可分下的支持向量分类 242

9.5 支持向量回归 247

9.6 Python建模实现 252

9.7 Python实践案例 258

【本章总结】 266

【本章相关函数】 266

【本章习题】 266

第10章 特征选择：过滤、包裹和

嵌入策略 267

10.1 特征选择概述 267

10.2 过滤式策略下的特征选择 268

10.3 包裹式策略下的特征选择 278

10.4 嵌入式策略下的特征选择 281

10.5 Python建模实现 288

10.6 Python实践案例 290

【本章总结】 298

【本章相关函数】 298

【本章习题】 299

第11章 特征提取：空间变换策略 300

11.1 特征提取概述 300

11.2 主成分分析 301

11.3 矩阵的奇异值分解 307

11.4 核主成分分析 309

11.5 因子分析 315

11.6 Python建模实现 323

11.7 Python实践案例 331

【本章总结】 334

【本章相关函数】 334

【本章习题】 335

第12章 揭示数据内在结构：聚类分析 336

12.1 聚类分析概述 336

12.2 基于质心的聚类模型：K-均值

聚类 343

12.3 基于连通性的聚类模型：系统

聚类 346

12.4 基于高斯分布的聚类模型：EM

聚类 351

12.5 Python建模实现 356

12.6 Python实践案例：各地区环境

污染的特征的对比分析 367

【本章总结】 370

【本章相关函数】 370

【本章习题】 370

第13章 揭示数据内在结构：特色聚类 371

13.1 基于密度的聚类：DBSCAN

聚类 371

13.2 Mean-Shift聚类 375

13.3 BIRCH聚类 380

13.4 Python建模实现 387

13.5 Python实践案例：商品批发商的

市场细分 394

【本章总结】 397

【本章相关函数】 398

【本章习题】 398

前言

机器学习是数据科学中数据建模和分析的重要方法，既是当前大数据分析的基础和主流工具，也是通往深度学习和人工智能的必经之路；Python是数据科学实践中最常用的计算机编程语言，既是当前最流行的机器学习实现工具，也会因其在理论和应用方面的不断发展完善而拥有长期的竞争优势。在学好机器学习的理论方法的同时，掌握Python语言这个实用工具，是成为数据科学人才所必不可少的。
笔者将多年来在机器学习、数据挖掘、统计学、计算机语言和统计应用软件等课程中的教学经验与科研实践进行归纳总结，精心编写了这本实用的图书，希望将经验和心得分享给广大从事数据科学以及Python机器学习的同仁和高校师生们。
本书的特点如下：
1．对原理部分做清晰的讲解
机器学习是一门交叉性很强的学科，涉及统计学、数据科学、计算机学科等多个领域的知识。学习者要掌握好每个模型或算法的精髓和实践，需要由浅入深地关注直观含义、方法原理、公式推导、算法实现和适用场景等多个递进层面。本书也正是基于这样的层面来组织内容。
2．对实践部分做全面的实现
机器学习也是一门实操性很强的学科。学习者需要边学边做才能获得更加深刻的认知。正是如此，本书在第3章～第13章中设置了Python建模实现和Python实践案例。一方面，通过Python代码和各种可再现的图形，帮助学习者理解抽象理论背后的直观含义和方法精髓。另一方面，通过Python代码，帮助学习者掌握和拓展机器学习的算法实现和应用实践。全书所有模型和算法都有相应的Python代码，并提供全部代码下载。除第1章外，各章结尾还配有本章总结、本章相关函数和本章习题。
3．适合作为机器学习或相关课程的教学及自学用书
本书在理论上突出可读性并兼具知识的深度和广度，实践上强调可操作性并兼具应用的广泛性。本书采用一种有效而独特的方式讲解机器学习：一方面，以数据建模和分析中的问题为导向，依知识点的难度，由浅入深地讨论了众多主流机器学习算法的原理；另一方面，通过Python编程和可视化图形，直观展示抽象理论背后的精髓和朴素道理；通过应用案例强化算法的应用实践。
在章节安排上，本书分13章。在第1章以机器学习概述开篇，第2章介绍Python机器学习基础，第3章集中对数据预测与预测建模的各个方面进行了整体论述，帮助读者掌握机器学习的整体知识框架。后续第4章～第9章按照由易到难的内在逻辑，顺序展开机器学习预测建模方法的介绍，包括贝叶斯分类器、近邻分析、决策树、集成学习、人工神经网络和支持向量机等众多经典机器学习算法。第10、11章聚焦数据建模中不可或缺的重要环节——特征工程，分别论述了特征选择和特征提取。第12、13章深入介绍了机器学习中的聚类算法。
在内容设计上，除前两章外的各章均由基本原理、Python建模实现、Python实践案例、本章总结、本章相关函数以及本章习题几部分组成。基本原理部分详细论述了机器学习的算法，旨在使读者能够知其然更知其所以然；Python建模实现部分通过编程直观展示了抽象理论背后的朴素道理，从而帮助读者进一步加深对理论精髓的理解；Python实践案例部分展现了机器学习在环境污染、法律裁决、大众娱乐、医药健康、汽车节能、人工智能和商业分析等众多领域的应用，旨在提升读者的算法实践水平；本章总结、本章相关函数和本章习题部分简要回顾本章理论，归纳所涉及的Python函数，并通过习题强化知识要点。
本书以高等院校每周3至4课时共计约17周的课时数安排内容。Python建模实现部分，既可与Python实践案例共同作为上机实验课单独进行，也可与基本原理相结合一并讲解学习。内容设计和体量安排，不仅和数据科学与大数据技术的专业课程设置相吻合，也可满足人工智能、统计学以及计算机应用等相关专业课程的要求。本书也可作为Python 机器学习研究应用人员的参考用书。
本书编写过程中，陈欢歌老师参与了部分章节的编写以及文献资料与数据的整理，机械工业出版社的王斌老师从选题策划到章节安排都对本书提出了宝贵的建议。在此一并表示感谢。
在以大数据与人工智能技术为代表的新一轮科技浪潮的推动下，Python与机器学习也在迅猛发展并快速迭代，形成了方法丰富、分支多样、应用广泛的整体态势。要想全面而深入地掌握其全貌，就需要不断学习与完善、不断跟进与提高。欢迎各位读者不吝赐教，对本书不妥之处提出宝贵意见。

薛 薇
中国人民大学应用统计科学研究中心
中国人民大学统计学院