人工智能技术入门 pdf下载

本书阐述人工智能火热的成因、发展历程、产业链、技术和应用场景，详解人工智能的几个核心技术（机器学习、特征工程、模型、算法、深度学习）和两个流行的开源平台（sklearn和TensorFlow）。通过本书的学习，读者能掌握人工智能技术体系、重点技术和平台工具，为人工智能技术应用到实际工作场景中打下基础。

本书全面讲述人工智能涉及的技术，学完本书后，读者将对人工智能技术有全面的理解，并能掌握AI整体知识架构。

本书共分11章，内容包括人工智能概述、AI产业、数据、机器学习概述、模型、机器学习算法、深度学习、TensorFlow、神经网络、知识图谱、数据挖掘，以及银行业、医疗行业、公共安全、制造业等行业人工智能应用情况。附录给出了极有参考价值的人工智能术语列表。

本书适合人工智能技术初学者、人工智能行业准从业人员、AI投资领域的技术专家，也适合作为高等院校和培训学校人工智能相关专业师生的教学参考书。

杨正洪，毕业于美国State University of New York at Stony Brook，在美国硅谷从事AI和大数据相关研发工作十余年，华中科技大学和中国地质大学客座教授，湖北省2013年海外引进人才，并拥有多项国家专利。杨正洪参与了大数据和人工智能的国家标准的制定，在2016年参与了公安部主导的“信息安全技术：大数据平台安全管理产品安全技术要求”的国家标准制定。杨正洪是中关村海外智库专家顾问和住建部中规院专家顾问，曾担任在美上市公司CTO、北京某国企CIO和上海某国企高级副总裁等职。多年从事人工智能与大数据技术的实践，出版了《智慧城市》《大数据技术入门》等多本畅销书。

第1章 人工智能概述 1

1.1 AI是什么 2

1.1.1 火热的AI 2

1.1.2 AI的驱动因素 3

1.2 AI技术的成熟度 4

1.2.1 视觉识别 4

1.2.2 自然语言理解 5

1.2.3 机器人 7

1.2.4 自动驾驶 7

1.2.5 机器学习 8

1.2.6 游戏 9

1.3 AI与大数据的关系 10

1.4 AI与云计算的关系 13

1.5 AI技术路线 14

第2章 AI产业 16

2.1 基础层 17

2.1.1 芯片产业 18

2.1.2 GPU 20

2.1.3 FPGA 20

2.1.4 ASIC 21

2.1.5 TPU 21

2.1.6 亚马逊的芯片 22

2.1.7 芯片产业小结 23

2.1.8 传感器 24

2.1.9 传感器小结 26

2.2 技术层 27

2.2.1 机器学习 28

2.2.2 语音识别与自然语言处理 29

2.2.3 计算机视觉 32

2.3 应用层 34

2.3.1 安防 34

2.3.2 金融 35

2.3.3 制造业 37

2.3.4 智能家居 37

2.3.5 医疗 38

2.3.6 自动驾驶 40

2.4 AI产业发展趋势分析 44

第3章 机器学习概述 47

3.1 走进机器学习 47

3.1.1 什么是机器学习 47

3.1.2 机器学习的感性认识 48

3.1.3 机器学习的本质 48

3.1.4 对机器学习的全面认识 50

3.1.5 机器学习、深度学习与人工智能 50

3.1.6 机器学习、数据挖掘与数据分析 51

3.2 机器学习的基本概念 53

3.2.1 数据集、特征和标签 53

3.2.2 监督式学习和非监督式学习 54

3.2.3 强化学习和迁移学习 54

3.2.4 特征数据类型 56

3.2.5 训练集、验证集和测试集 56

3.2.6 机器学习的任务流程 57

3.3 数据预处理 57

3.3.1 探索性分析 58

3.3.2 数据清洗 58

3.3.3 特征工程 59

3.4 算法 60

3.5 初探机器学习的开源框架 61

3.5.1 scikit-learn简介 62

3.5.2 第一个机器学习实例 62

3.5.3 Jupyter Notebook 64

3.5.4 更多实例分析 67

第4章 特征工程 72

4.1 数据预处理 72

4.1.1 量纲不统一 73

4.1.2 把定量特征二值化（用于列向量） 74

4.1.3 对定性特征进行编码 74

4.1.4 缺失值处理（用于列向量） 76

4.1.5 数据变换 76

4.1.6 数据预处理总结 77

4.2 特征选择 77

4.2.1 Filter法 78

4.2.2 Wrapper法 78

4.2.3 Embedded法 79

4.2.4 特征选择总结 79

4.3 降维 79

4.4 特征工程实例分析 80

4.4.1 数据相关性分析（手工选择特征） 80

4.4.2 数据预处理 82

4.4.3 特征抽取 85

4.4.4 特征工程总结 86

第5章 模型训练和评估 88

5.1 什么是模型 88

5.2 误差和MSE 90

5.3 模型的训练 91

5.3.1 模型与算法的区别 91

5.3.2 迭代法 92

5.4 梯度下降法 93

5.4.1 步长 94

5.4.2 优化步长 94

5.4.3 三类梯度下降法 95

5.4.4 梯度下降的详细算法 96

5.5 模型的拟合效果 97

5.5.1 欠拟合与过度拟合 97

5.5.2 过度拟合的处理方法 98

5.6 模型的评估 99

5.6.1 分类模型的评估 99

5.6.2 回归模型的拟合效果评估 106

5.6.3 其他的评价指标 106

5.7 模型的改进 106

第6章 算法选择和优化 108

6.1 算法概述 108

6.1.1 线性回归 109

6.1.2 逻辑回归 109

6.1.3 线性判别分析 111

6.1.4 分类与回归树分析 111

6.1.5 朴素贝叶斯 112

6.1.6 K最近邻算法 113

6.1.7 学习向量量化 113

6.1.8 支持向量机 114

6.1.9 随机森林（Random Forest） 115

6.1.10 AdaBoost 115

6.2 支持向量机（SVM）算法 116

6.3 逻辑回归算法 118

6.4 KNN算法 119

6.4.1 超参数k 120

6.4.2 KNN实例：波士顿房价预测 121

6.4.3 算法评价 124

6.5 决策树算法 124

6.6 集成算法 127

6.6.1 集成算法简述 127

6.6.2 集成算法之Bagging 127

6.6.3 集成算法之Boosting 128

6.7 聚类算法 129

6.7.1 K均值聚类 130

6.7.2 均值漂移聚类 131

6.7.3 基于密度的聚类算法 132

6.7.4 用高斯混合模型的最大期望聚类 133

6.7.5 凝聚层次聚类 134

6.7.6 图团体检测 135

6.8 机器学习算法实例 137

6.8.1 训练和预测 138

6.8.2 自动调参 139

6.8.3 尝试不同算法 141

第7章 深度学习 144

7.1 走进深度学习 144

7.1.1 深度学习为何崛起 145

7.1.2 从逻辑回归到浅层神经网络 145

7.1.3 深度神经网络 147

7.1.4 正向传播 148

7.1.5 激活函数 148

7.2 神经网络的训练 148

7.2.1 神经网络的参数 148

7.2.2 向量化 149

7.2.3 代价函数 149

7.2.4 梯度下降和反向传播 149

7.3 神经网络的优化和改进 150

7.3.1 神经网络的优化策略 150

7.3.2 正则化方法 152

7.4 卷积神经网络 154

7.4.1 卷积运算 154

7.4.2 卷积层 155

7.4.3 卷积神经网络（CNN）实例 156

7.5 深度学习的优势 161

7.6 深度学习的实现框架 162

第8章 TensorFlow 164

8.1 TensorFlow工具包 164

8.2 第一个TensorFlow程序 169

8.3 过度拟合处理 187

8.4 特征工程 199

第9章 TensorFlow高级知识 212

9.1 特征交叉 212

9.2 L2正则化 223

9.3 逻辑回归 225

9.4 分类 227

9.5 L1正则化 241

第10章 神经网络 251

10.1 什么是神经网络 251

10.2 训练神经网络 263

10.3 多类别神经网络 284

10.4 嵌入 301

第11章 人工智能应用 315

11.1 银行业 315

11.2 医疗行业 316

11.3 公共安全 320

11.4 制造业 321

附录A 人工智能的历史发展 322

附录B 人工智能网上资料 327

附录C 本书中采用的人工智能中英文术语 330

附录D 术语列表 332

前 言

我们已经进入了人工智能（Artificial Intelligence，AI）时代，人工智能技术越来越多地应用到日常生活的方方面面。AlphaGo ZERO碾压AlphaGo实现自我学习，无人驾驶汽车上路，iPhone开启人脸识别，阿里和小米先后发布智能音箱，肯德基上线人脸支付……这些背后都是人工智能技术的驱动。国家发布的新一代人工智能发展规划，更是将中国人工智能产业的发展推向了新高度。

人工智能技术是继蒸汽机、电力、互联网科技之后最有可能带来新一次产业革命浪潮的技术，在爆炸式的数据积累、基于神经网络模型的新型算法与更加强大、成本更低的计算力的促进下，本次人工智能的发展受到风险投资的热烈追捧而处于高速发展时期，人工智能技术的应用场景也在各个行业逐渐明朗，开始带来实际商业价值。在金融行业，人工智能可以在风险控制、资产配置、智能投顾等方向进行应用，预计将带来约6000亿元的效益。在汽车行业，人工智能在自动驾驶上的技术突破，将带来约5000亿元的价值增益。在医疗行业，通过人工智能技术，在药物研发领域可以提高成功率，在医疗服务机构可以提供疾病诊断辅助、疾病监护辅助，预计可以带来约4000亿元的效益。在零售行业，人工智能在推荐系统上的运用将提高在线销售的销量，同时能够对市场进行精准预测，降低库存，预计将带来约4200亿元的效益。

人工智能是一个非常广泛的领域。人工智能技术涵盖很多大的学科，包括计算机视觉（模式识别、图像处理）、自然语言理解与交流（语音识别）、认知科学、机器人学（机械、控制、设计、运动规划、任务规划等）、机器学习（各种模型和算法）。人工智能产业链条涵盖了基础层、技术层、应用层等多个方面，其辐射范围之大，单一公司无法包揽人工智能产业的每个环节，深耕细分领域和协作整合多个产业间资源的形式成为人工智能领域主要的发展路径。

本书从人工智能的定义入手，前两章阐述了人工智能火热的成因、发展历程、产业链、技术和应用场景，从第3章开始详细阐述人工智能的几个核心技术（机器学习、特征工程、模型、算法、深度学习）和两个最流行的开源平台（sklearn和TensorFlow）。通过本书，读者既能了解人工智能的方方面面（广度），又能深度学习人工智能的重点技术和平台工具，最终能够将人工智能技术应用到实际工作场景中，共同创建一个智能的时代。

示例代码及相关下载

本书示例代码及其他相关材料必须扫描下面的二维码获得。

如果下载有问题或对本书内容有疑问，请联系booksaga@163.com，邮件主题为“人工智能技术入门”。

致谢

在本书的编写过程中得到了众多的帮助和支持。特别感谢中国科学院的老师们，感谢戴汝为院士和黄玉霞研究员的科学指导和持续鼓励，80 多岁的戴老师前年还远赴广州为我的人工智能研究站台。还要特别感谢我在State University of New York at Stony Brook的老师们，导师帮我确定了本书的三个核心技术方向（机器学习、深度学习、算法），帮我掌舵了人工智能的研究方向。最后感谢我曾经工作了10年的IBM硅谷实验室，从大数据再到人工智能，这个实验室一直站在技术的制高点，10年的工作和研究，让我获益匪浅。

由于作者水平有限，书中难免存在纰漏之处，敬请读者批评指正。

杨正洪

2020年9月于San Jose