深度学习与目标检测

如果你是深度学习爱好者，本书带你从理论到实践一览深度学习的基本概念及其在目标检测领域的应用。
如果你是人工智能从业者，你能获得深度学习与目标检测知识的梳理及工程实践的启发。

本书的写作初衷是，从学者的角度，用一种通俗易懂的方式，把与基于深度学习的目标检测的相关论文中的理论和方法呈现给读者，同时针对作者在深度学习教学过程中遇到的难点，进行深入的分析和讲解。本书侧重对卷积神经网络的介绍，而深度学习的内容不止于此。所以，作者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、语音识别、人脸识别、对抗生成网络和AlphaGo围棋等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。

本书适合有一定深度学习或目标检测学习基础的学生、研究者、从业者阅读。

杜鹏，博士，现任职于华为。2014年起在韩国科学技术学院和新加坡南洋理工大学从事博士后研究。回国后，曾任杭州电子科技大学副教授、浙江核新同花顺网络信息股份有限公司算法研究员。2018年被NVIDIA深度学习学院评为优秀校园大使，在SIGGRAPH、PG等国际著名学术会议发表论文10余篇。

谌明，博士。2004年加入美国道富集团，2011年加入浙江核新同花顺网络信息股份有限公司并任首席技术官，推动了包括计算机视觉、语音技术、自然语言处理、机器学习等技术在金融、医疗等领域的商业化落地。

苏统华，博士，哈尔滨工业大学副教授，自然手写中文文本识别的开拓者。曾出版手写汉字识别领域的首本英文专著，以及7本GPU计算和大数据分析方面的译作，所领导的NVIDIA GPU教育中心连续4年被NVIDIA评为中国区优秀GPU教育中心。

杜鹏等人编著的《深度学习与目标检测》一书，从理论和实践两个方面对基于学习方法的目标检测技术进行了深入讲解。本书从基础理论出发，层层深入，给出了一系列实例应用。对比目前市场上的同类书籍，本书的亮点在于，作者结合自身科研实践中的特定问题，给出了相关理论的应用示例，以及具体的源代码实现，这些都有助于读者加深对算法的理解。相信本书对该领域的初学者和高级用户都有裨益。
浙江大学教授 唐敏

杜鹏老师的这本《深度学习与目标检测》，没有局限于某种框架，而是用简洁、生动的语言对深度学习的原理进行了深入浅出的讲解，并为读者展示了完整的科学研究和工程实践案例。这是本书与目前市面上流行的介绍PyTorch、TensorFlow等深度学习的书籍的不同。
新加坡南洋理工大学终身教授，MICCAI 2022共同主席 蔡亦渔

杜鹏和苏统华两位老师是NVIDIA深度学习学院的首批认证讲师和校园大使，有丰富的深度学习教学经验。《深度学习与目标检测》这本书既可以作为初学者的深度学习教材，也可以作为科研和工程人员的实践参考书。
NVIDIA中国GPU应用市场总监 侯宇涛

深度学习作为眼下火热的研究领域，获得了极大的关注，目标检测问题则是深度学习要解决的基本问题之一。如何能够快速入门是很多深度学习从业者面临的棘手问题，我相信，本书能够很好地解决这个问题。本书从基础的深度学习和目标检测原理出发，深入浅出地介绍了相关知识点，提供了非常生动的应用案例，能够帮助读者很好地结合实践。我和苏统华老师相识多年，他作为国内人工智能的第一批开拓者，在这个领域有很深的造诣。很高兴看到他为读者呈现前沿的知识，也很感谢他多年来为这个领域作出的贡献。阅读本书并结合相关实例的练习，相信读者能够掌握完整的知识体系并获得应用能力。期待苏统华老师和他的团队为大家带来更多优秀的作品。
NVIDIA CUDA Fellow，山东大学教授 周斌

在计算机视觉领域，目标识别是一个非常有用且有趣的方向。多年来，各国都有很多科研人员倾心于新技术的研究，也取得了不少成绩。这本书沿着目标识别的发展路径，介绍了多个较新的基于深度学习的实践案例，不失为一本系统学习目标识别的好书。
《白话强化学习与PyTorch》作者，博士 高扬

计算机视觉是赋予机器类人智能过程中的一个不可或缺的环节，在其60余年的技术演进中，近几年的技术发展极大地提升了其类人化程度，而其中起到“助推器”作用的技术就是深度学习。神经网络是深度学习的“根性”，帮助机器在图像和视频中发现感兴趣区域“在哪里”“是什么”是其根本任务。本书用通俗的语言介绍了深度学习的发展简史、构成深度神经网络的基本单元、针对目标检测的模型演化及其在医疗、平安城市、自动驾驶领域的应用，内容翔实。对于想了解人工智能在计算机视觉领域发展现状的读者，本书不失为一本上佳的入门读物。
计算机视觉资深专家，博士 谢迪

基础篇

第1章 深度学习概述 2

1.1 深度学习发展简史 2

1.2 有监督学习 4

1.2.1 图像分类 4

1.2.2 目标检测 6

1.2.3 人脸识别 10

1.2.4 语音识别 13

1.3 无监督学习 18

1.3.1 无监督学习概述 18

1.3.2 生成对抗网络 18

1.4 强化学习 21

1.4.1 AlphaGo 21

1.4.2 AlphaGo Zero 23

1.5 小结 25

参考文献 25

第2章 深度神经网络 27

2.1 神经元 27

2.2 感知机 30

2.3 前向传递 32

2.3.1 前向传递的流程 32

2.3.2 激活函数 33

2.3.3 损失函数 37

2.4 后向传递 40

2.4.1 后向传递的流程 40

2.4.2 梯度下降 40

2.4.3 参数修正 42

2.5 防止过拟合 44

2.5.1 dropout 44

2.5.2 正则化 45

2.6 小结 46

第3章 卷积神经网络 47

3.1 卷积层 48

3.1.1 valid 卷积 48

3.1.2 full 卷积 50

3.1.3 same 卷积 51

3.2 池化层 52

3.3 反卷积 53

3.4 感受野 55

3.5 卷积网络实例 56

3.5.1 Lenet-5 56

3.5.2 AlexNet 59

3.5.3 VGGNet 62

3.5.4 GoogLeNet 64

3.5.5 ResNet 72

3.5.6 MobileNet 73

3.6 小结 76

进阶篇

第4章 两阶段目标检测方法 78

4.1 R-CNN 78

4.1.1 算法流程 79

4.1.2 训练过程 80

4.2 SPP-Net 83

4.2.1 网络结构 84

4.2.2 空间金字塔池化 84

4.3 Fast R-CNN 86

4.3.1 感兴趣区域池化层 86

4.3.2 网络结构 88

4.3.3 全连接层计算加速 89

4.3.4 目标分类 90

4.3.5 边界框回归 91

4.3.6 训练过程 93

4.4 Faster R-CNN 96

4.4.1 网络结构 97

4.4.2 RPN 98

4.4.3 训练过程 104

4.5 R-FCN 106

4.5.1 R-FCN 网络结构 107

4.5.2 位置敏感的分数图 108

4.5.3 位置敏感的RoI 池化 109

4.5.4 R-FCN 损失函数 110

4.5.5 Caffe 网络模型解析 111

4.6 Mask R-CNN 115

4.6.1 实例分割简介 115

4.6.2 COCO 数据集的像素级标注 116

4.6.3 网络结构 117

4.6.4 U-Net 121

4.6.5 SegNet 122

4.7 小结 123

第5章 单阶段目标检测方法 124

5.1 SSD 124

5.1.1 default box 125

5.1.2 网络结构 125

5.1.3 Caffe 网络模型解析 126

5.1.4 训练过程 134

5.2 RetinaNet 136

5.2.1 FPN 136

5.2.2 聚焦损失函数 138

5.3 RefineDet 139

5.3.1 网络模型 140

5.3.2 Caffe 网络模型解析 142

5.3.3 训练过程 151

5.4 YOLO 152

5.4.1 YOLO v1 152

5.4.2 YOLO v2 155

5.4.3 YOLO v3 157

5.5 目标检测算法应用 159

5.5.1 高速公路坑洞检测 159

5.5.2 息肉检测 160

5.6 小结 162

应用篇

第6章 肋骨骨折检测 164

6.1 国内外研究现状 165

6.2 解决方案 166

6.3 预处理 166

6.4 肋骨骨折检测 167

6.5 实验结果分析 168

6.6 小结 170

参考文献 171

第7章 肺结节检测 172

7.1 国内外研究现状 172

7.1.1 肺结节可疑位置推荐算法 173

7.1.2 假阳性肺结节抑制算法 173

7.2 总体框架 174

7.2.1 肺结节数据集 174

7.2.2 肺结节检测难点 175

7.2.3 算法框架 175

7.3 肺结节可疑位置推荐算法 176

7.3.1 CT图像的预处理 177

7.3.2 肺结节分割算法 178

7.3.3 优化方法 180

7.3.4 推断方法 182

7.4 可疑肺结节定位算法 183

7.5 实验结果与分析 184

7.5.1 实验结果 184

7.5.2 改进点效果分析 184

7.6 假阳性肺结节抑制算法 186

7.6.1 假阳性肺结节抑制网络 186

7.6.2 优化策略 190

7.6.3 推断策略 192

7.7 实验结果与分析 192

7.7.1 实验结果 193

7.7.2 改进点效果分析 193

7.7.3 可疑位置推荐与假阳抑制算法整合 194

7.8 小结 195

参考文献 195

第8章 车道线检测 198

8.1 国内外研究现状 198

8.2 主要研究内容 200

8.2.1 总体解决方案 200

8.2.2 各阶段概述 201

8.3 车道线检测系统的设计与实现 204

8.3.1 车道线图像数据标注与筛选 205

8.3.2 车道线图片预处理 206

8.3.3 车道线分割模型训练 211

8.3.4 车道线检测 220

8.3.5 车道线检测结果 224

8.4 车道线检测系统的性能测试 224

8.4.1 车道线检测质量测试 224

8.4.2 车道线检测时间测试 226

8.5 小结 227

参考文献 227

第9章 交通视频分析 229

9.1 国内外研究现状 230

9.2 主要研究内容 231

9.2.1 总体设计 231

9.2.2 精度和性能要求 232

9.3 交通视频分析 232

9.3.1 车辆检测和车牌检测 233

9.3.2 车牌识别功能设计详解 235

9.3.3 车辆品牌及颜色的识别 243

9.3.4 目标跟踪设计详解 244

9.4 系统测试 247

9.4.1 车辆检测 248

9.4.2 车牌检测 251

9.4.3 车牌识别 253

9.4.4 车辆品牌识别 256

9.4.5 目标跟踪 259

9.5 小结 259

参考文献 260

序

深度学习自2006年被正式提出后，经过10余年的发展，已经在很多领域取得了突破性的进展。2015年，深度学习在著名的图像分类数据集ImageNet上成功超越了人类的分类准确率。2016年，深度学习应用于强化学习领域，在围棋项目上击败了最优秀的人类棋手。2019年，在《星际争霸Ⅱ》这样复杂的游戏项目中，深度学习同样击败了人类职业选手。
尽管深度学习让人工智能的实现变得似乎不再那么遥不可及，但是在目标检测领域，深度学习还没能让计算机超越人类。因此，系统性地整理这个领域的研究成果并成书，让更多的人参与进来，对推动深度学习在目标检测领域的研究具有积极的意义。
本书从深度学习的发展历史开始，为读者介绍了机器学习的各个流派在深度学习出现后的代表性研究成果。然后，介绍了成熟的深度学习方法和技术，以及两阶段和单阶段的基于深度学习的目标检测方法。本书内容由浅入深，适合不同层次的读者阅读，我本人读后也收获颇丰，感觉大有裨益。
本书不仅梳理了在目标检测领域应用深度学习之后出现的主流方法，还讲解了具体的训练过程，为读者学习深度学习的参数调节打下了基础，使读者能更加全面地了解相关算法，在真正进入这个领域时更容易上手。对于已经熟悉这个领域的读者，通过反复研读本书的内容，可以使自己对调参的理解更加透彻。
除了以上内容，本书还介绍了目标检测算法在一些实际问题中的应用案例。应用案例覆盖面广，并涉及当下热门的人工智能创业场景——智慧医疗和智慧交通。对每个案例，都介绍了国内外的研究现状，给出了解决方案，并详细描述了预处理、算法实现细节和实验结果。这些专门强调的细节，不仅是深度学习在不同目标检测领域得以成功应用的关键，而且能帮助读者提高解决实际问题的能力。
我期待这本书能帮助更多的读者了解深度学习和目标检测领域的前沿知识，更期待这本书的读者将来能让计算机拥有超越人类的目标检测能力。

何晓飞

前言

时光飞逝，从2018年3月开始组织素材到本书出版，一年多的时间过去了。
创作本书的初衷是希望从学者的角度，用一种通俗易懂的方式，将基于深度学习的目标检测的相关论文中的理论和方法呈现给读者。因此，本书选取了R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、SSD、RetinaNet、RefineDet、YOLO、等典型的目标检测网络及Mask R-CNN、U-Net、SegNet等实例分割网络进行介绍，同时针对笔者在深度学习教学过程中遇到的难点进行了深入的分析和讲解。此外，结合三位作者的研究成果，给出了目标检测在医疗、交通等领域的深度学习应用案例。
本书侧重于卷积神经网络，而深度学习的内容不止于此。所以，笔者将深度学习分为有监督学习、无监督学习和强化学习三类，将图像分类、目标检测、人脸识别、语音识别、生成对抗网络、AlphaGo等应用场景归入不同的类别，并分别对其原理进行了概括性的讲解。
本书分为三篇，第1章~第3章为基础篇，第4章和第5章为进阶篇，第6章～第9章为应用篇。
* 第1章介绍了深度学习的典型应用。
* 第2章介绍了深度神经网络的基础知识。
* 第3章介绍了卷积神经网络的基础知识，以及典型的卷积神经网络。
* 第4章介绍了两阶段目标检测方法和相应的分割算法。
* 第5章介绍了单阶段目标检测方法。
* 第6章给出了肋骨骨折检测的应用案例。
* 第7章给出了肺结节检测的应用案例。
* 第8章给出了车道线检测的应用案例。
* 第9章给出了交通视频分析的应用案例。
本书提到的参考链接列表，请读者访问http://www.broadview.com.cw/36785下载。
杜鹏、谌明负责前七章内容的编写，苏统华负责后两章内容的编写。第6章～第9章的实验部分由汪纯、许卫东、金弘晟、李松泽、孙黎完成。罗同桉、张栋、胡明玥、陈希坚等同学参与了本书的编写。金耀博士参与了本书的审校。对此，我们表示衷心的感谢。同时，感谢浙江省公益基金（No.LGF19F020014）和国家自然科学基金（No.61673140和No.81671771）对本书的资助。
近一年来，以FCOS、CornerNet-Lite、CenterNet为代表的无锚点碰撞检测成为目标检测领域的一个新的研究热点。这类方法与基于锚点的目标检测算法相比，缩减了超参数的数量并提升了精度和性能，但受时间所限，本书无法对这部分内容进行详细介绍，请感兴趣的读者参考相关文献。
本书的不足之处，恳请各位读者批评、指正。

杜鹏、谌明、苏统华
2019年11月