人工智能出版工程人工智能：人脸识别与搜索

人脸识别是当今的热门应用领域和研发方向，在安防、金融、公共服务等领域具有十分广泛的应用。本书全面、系统地介绍“刷脸”背后的技术，包括人脸检测、人脸识别、人脸关键点定位、人脸检索相关的算法和实现技术。另外，本书还囊括了前沿的、基于深度学习的人脸识别技术（2014―2020年）。本书讲解的算法具有前沿性和实用性。通过本书学习，学习人员能够在3～5个月内系统地了解、掌握人脸检测、人脸识别、人脸关键点定位、人脸检索的算法原理与实战技术。本书内容新颖、技术前沿、层次清晰，适合高校教师、研究生、工程师和人脸识别爱好者使用。

张重生，男，1982年9月生，博士，河南大学教授、博士生导师。 2011年博士毕业于INRIA法国国家信息与自动化研究所，攻读博士期间曾受INRIA资助在美国加州大学洛杉矶分校(UCLA)进行访学(2010-2011年)，后以“玛丽居里学者”身份在挪威科技大学进行合作研究（2012-2013年）。现为中国图像图形学学会文档图像识别与分析专业委员会委员、中国教育发展战略学会人工智能与机器人教育专业委员会委员，河南省侨联青年委员会第一届委员会委员，河南大学计算机与信息工程学院学术委员会委员，ECML-PKDD 2018, CIKM 2020等知名国际会议程序委员会委员。研究领域为大数据分析、深度学习。主持5项科研项目，作为第一发明人申请/授权10项国家发明专利，登记20余项软件著作权，出版学术专著4部、译著1部。在IJCAI 2020，IEEE ICDM 2010, IEEE Transactions on Intelligent Transportation Systems，Knowledge-Based Systems，Information Sciences等知名国际会议和学术期刊上发表论文30余篇，含ESI高被引/热点论文3篇，“Best Paper Award”国际会议论文1篇。在社会服务方面做出了一定贡献：（1）2016-2017年，作为主要成员之一执笔《河南省大数据产业发展引导目录》、《河南省国家大数据综合试验区实施方案》并由河南省人民政府颁布实施，积极服务于河南省国家大数据综合试验区的规划建设。（2）2020年，主持“AI缀多多”软件的研发，在甲骨学历史上第一次在真正意义上实现了人工智能批量缀合甲骨，在古文字与人工智能结合方面取得了率先突破，在古文字学界引起了强烈反响，得到了新华社、河南卫视，河南日报、大河报、郑州晚报，中国青年报、环球网、腾讯网、中国社会科学网等媒体的广泛报道和转载，并受到中央广播电台中国之声《朝花夕拾》节目的专题采访。

第1章 人脸识别概述 1
1．1 广义的人脸识别的1：1、1：N和N：N比对计算模式 2
1．1．1 人脸验证――1：1相似度对比 3
1．1．2 人脸检索――1：N相似度比对 4
1．1．3 N：N人脸相似性计算 6
1．1．4 人脸检测、人脸识别、人脸检索与1：1、1：N、N：N
人脸相似度计算 6
1．2 人脸识别技术的应用场景 7
1．2．1 当前应用 8
1．2．2 未来应用 11
1．3 常用数据集介绍 12
1．3．1 人脸检测数据集 12
1．3．2 人脸识别数据集 14
1．3．3 人脸关键点定位数据集 15
1．3．4 其他数据集 16
本章参考文献 17
?
第2章 人脸检测技术的最新进展 19
2．1 Cascade CNN人脸检测算法 20
2．2 MTCNN人脸检测算法 24
2．3 Face R-CNN人脸检测算法 27
2．4 SSH人脸检测算法 28
2．5 DSFD人脸检测算法 32
2．6 本章小结 35
本章参考文献 36
第3章 人脸识别技术的最新进展 38
3．1 DeepID系列人脸识别算法 39
3．2 FaceNet人脸识别算法 41
3．3 ArcFace人脸识别算法 44
本章参考文献 47
第4章 人脸关键点定位技术的最新进展 49
4．1 Coarse-to-Fine CNN人脸关键点定位算法 50
4．2 TCDCN人脸关键点定位算法 51
4．3 SIR-LAN人脸关键点定位算法 52
4．4 SAN人脸关键点定位算法 54
4．5 WingLoss：人脸关键点定位算法的损失函数设计 55
本章参考文献 56
第5章 人脸检索技术的最新进展 57
5．1 人脸检索与人脸识别的相似之处与不同之处 57
5．2 人脸检索与图像检索的相似之处与不同之处 58
5．3 基于深度哈希的人脸检索算法 59
5．4 同时考虑哈希码损失和分类损失的图像检索技术 61
本章参考文献 63
第6章 经典的人脸检测算法 64
6．1 DPM人脸检测算法 65
6．1．1 DPM人脸检测算法原理 65
6．1．2 DPM人脸检测算法检测结果 70
6．2 LAEO人脸检测算法 71
6．2．1 LAEO人脸检测算法原理 71
6．2．2 LAEO人脸检测算法检测结果 74
6．3 Viola ＆ Jones人脸检测算法 75
6．3．1 Viola ＆ Jones人脸检测算法原理 75
6．3．2 Viola ＆ Jones人脸检测算法检测结果 78
本章参考文献 79
第7章 基于深度学习的人脸检测算法实践 82
7．1 CNN Facial Point Detection人脸检测算法 82
7．1．1 CNN Facial Point Detection人脸检测算法原理 83
7．1．2 CNN Facial Point Detection人脸检测算法检测结果 83
7．2 DDFD人脸检测算法 84
7．2．1 DDFD人脸检测算法原理 85
7．2．2 DDFD人脸检测算法检测结果 85
7．3 人脸检测算法融合 86
本章参考文献 88
第8章 基于Fast R-CNN的人脸检测实践 90
8．1 Fast R-CNN简介 90
8．2 Fast R-CNN的特点和结构 91
8．3 数据集的预处理 94
8．4 基于Fast R-CNN训练人脸检测模型 95
8．4．1 训练阶段 95
8．4．2 测试阶段 101
本章参考文献 105
第9章 基于HOG特征的人脸关键点定位实践 105
9．1 H-GBDT算法介绍 108
9．2 相关算法介绍 111
9．2．1 GBDT算法介绍 111
9．2．2 HOG特征介绍 113
9．3 H-GBDT人脸关键点定位算法设计 114
9．4 实验设计 115
9．4．1 数据集 115
9．4．2 SO-RF算法和Face++人脸识别系统 117
9．4．3 实验结果比较 118
9．5 本章小结 125
本章参考文献 126
第10章 人脸识别实践 125
10．1 DeepID算法 131
10．1．1 DeepID算法的原理 132
10．1．2 DeepID算法实现 133
10．1．3 DeepID算法结果 146
10．2 VGG Face Descriptor算法 148
10．2．1 VGG Face Descriptor算法原理 148
10．2．2 VGG Face Descriptor算法实现 150
10．2．3 VGG Face Descriptor算法结果 152
10．3 3种经典的人脸识别算法 155
10．3．1 EigenFaces算法 155
10．3．2 FisherFaces算法 165
10．3．3 LBP算法 174
10．4 人脸识别算法对比分析 179
10．5 本章小结 180
本章参考文献 181
第11章 人脸检索实践 177
11．1 人脸检索简介 185
11．2 计算人脸相似度的方法 186
11．2．1 欧氏距离 186
11．2．2 余弦相似度 188
11．3 图像快速查找算法 189
11．4 评价人脸检索结果的标准 190
11．5 PHash算法 190
11．5．1 PHash算法原理 190
11．5．2 PHash算法实现 191
11．5．3 PHash算法的实验数据、实验结果及其分析 193
11．6 DHash算法 194
11．6．1 DHash算法原理 195
11．6．2 DHash算法实现 195
11．6．3 Dhash算法的实验数据、实验结果及其分析 197
11．7 PCA算法 198
11．7．1 PCA算法原理 198
11．7．2 PCA算法实现 200
11．7．3 PCA算法的实验数据、实验结果及其分析 203
11．8 BoF-SIFT算法 204
11．8．1 BoF-SIFT算法原理 205
11．8．2 BoF-SIFT算法实现 205
11．8．3 BoF-SIFT算法的实验数据、实验结果及其分析 213
11．9 用于图像快速检索的KD-Tree索引 215
11．9．1 FLANN算法的使用 215
11．9．2 KD-Tree的创建与查询处理 215
11．9．3 FLANN中KD-Tree算法的实现 217
11．9．4 FLANN算法的实验数据、实验结果及其分析 219
11．10 Gabor算法 220
11．10．1 Gabor算法原理 220
11．10．2 Gabor算法实现 223
11．10．3 Gabor算法的实验数据、实验结果及其分析 229
11．11 HOG 231
11．11．1 HOG原理 231
11．11．2 HOG实现 232
11．11．3 HOG的实验数据、实验结果及其分析 234
11．12 基于DeepID的人脸检索 236
11．12．1 DeepID方法 236
11．12．2 神经网络结构介绍 236
11．12．3 DeepID算法的实验数据、实验结果及其分析 237
11．13 哈希方法和深度哈希方法 238
本章参考文献 240
第12章 人脸检测商业软件及其应用示例 232
12．1 VeriLook 241
12．2 Face++ 247
12．3 各种算法的对比分析 250
12．4 视频中的人脸检测与追踪 253
本章参考文献 257
第13章 GAN与人脸生成 248
13．1 DCGAN 259
13．1．1 DCGAN原理 259
13．1．2 DCGAN判别器和生成器的优化过程 262
13．1．3 DCGAN训练流程 263
13．1．4 实验结果 269
13．2 BEGAN 270
13．2．1 网络模型结构 273
13．2．2 BEGAN判别器和生成器优化过程 275
13．2．3 BEGAN训练流程 277
13．2．4 实验结果 286
本章参考文献 288
后记 275

前 言

人脸识别、语音识别、无人驾驶是人工智能众多研究分支中的“显学”，在生活中为广大群众所熟知，也最容易被理解和接受。相对人工智能其他分支的抽象和晦涩，人脸识别这一分支更为直观，而且落地应用众多。如今，我们已处于“刷脸”时代，越来越多的“刷脸”应用开始出现，如已经普及的火车站“人票证”合一式的刷脸验票，厦门、杭州部分景区的刷脸入园，支付宝的金融支付，刷脸签到等广为人知的应用。

“广义”的人脸识别，在技术上可细分为人脸检测、人脸识别、人脸检索、人脸关键点定位、人脸表情识别、人脸生成等技术。人脸识别技术的发展大致可分为四个时期：EigenFace方法时期、Gabor-LBP方法时期、基于稀疏表示的人脸识别方法时期和基于深度学习的人脸识别方法时期。每个时期都有代表性的人脸识别算法和技术，并在技术上取得了一定突破。其中，2012年以后，尤其是2014年至今，基于深度学习的人脸识别方法取得了高水平的人脸识别性能，因此得到了学术界和工业界的高度重视，并投入大量的科研力量。

笔者之前出版的《刷脸背后：人脸检测 人脸识别 人脸检索》一书，得到了广大读者的青睐，成为人脸识别领域较为畅销的书籍之一。该书出版后，收到了很多读者的信息和咨询，其中包括很多媒体朋友，如《新京报》《Vista看天下》杂志等。2019年热播的电视剧《亲爱的，热爱的》亦将本书选作女主角在剧中阅读的高科技书籍，对此，电子工业出版社在自媒体上进行了宣传。由此可见，人脸识别已经为广大读者和媒体所广泛关注。《刷脸背后：人脸检测 人脸识别 人脸检索》成书于2016年之前，而人脸识别在2016年之后取得了更大的突破和进展，发展更为迅猛，涌现出很多新方法和新技术，包括人脸检测、人脸识别、人脸关键点定位、人脸图像生成等方面的最新技术。因此，十分有必要对这些最新的基于深度学习的人脸识别方法进行系统讲解和阐述。

受电子工业出版社邀请，笔者于2019年开始了本书的撰写工作。新书的特点是：深度方法和经典方法并重，理论讲解和应用实践兼修。新书在高度关注最新最前沿的人脸识别技术的同时，仍然重视经典的（传统的）人脸识别方法和技术的讲解和实践，这些经典方法在今天的应用中仍然有很多用武之地和借鉴之处。

本书共13章。第1章为人脸识别概述；第2～5章及第13章属于人脸识别最新技术篇，分别从技术角度讲解了人脸检测、人脸识别、人脸关键点定位、人脸检索、人脸图像生成的最新技术；第6～12章属于人脸识别实践篇，从实战角度讲解了人脸检测、人脸识别、人脸关键点定位和人脸检索的技术和实践案例。

本书主著为张重生，研究生曹爽主要负责第13章的编写工作，她和研究生刘大征在参编人员中的贡献各占约50%。感谢电子工业出版社董亚峰副社长和刘小琳编辑对本书的帮助和支持，感谢国家出版基金和河南大学研究生院（2019年度河南大学研究生教育创新与质量提升计划项目“研究生规划教材”）的资助。

笔者在撰写此书的过程中，查阅了一些学术论文和技术资料。据笔者了解，现在的人脸识别专业书籍非常匮乏，尤其是有理论深度并能反映最前沿的人脸识别技术的书籍更为稀缺。究其原因，是人脸识别这一人工智能“显学”具有巨大应用市场和商业价值，很多核心技术或关键细节掌握在少数公司手中。据了解，目前人脸识别公司普遍采用了基于深度学习的人脸识别技术。一本最权威、最深入的人脸识别书籍如果由国内的商汤、旷视、中科视拓、依图、腾讯优图，以及美国的谷歌、脸谱，立陶宛的NEURO Technology等公司专门从事人脸识别核心研发的技术总监联袂撰写，并公开算法、应用内幕及相关的技术细节等资料，将对人脸识别理论和技术的传播、专业人才的培养带来巨大的推动作用。然而，这样的书籍可遇而不可求，因为写书是一个时间和精力投入巨大而所获经济效益很小的工作，这些公司忙于新产品的研发和市场的开拓，无暇出版这样的人脸识别书籍。

纸上得来终觉浅，绝知此事要躬行。本书只为抛砖引玉，为读者系统介绍人脸识别的相关理论和技术，尤其是最前沿的人脸识别技术，为读者学习、了解人脸识别提供较为全面的线索和参考资料。读者如果要深入了解某个人脸识别算法，则应仔细学习并理解原版的英文论文，调试相关的源代码并使用主流的人脸数据集进行大规模实验验证；同时，要注重对算法细节的把握，因为很多算法成功的关键在于细节的考究和精细化处理。

科学研究必须实事求是，写书亦如此，书中纰漏之处恳请读者批评指正，也非常欢迎对人脸识别感兴趣的读者与笔者联系交流，笔者电子邮箱为chongsheng.zhang@yahoo.com ，微信号为A13938613173。