分布式机器学习实战

本书由浅入深，逐步讲解分布式机器学习的框架及应用，内容板块包括主流大数据算法系统架构设计、大数据基础、mahout分布式机器学习平台、Spark分布式机器学习平台、TensorFlow等。同时配套完整工业级实战项目，例如个性化推荐算法系统、人脸识别，对话机器人。通过阅读本书，读者不仅可以学习到分布式机器学习的知识，还能通过实战案例更好地将理论融入到实际工作中。

本书适合想学习分布式机器学习的初学者阅读，对于有一定经验的分布式大数据方向的从业人员及算法工程师，也可以从书中获取很多有价值的知识。

陈敬雷 充电了么创始人，CEO兼CTO，中国首席数据官联盟专家委员。陈敬雷拥有十几年互联网从业经验，曾任架构师、首席技术官、首席科学家等职务。在技术领域，尤其在大数据和人工智能方向有着丰富的算法工程落地实战经验，在猎聘网任职期间主导的推荐算法系统项目获得公司优秀项目奖，推荐效果得到5倍的提升。目前专注于大数据和人工智能驱动的上班族在线教育行业，研发了充电了么App，用深度学习算法、NLP、推荐引擎等技术来高效提升在线学习效率。

《分布式机器学习实战》包含了目前主流互联网公司所采用的大数据、AI方面的系统架构、中间件、工具、机器学习/深度学习算法等，内容由浅入深，全面翔实。

——陈兴茂 猎聘CTO

通读《分布式机器学习实战》，有三点深切的体会。第一，系统全面：本书把分布式机器学习的关键环节进行了系统化梳理，介绍了主流的技术和工具平台，同时对大数据技术也做了详细讲解，是入门、参考、提高的有益工具书；第二，深入浅出：大量的系统化讲解，配合丰富的素材、案例和实际操作场景介绍，不但授人以鱼同时也授人以渔；第三，讲解清晰，思路明确：作者根据长期实践的经验总结，并融合大量的最新成果，连同职业路径规划都详细介绍。此书是难得佳作！

——梅一多 上海市青年拔尖人才，中基凌云科技有限公司联合创始人

《分布式机器学习实战》非常贴近实战，涵盖了目前各类应用场景的算法系统，对每个场景都有理论基础、源代码、算法解读等，深入浅出的讲解对于读者具有很强的实用性，作为大数据及人工智能领域的从业人员是必选的工具类参考书。

——杨正洪 博士 中央财经大学财税大数据实验室首席科学家

《分布式机器学习实战》不“高来高去”讲一些宏观的概念，书中的每一个算法，每一个场景都是来自于当前的商业应用，对于读者来讲这是一本难得的实用宝典。

—— 刘冬冬 首席数据官联盟创始人

《分布式机器学习实战》理论联系实践，覆盖技术面广，并且有公司工业级的系统实战，包含目前比较热门的推荐算法系统、人脸识别、对话机器人等项目，对常见的大数据算法系统架构也做了详细讲解，是一本难得的机器学习方面的佳作。无论对初学者、架构师,还是有经验的技术人员，都会开卷有益、有所收获。

——龙旭东 北京掌游智慧科技有限公司董事长

目录

第1章互联网公司大数据和人工智能那些事

1.1大数据和人工智能在互联网公司扮演的角色和重要性

1.1.1什么是大数据，扮演的角色和重要性

1.1.2什么是人工智能，扮演的角色和重要性

1.1.3大数据和人工智能有什么区别，又是如何相互关联

1.2大数据部门组织架构和各种职位介绍

1.2.1大数据部门组织架构

1.2.2各种职位介绍和技能要求

1.2.3不同职位相互协调配合关系

1.2.4各个职位的职业生涯规划和发展路径

1.2.5各个职位的市场平均薪资水平

第2章大数据算法系统架构

2.1经典应用场景

2.2应用系统架构设计

第3章大数据基础

3.1Hadoop大数据平台搭建

3.1.1Hadoop原理和功能介绍

3.1.2Hadoop安装部署

3.1.3Hadoop常用操作命令

3.2Hive数据仓库实战

3.2.1Hive原理和功能介绍

3.2.2Hive安装部署

3.2.3Hive SQL操作

3.2.4UDF函数

3.2.5Hive数据仓库模型设计

3.3HBase实战

3.3.1HBase原理和功能介绍

3.3.2HBase数据结构和表详解

3.3.3HBase安装部署

3.3.4HBase Shell常用命令操作

3.3.5HBase客户端类SQL工具Phoenix

3.3.6Hive集成HBase查询数据

3.3.7HBase升级和数据迁移

3.4Sqoop数据ETL工具实战

3.4.1Sqoop原理和功能介绍

3.4.2Sqoop常用操作

3.5Spark基础

3.5.1Spark原理和介绍

3.5.2Spark MLlib机器学习介绍

3.5.3Spark GraphX图计算介绍

3.5.4Spark Streaming流式计算介绍

3.5.5Scala编程入门和Spark编程

3.5.6Spark项目案例实战和分布式部署

第4章Docker容器

4.1Docker介绍

4.1.1能用Docker做什么

4.1.2Docker容器基本概念

4.2Docker容器部署

4.2.1基础环境安装

4.2.2Docker常用命令

第5章Mahout分布式机器学习平台

5.1Mahout挖掘平台

5.1.1Mahout原理和介绍

5.1.2Mahout安装部署

5.2Mahout机器学习算法

5.2.1Mahout算法概览

5.2.2潜在狄利克雷分配模型

5.2.3MinHash聚类

5.2.4Kmeans聚类

5.2.5Canopy聚类

5.2.6MeanShift均值漂移聚类

5.2.7Fkmeans模糊聚类

5.2.8贝叶斯分类算法

5.2.9SGD逻辑回归分类算法

5.2.10随机森林分类算法

5.2.11关联规则之频繁项集挖掘算法

5.2.12协同过滤算法

5.2.13遗传算法

第6章Spark分布式机器学习平台

6.1Spark机器学习库

6.1.1Spark机器学习简介

6.1.2算法概览

6.2各个算法介绍和编程实战

6.2.1推荐算法交替最小二乘法

6.2.2逻辑回归

6.2.3决策树

6.2.4随机森林

6.2.5梯度提升决策树

6.2.6支持向量机

6.2.7朴素贝叶斯

6.2.8序列模式挖掘PrefixSpan

6.2.9Word2vec词向量模型

6.2.10多层感知器神经网络

第7章分布式深度学习实战

7.1TensorFlow深度学习框架

7.1.1TensorFlow原理和介绍

7.1.2TensorFlow安装部署

7.2MXNet深度学习框架

7.2.1MXNet原理和介绍

7.2.2MXNet安装部署

7.3神经网络算法

7.3.1多层感知器算法

7.3.2卷积神经网络

7.3.3循环神经网络

7.3.4长短期记忆神经网络

7.3.5端到端神经网络

7.3.6生成对抗网络

7.3.7深度强化学习

7.3.8TensorFlow分布式训练实战

7.3.9分布式TensorFlow on Kubernetes集群实战

第8章完整工业级系统实战

8.1推荐算法系统实战

8.1.1推荐系统架构设计

8.1.2推荐数据仓库集市

8.1.3ETL数据处理

8.1.4协同过滤用户行为挖掘

8.1.5ContentBase文本挖掘算法

8.1.6用户画像兴趣标签提取算法

8.1.7基于用户心理学模型推荐

8.1.8多策略融合算法

8.1.9准实时在线学习推荐引擎

8.1.10Redis缓存处理

8.1.11分布式搜索

8.1.12推荐Rerank二次重排序算法

8.1.13在线Web实时推荐引擎服务

8.1.14在线AB测试推荐效果评估

8.1.15离线AB测试推荐效果评估

8.1.16推荐位管理平台

8.2人脸识别实战

8.2.1人脸识别原理与介绍

8.2.2人脸识别应用场景

8.2.3人脸检测与对齐

8.2.4人脸识别比对

8.2.5人脸年龄识别

8.2.6人脸性别预测

8.3对话机器人实战

8.3.1对话机器人原理与介绍

8.3.2基于TensorFlow的对话机器人

8.3.3基于MXNet的对话机器人

8.3.4基于深度强化学习的机器人

8.3.5基于搜索引擎的对话机器人

8.3.6对话机器人的Web服务工程化

参考文献

前言

互联网技术的发展催生了大数据平台，尤其公司大数据部门基本是以Hadoop大数据平台为基础，在这之上通过机器学习建模、算法工程落地成产品，通过数据分析进行大数据可视化展示来影响管理层决策。另外，以数据和机器学习来科学地驱动产品设计也成为主流。随着海量用户数据的积累，传统单机版机器学习框架已经不能满足数据日益增长的需求，于是分布式机器学习应运而生。本书以分布式机器学习为主线，对目前主流的分布式机器学习框架和算法进行重点讲解，侧重实战，最后是几个工业级的系统实战项目。

全书共分为8章，分别介绍互联网公司大数据和人工智能、大数据算法系统架构、大数据基础、Docker容器、Mahout分布式机器学习平台、Spark分布式机器学习平台、分布式深度学习实战、完整工业级系统实战（推荐算法系统实战、人脸识别实战、对话机器人实战）等内容。

第1章介绍了大数据常用框架及人工智能的常用算法，并且对公司实际的大数据部门组织架构，以及每个职位的技能要求、发展方向、市场薪资水平等都做了介绍，这一章可以帮助读者从整体上认识大数据和人工智能的常用技术框架和算法，以及公司的实际工作场景。第2章介绍应用场景，并且对个性化推荐系统、个性化搜索、用户画像系统的架构原理做了深入的讲解，方便从整体上把握一个完整的系统，提高系统架构设计能力，并指导读者针对某个系统模块应该掌握哪些核心技术。第3章讲解大数据基础，为后面的分布式机器学习平台打基础。第4章讲解Docker容器，可以帮读者快速构建标准化运行环境，以便节省时间和简化部署。第5章讲解的Mahout分布式机器学习是基于Hadoop的MapReduce计算引擎来分布式训练的。第6章介绍Spark如何读取Hadoop分布式存储文件系统HDFS上的数据在内存里做迭代计算，以此提高训练性能。第7章介绍基于TensorFlow和MXNet框架基础上的神经网络算法如何读取Hadoop的HDFS数据，如何使用Kubernetes管理集群进行分布式训练。第5~7章是本书分布式机器学习的主线。第8章突出本书的实战性，尤其是推荐系统的实战，能让读者完整地认识实际工作中的系统产品是怎样来做的，以便快速地投入到实际工作中去。

陈敬雷

2020年5月