《深度学习系统设计：理论与实践人工智能系统小组》[70]百度网盘|亲测有效|pdf下载

编辑推荐

本书的内容及特点可以简要概括为以下几点。

第一，兼顾前沿与经典，带领读者进行启发式思考。本书总结与剖析前沿的系统和人工智能相结合的研究与工程工作，包括Systems for AI和AI for Systems，帮助读者更好地寻找、定义有意义的系统研究与工程问题。同时兼顾系统经典问题，从时间跨度上让读者感受经典系统问题与方法久经考验的魅力。本书既介绍了人工智能系统领域解决方法和优化，又阐述了系统问题的抽象和定义，希望可以启发读者思考，鼓励读者开展新的系统研究与工程工作。

第二，做中学。通过穿插于书中的练习实验，并通过操作及应用主流的框架、平台、工具等，鼓励读者动手实现、实际优化，而不仅仅是停留在理论层面或只了解工具的使用方法，进而提高解决实际问题的能力。本书不仅介绍了业界主流的人工智能系统研究工作，还借助了来自微软亚洲研究院的研究员和工程师在人工智能和计算机系统交叉领域的研究成果、开源系统与实践经验。

第三，体系化。本书围绕深度学习系统全栈进行阐述，同时涵盖深度学习系统的设计原则、工作综述、方法论和工程实践等。通过问题与场景导向，打破计算机子领域界限，各章节涉及计算机、软件工程、人工智能等多学科知识点，让读者能够更加熟悉计算机系统子领域之间的关系，形成跨算法系统和软硬件栈的视角。

内容简介

近年来人工智能特别是深度学习技术得到了飞速发展，这背后离不开计算机硬件和软件系统的不断进步。在可见的未来，人工智能技术的发展仍将依赖于计算机系统和人工智能相结合的共同创新模式。本书介绍了前沿的系统和人工智能相结合的研究工作，包括AI for Systems和Systems for AI，以帮助读者更好地寻找和定义有意义的研究问题。同时，本书从系统研究的角度出发设计实验课程，通过操作和应用主流及最新的框架、平台和工具来鼓励读者动手实现和优化系统模块，以提高解决实际问题的能力，而不仅仅是了解工具使用。

本书主要面向相关领域的本科生、研究生、教师、工程师和研究员，帮助他们完整地了解支持深度学习的计算机系统架构，并通过解决实际问题来学习深度学习完整生命周期下的系统设计。

作者简介

人工智能系统小组成员

高彦杰，微软亚洲研究院高级研发工程师，研究方向为面向人工智能与大数据的平台，系统和工具。积极参与计算机教育。

胡晓武，毕业于哈尔滨工业大学，毕业后就职于中国科学院，后一直在微软（中国）研发部门工作至今。著有《智能之门》一书。

曹莹，微软亚洲研究院高级研究员，研究兴趣为深度学习框架和深度编译优化系统。

显示全部信息

目　　录

推荐序一
推荐序二
推荐序三
前言
致谢
第1章人工智能系统概述1
本章简介1
内容概览2
1.1　深度学习的历史、现状与发展2
1.1.1　深度学习的广泛应用2
1.1.2　深度学习方法4
1.1.3　神经网络基本理论的奠定5
1.1.4　深度学习算法、模型的现状和趋势9
1.1.5　小结与讨论12

推荐序一 推荐序二 推荐序三 前言 致谢 第1章人工智能系统概述1 本章简介1 内容概览2 1.1　深度学习的历史、现状与发展2 1.1.1　深度学习的广泛应用2 1.1.2　深度学习方法4 1.1.3　神经网络基本理论的奠定5 1.1.4　深度学习算法、模型的现状和趋势9 1.1.5　小结与讨论12 1.1.6　参考文献12 1.2　算法、框架、体系结构与算力的进步13 1.2.1　大数据和分布式系统13 1.2.2　深度学习算法的进步15 1.2.3　计算机体系结构和计算能力的进步17 1.2.4　计算框架的进步18 1.2.5　小结与讨论21 1.2.6　参考文献21 1.3　深度学习系统的组成与生态22 1.3.1　深度学习系统的设计目标22 1.3.2　深度学习系统的大致组成24 1.3.3　深度学习系统的生态27 1.3.4　小结与讨论29 1.3.5　参考文献29 1.4　深度学习样例背后的系统问题29 1.4.1　一个深度学习样例与其中的系统问题30 1.4.2　模型算子实现中的系统问题33 1.4.3　框架执行深度学习模型的生命周期36 1.4.4　更广泛的人工智能系统生态40 1.4.5　深度学习框架及工具入门实验41 1.4.6　小结与讨论44 1.4.7　参考文献44 1.5　影响深度学习系统设计的理论、原则与假设44 1.5.1　抽象层次化表示与解释45 1.5.2　摩尔定律与算力发展趋势49 1.5.3　局部性原则与内存层次结构52 1.5.4　线性代数计算与模型缺陷容忍特性59 1.5.5　并行加速与阿姆达尔定律优化上限64 1.5.6　冗余与可靠性67 1.5.7　小结与讨论68 1.5.8　参考文献68 第2章神经网络基础70 本章简介70 内容概览70 2.1　神经网络的基本概念70 2.1.1　神经元的数学模型71 2.1.2　神经网络的主要功能72 2.1.3　激活函数73 2.1.4　小结与讨论78 2.2　神经网络训练78 2.2.1　基本训练流程78 2.2.2　损失函数80 2.2.3　梯度下降82 2.2.4　反向传播85 2.2.5　小结与讨论85 2.3　解决回归问题85 2.3.1　提出问题86 2.3.2　万能近似定理86 2.3.3　定义神经网络结构87 2.3.4　前向计算88 2.3.5　反向传播89 2.3.6　运行结果91 2.3.7　小结与讨论92 2.4　解决分类问题92 2.4.1　提出问题92 2.4.2　定义神经网络结构93 2.4.3　前向计算94 2.4.4　反向传播95 2.4.5　运行结果96 2.4.6　小结与讨论96 2.5　深度神经网络97 2.5.1　抽象与设计97 2.5.2　权重矩阵初始化98 2.5.3　批量归一化99 2.5.4　过拟合101 2.5.5　小结与讨论103 2.6　梯度下降优化算法103 2.6.1　随机梯度下降算法103 2.6.2　动量算法104 2.6.3　Adam算法105 2.6.4　小结与讨论105 2.7　卷积神经网络105 2.7.1　卷积神经网络的能力105 2.7.2　卷积神经网络的典型结构106 2.7.3　卷积核的作用107 2.7.4　卷积后续的运算109 2.7.5　卷积神经网络的特性110 2.7.6　卷积类型111 2.7.7　小结与讨论115 2.8　循环神经网络115 2.8.1　循环神经网络的发展简史115 2.8.2　循环神经网络的结构和典型用途117 2.8.3　小结与讨论118 2.9　Transformer模型118 2.9.1　序列到序列模型119 2.9.2　注意力机制120 2.9.3　Transformer122 2.9.4　小结与讨论125 第3章深度学习框架基础126 本章简介126 内容概览126 3.1　基于数据流图的深度学习框架126 3.1.1　深度学习框架发展概述126 3.1.2　编程范式：声明式和命令式128 3.1.3　数据流图129 3.1.4　张量和张量操作130 3.1.5　自动微分基础131 3.1.6　数据流图上的自动微分135 3.1.7　数据流图的调度与执行136 3.1.8　单设备算子间调度136 3.1.9　图切分与多设备执行137 3.1.10　小结与讨论138 3.1.11　参考文献138 3.2　神经网络计算中的控制流139 3.2.1　背景139 3.2.2　静态图：向数据流图中添加控制流原语141 3.2.3　动态图：复用宿主语言控制流语句143 3.2.4　动态图转换为静态图144 3.2.5　小结与讨论145 3.2.6　参考文献145 第4章矩阵运算与计算机体系结构147 本章简介147 内容概览147 4.1　深度学习的历史、现状与发展148 4.1.1　全连接层148 4.1.2　卷积层148 4.1.3　循环网络层149 4.1.4　注意力机制层149 4.1.5　小结与讨论150 4.1.6　参考文献150 4.2　计算机体系结构与矩阵运算150 4.2.1　CPU体系结构151 4.2.2　CPU实现高效计算矩阵乘152 4.2.3　在CPU上实现一个矩阵乘法算子实验154 4.2.4　小结与讨论155 4.3　GPU体系结构与矩阵运算155 4.3.1　GPU体系结构155 4.3.2　GPU编程模型156 4.3.3　GPU实现一个简单的计算157 4.3.4　在GPU上实现一个矩阵乘法算子实验159 4.3.5　小结与讨论160 4.4　面向深度学习的专有硬件加速器与矩阵运算160 4.4.1　深度学习计算的特点与硬件优化方向160 4.4.2　脉动阵列与矩阵计算162 4.4.3　小结与讨论163 第5章深度学习的编译与优化164 本章简介164 内容概览164 5.1　深度神经网络编译器164 5.1.1　前端166 5.1.2　后端167 5.1.3　中间表达167 5.1.4　优化过程168 5.1.5　小结与讨论168 5.2　计算图优化168 5.2.1　算术表达式化简169 5.2.2　公共子表达式消除169 5.2.3　常数传播170 5.2.4　矩阵乘自动融合1

显示全部信息

前　　言

近年来，人工智能特别是深度学习技术飞速发展，在自然语言处理、计算机视觉、语音识别、广告与游戏等领域应用广泛，其中大语言模型、多模态更是取得了突破性进展。算法、模型突破的背后离不开计算机硬件提供的大规模算力和高质量的海量数据，如何衔接三者以完成模型的训练与推理则依赖于系统的支撑与优化。在可见的未来，人工智能技术的发展仍将依赖系统和人工智能模型相结合的共同创新模式。需要注意的是，系统正以更大的规模和更高的复杂度赋能和支持人工智能模型与应用的创新与演化，这背后不仅需要开发与设计更多的新系统（Systems for AI），还需要系统性的思维和方法论进行人工智能研发全生命周期的指导。与此同时，人工智能模型作为工具或核心算法也在逐渐为复杂系统设计提供支持（AI for Systems）。

近年来，人工智能特别是深度学习技术飞速发展，在自然语言处理、计算机视觉、语音识别、广告与游戏等领域应用广泛，其中大语言模型、多模态更是取得了突破性进展。算法、模型突破的背后离不开计算机硬件提供的大规模算力和高质量的海量数据，如何衔接三者以完成模型的训练与推理则依赖于系统的支撑与优化。在可见的未来，人工智能技术的发展仍将依赖系统和人工智能模型相结合的共同创新模式。需要注意的是，系统正以更大的规模和更高的复杂度赋能和支持人工智能模型与应用的创新与演化，这背后不仅需要开发与设计更多的新系统（Systems for AI），还需要系统性的思维和方法论进行人工智能研发全生命周期的指导。与此同时，人工智能模型作为工具或核心算法也在逐渐为复杂系统设计提供支持（AI for Systems）。 我们注意到，当前的大部分人工智能相关图书，特别是深度学习和机器学习领域的图书，主要集中在讲解人工智能理论、模型、算法或应用方面，与人工智能系统相关的图书并不多见。我们希望本书能填补人工智能系统领域的空白，以更加体系化和普适化的方式介绍相关内容，从而共同促进人工智能算法与系统领域交叉人才的培养。本书创作的初衷是帮助读者完整地了解人工智能系统，特别是深度学习系统的设计，并通过学习剖析实际问题和经典案例，掌握深度学习模型研发完整生命周期下的工程实践。本书的内容及特点可以简要概括为以下几点。 第一，兼顾前沿与经典，带领读者进行启发式思考。本书总结与剖析前沿的系统和人工智能相结合的研究与工程工作，包括Systems for AI和AI for Systems，帮助读者更好地寻找、定义有意义的系统研究与工程问题。同时兼顾系统经典问题，从时间跨度上让读者感受经典系统问题与方法久经考验的魅力。本书既介绍了人工智能系统领域解决方法和优化，又阐述了系统问题的抽象和定义，希望可以启发读者思考，鼓励读者开展新的系统研究与工程工作。 第二，做中学。通过穿插于书中的练习实验，并通过操作及应用主流的框架、平台、工具等，鼓励读者动手实现、实际优化，而不仅仅是停留在理论层面或只了解工具的使用方法，进而提高解决实际问题的能力。本书不仅介绍了业界主流的人工智能系统研究工作，还借助了来自微软亚洲研究院的研究员和工程师在人工智能和计算机系统交叉领域的研究成果、开源系统与实践经验。 第三，体系化。本书围绕深度学习系统全栈进行阐述，同时涵盖深度学习系统的设计原则、工作综述、方法论和工程实践等。通过问题与场景导向，打破计算机子领域界限，各章节涉及计算机、软件工程、人工智能等多学科知识点，让读者能够更加熟悉计算机系统子领域之间的关系，形成跨算法系统和软硬件栈的视角。 本书的读者对象为相关领域的本科生、研究生、教师、工程师和研究员。我们不断优化内容安排，加入了前沿和面向教学的高级内容，力求满足更多读者的不同需求。希望本书可以为读者提供启发与引导，也希望读者可以在书中找到自己所需的知识与方法。为了便于阅读和学习本书的内容，建议读者先学习以下前置知识，包括C/C++/Python、计算机体系结构、数据结构与算法、操作系统、编译原理、计算机网络等。 本书依托于微软亚洲研究院开源的人工智能系统课程相关内容，欢迎访问人工智能系统课程社区（AISystem）、人工智能教育与共建社区（AIEDU）的基础教程模块以获取更多学习内容、实验、代码和素材。人工智能系统课程社区网址为http://github.com/microsoft/AISystem。人工智能教育与共建社区网址为http://github.com/microsoft/aiedu。 本书的各章内容分别由以下作者撰写：第1、7、8章（高彦杰）、第2章（胡晓武）、第3章（曹莹）、第4和5章（薛继龙）、第6章（苗又山）、第9章（张权路）、第10章（薛卉）、第11章（曹士杰，刘剑毅）、第12章（谢佩辰，张宪）、第13章（梁傑然、闫宇、曹士杰）。 在本书的编写过程中，我们得到了微软亚洲研究院、西安交通大学的诸多领导、同事和朋友的支持与帮助，在此表示感谢。

显示全部信息

深度学习系统设计：理论与实践 人工智能系统小组

深度学习系统设计：理论与实践人工智能系统小组