自然语言处理研究前沿

“十三五”国家重点图书规划项目，国家出版基金项目“脑计算出版工程：类脑计算与类脑研究前言系列”之一。

清华大学计算机科学与技术系教授孙茂松和研究所副所长李涓子合作编写。

本书以类脑模式的深度学习为基础，对自然语言处理的不同层面及其应用进行介绍。每一章内容均从任务定义、发展历程、意义和挑战、数据集与评测和典型模型与方法这几方面分别进行了阐述，通过结合各个实例为读者展示各部分技术的经典算法和相关问题的技术演化路径。

从事信息研究领域、计算机领域、自然语言研究的科技人员

计算机技术专业，自然语言处理领域的广大高校师生

　　本分册以类脑模式的深度学习为基础，对自然语言处理的不同层面及其应用进行介绍。本分册共分为10章，第1章介绍了自然语言中不同语言单元（包括词、句子和篇章）的表示，并介绍了深度神经网络的注意力计算模型；第2章和第3章分别介绍了自然语言词法和句子的经典分析算法和深度学习模型：第4章介绍了知识图谱和从大规模文本中获取知识的主要技术；第5章和第6章重点介绍了文本挖掘技术，包括文本分类和摘要以及文本情感分析；第7章至第10章分别介绍了自然语言处理在信息检索、自动问答、机器翻译和社会计算中的应用技术。

孙茂松，教授，博导，清华大学计算机科学与技术系党委书记。研究领域：自然语言理解、中文信息处理、Web 智能和社会计算。主持国家项目约20项，主持信息处理ISO国际标准 2项，发表论文130余篇，获国家发明专利4项。

李涓子，教授，清华大学计算机科学与技术系软件研究所副所长。研究领域：语义 Web, 语义 Web 服务；新闻与社会网络挖掘，主持多项国家自然基金项目，获网选新闻技术科技进步二等奖。

1 语言认知与表示模型
1．1 语言认知与语言表示的定义
1．2 研究语言认知与表示的意义与挑战
1．3 语言表示的模型与方法
1．3．1 词的表示
1．3．2 句子表示
1．3．3 篇章表示
1．3．4 注意力
1．4 基于预训练模型的语言表示
参考文献

2 词法分析
2．1 引言
2．1．1 词法分析的任务定义
2．1．2 词法分析的发展历程
2．1．3 词法分析的数据集和公开评测
2．1．4 分词的意义与挑战
2．2 中文分词
2．2．1 传统方法
2．2．2 深度学习方法
2．2．3 实验结果
2．3 命名实体识别
2．3．1 传统方法
2．3．2 深度学习方法
2．3．3 实验结果
2．4 词性标注
2．4．1 传统方法
2．4．2 深度学习方法
2．4．3 实验结果
2．5 应用
2．6 小结
参考文献

3 句法语义分析
3．1 引言
3．2 任务定义
3．2．1 依存句法分析（树）
3．2．2 语义角色标注
3．2．3 语义依存分析（图）
3．2．4 其他语义表示方法
3．2．5 数据集
3．2．6 相关评测
3．3 序列标注
3．3．1 条件随机场
3．3．2 深度序列标注
3．3．3 语义角色标注
3．4 基于图的方法
3．4．1 基于图的依存句法分析方法
3．4．2 基于图的语义依存分析方法
3．5 基于转移的方法
3．5．1 基于转移的依存句法分析方法
3．5．2 基于转移的语义依存分析方法
3．6 句法语义分析的进展与挑战
3．6．1 半监督学习
3．6．2 主动学习
3．6．3 句法数据标注现状
3．6．4 迁移学习
3．7 句法语义分析的应用
3．7．1 作为抽取规则
……
4 知识图谱
5 文本分类与自动文摘
6 情感分析
7 信息检索与推荐的神经网络方法：前沿与挑战
8 自动问答与机器阅读理解
9 机器翻译
10 深度学习在社会计算中的应用与进展
索引

　　语言是人类知识、思维和文明的载体，让计算机理解人类语言，实现人和计算机之间的自然语言交互是实现机器智能的重要目标。自然语言处理主要研究用计算机来理解和生成人类语言（又称为自然语言）的理论和方法，是人工智能领域中的一个十分重要的核心任务，也是一门涉及计算机科学、人工智能、语言学心理认知学等领域的交叉学科。1950年，计算机科学之父图灵发表了堪称“划时代之作”的《机器能思考吗？》（Can Machine Think?），图灵在该文章中提出了著名的“图灵测试”，即以语言问答为表现形式，机器要通过测试必须以对语言的深度计算为前提，这也被认为是自然语言处理思想的开端。
　　早期的自然语言处理主要在乔姆斯基体系及其转换生成文法的基本框架下，采用基于理性主义的规则方法，通过专家总结的小规模符号逻辑知识处理通用的自然语言现象。然而，由于自然语言的极端复杂性，这一研究范式在处理实际应用场景中的问题时往往力不从心。自20世纪90年代开始，以“香农信息论”为基本框架的大规模统计方法快速成为自然语言处理研究的主流，并取得了显著进展，自然语言处理的研究范式从理性主义演进到了经验主义。不过，该方法仍然严重依赖人工设计的特征工程。2012年之后，基于大数据的经验主义范式又实现了一次以深度学习为基本框架的大跃迁，可以直接端到端地学习各种自然语言处理真实任务而不再依赖特征工程，收获了巨大进步。
　　本书以深度学习为基础，针对自然语言的不同处理层次及其应用介绍相关技术。自然语言处理的研究领域极为广泛，本书的结构与内容按照自然语言处理的基础技术和应用技术进行了编排，并邀请国内在各个方向的优秀学者分别撰写了各章内容。第1章介绍了自然语言中不同语言单元（包括词、句子和篇章）的表示，并介绍了深度神经网络的注意力计算模型；第2章和第3章分别介绍了自然语言词法和句子的经典分析算法和深度学习模型；第4章介绍了知识图谱和从大规模文本中获取知识的主要技术；第5章和第6章重点介绍了文本挖掘技术，包括文本分类和摘要以及文本情感分析；第7章至第10章分别介绍了自然语言处理在信息检索、自动问答、机器翻译和社会计算中的应用技术。每一章内容均从任务定义、发展历程、意义和挑战、数据集与评测和典型模型与方法这几方面分别进行了阐述，通过结合各个实例为读者展示各部分技术的经典算法和相关问题的技术演化路径。
　　自然语言处理技术发展迅速，新的技术不断涌现，但仍有不少固有缺陷有待解决。预期未来10年，自然语言处理的发展前景将孕育于大数据与富知识双轮驱动的全新研究范式。期待本书能为广大自然语言处理领域的广大科研人员、青年学者等提供有价值的参考与启发，推动该领域的发展迈向新的高度。