Python数据挖掘方法及应用

本书重点介绍Python语言在数据处理与数据挖掘方面的应用技巧，主要包括数据分析基础知识（数据收集与分析软件、数据挖掘的分析基础、简单数据的统计分析），数据分析高级方法（多元数据的综合分析、时序数据的模型分析），大数据基本处理方法（大数据分析基础应用、文献计量与科研评价、社会网络分析方法、数据分析编程平台）等内容。附录中还提供了Python数据分析相关方法和函数等，方便读者随时查看。本书内容丰富，图文并茂，可操作性强且便于查阅，主要面向数据分析的读者，能有效帮助读者提高数据处理与分析的水平，提升工作效率。书中的例子数据、习题数据及相关代码都可在作者的学习博客http：//blog.leanote.com/DaPy下载使用，也可登录华信教育资源网http：//www.hxedu.com.cn免费下载。 本书适合各层次的数据分析用户，既可作为初学者的入门指南，又可作为中高级用户的参考手册，同时也可作为各大中专院校和培训班的数据分析教材。

暨南大学教授，中国统计学会会员，广东省统计学会常务理事，暨南大学统计学专业博士生导师。著有多部统计学教材或专著。

目 录
第一部分 数据分析基础知识
第1章 数据收集与分析软件 2
1．1 数据收集过程 2
1．1．1 数据的类型 2
1．1．2 数据的收集 3
1．1．3 数据的管理 8
1．2 数据分析软件 9
1．2．1 数据分析软件简介 9
1．2．2 Python语言介绍 10
1．2．3 Python在线平台 13
1．3 Python编程基础 18
1．3．1 Python编程入门 18
1．3．2 Python数据类型 20
1．3．3 数值分析包numpy 24
1．3．4 数据分析包pandas 25
1．3．5 Python编程运算 34
数据及练习1 38
第2章 数据挖掘的分析基础 41
2．1 数据的描述分析 41
2．1．1 基本统计量 41
2．1．2 基本绘图函数 46
2．2 数据的透视分析 55
2．2．1 一维频数分析 56
2．2．2 二维集聚分析 57
2．2．3 多维透视分析 60
数据及练习2 62
第3章 简单数据的统计分析 64
3．1 随机变量及其分布 64
3．1．1 均匀分布 64
3．1．2 正态分布 65
3．2 随机模拟及其应用 67
3．2．1 随机模拟方法 67
3．2．2 模拟大数定律 68
3．2．3 模拟方法求积分 69
3．3 单变量统计分析模型 70
3．3．1 单变量线性相关模型 71
3．3．2 单变量线性回归模型 73
数据及练习3 75
第二部分 数据分析高级方法
第4章 多元数据的综合分析 78
4．1 多元线性相关与回归 79
4．1．1 多元线性相关 79
4．1．2 多元线性回归模型 81
4．2 综合评价方法 91
4．2．1 综合评价指标体系 91
4．2．2 综合评价分析方法 93
4．3 数据压缩方法 99
4．3．1 主成分分析的基本思想 99
4．3．2 主成分的基本分析 101
4．4 聚类分析方法 105
4．4．1 聚类分析的概念 105
4．4．2 系统聚类方法 108
数据与练习4 113
第5章 时序数据的模型分析 116
5．1 时间序列简介 116
5．1．1 时间序列的概念 116
5．1．2 时间序列的模拟 116
5．1．3 时间序列的读取 118
5．2 时间序列分析模型 119
5．2．1 AR模型 120
5．2．2 MR模型 120
5．2．3 ARMA模型 121
5．2．4 ARIMA模型 122
5．3 ARMA模型的构建 124
5．3．1 序列的相关性检验 124
5．3．2 ARMA模型的建立与检验 127
5．3．3 序列的平稳性检验 131
5．4 股票指数预测模型的构建 133
5．4．1 模型的预处理 134
5．4．2 参数的估计与检验 135
5．4．3 模型的预测 136
数据与练习5 137
第三部分 大数据基本处理方法
第6章 大数据分析基础应用 140
6．1 大数据的概念 140
6．1．1 大数据的含义 140
6．1．2 大数据应用举例 141
6．1．3 大数据分析方法 142
6．2 Python文本预处理 144
6．2．1 字符串的基本操作 144
6．2．2 字符串查询与替换 146
6．3 网络爬虫及应用 146
6．3．1 网页的基础知识 147
6．3．2 Python爬虫步骤 148
6．3．3 爬虫方法的应用 149
6．4 数据库技术及应用 154
6．4．1 Python中数据库的使用 154
6．4．2 数据库的建立与使用 155
数据及练习6 156
第7章 文献计量与科研评价 159
7．1 文献计量研究的框架 159
7．2 文献数据的获取与分析 161
7．2．1 文献数据的获取 161
7．2．2 文献数据的分析 163
7．3 科研数据的管理与评价 166
7．3．1 科研单位与项目分析 167
7．3．2 科研期刊与作者分析 169
数据及练习7 171
第8章 社会网络分析方法 172
8．1 社会网络的初步印象 172
8．1．1 社会网络分析概念 172
8．1．2 社会网络分析包 174
8．2 社会网络图的构建 174
8．2．1 社会网络数据形式 174
8．2．2 社会网络统计量 177
8．2．3 网络图之知识图谱 180
数据及练习8 183
第9章 数据分析编程平台 185
9．1 Anaconda科学计算发行包 185
9．1．1 Anaconda下载与安装 185
9．1．2 Anaconda启动与运行 186
9．2 Jupyter编辑平台 188
9．2．1 Jupyter Notebook 188
9．2．2 Jupyter Lab 193
9．2．3 在Jupyter中使用R语言 196
9．3 Spyder分析平台 197
9．3．1 Spyder平台简介 197
9．3．2 Spyder平台使用 198
附录A 本书的学习网站 200
附录B 书中的例子数据 201
附录C 书中自定义函数 202
参考文献 205

前 言

　　人类从农耕社会进入工业社会用了上千年时间，从工业社会进入信息社会用了一百多年时间，而从信息时代进入数据时代仅用了不到十年时间。随着互联网、物联网、云计算的不断深入应用，产生了大量的数据，这些数据的挖掘和分析应用，需要人们掌握数据分析技术。人类正全面进入大数据分析时代。

　　需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是，存在大量的数据，可以被广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以应用于各种领域，包括商务管理、生产控制、市场分析、工程设计和科学探索等。

　　“人生苦短，我要用Python”，这是网上对Python评价最多的一句话，说明Python作为一种新兴的编程语言，已深入人心。现在我国许多地区高考试卷中都加入了Python编程的内容，一些中小学也开始开设Python编程课程。

　　本书重点介绍Python语言在数据处理与数据分析方面的应用技巧，涉及数据的整理、数据的输入和输出、探索性数据分析、基本数据分析、多元数据分析、时间序列数据分析、网络爬虫技术、社会网络分析、知识图谱和文献计量研究等数据分析方面的内容。附录中还提供了Python数据分析相关方法和函数等，方便读者随时查看。

　　全书分三部分，共9章内容。第一部分主要讲解数据分析基础知识，包括第1、2、3章，重点介绍数据收集与分析软件、数据挖掘的分析基础，以及简单数据的统计分析；第二部分讲解数据分析高级方法，包括第4、5章，主要介绍多元数据的综合分析和时序数据的模型分析；第三部分讲解大数据基本处理方法，包括第6、7、8章，重点介绍大数据分析基础应用、文献计量与科研评价、社会网络分析方法和数据分析编程平台。最后对Python的一些编程环境做了进一步介绍。

　　本书内容丰富，图文并茂，可操作性强且便于查阅，主要面向进行数据分析的读者，能有效地帮助读者提高数据处理与分析水平，提升工作效率。本书适合各层次的数据分析用户，既可作为初学者的入门指南，又可作为中高级用户的参考手册，同时也可作为各大中专院校和培训班的数据分析教材。

　　本书具有以下三大优点：

　　(1)使用Python科学计算发行版Anaconda，方便数据分析者使用。

　　读者可从https://www.anaconda.com下载安装并直接使用。

　　(2)公开本书自定义函数的源代码，使用者可以深入理解Python函数的编程技巧，用这些函数建立自己的开发包；并建立了本书的学习博客(http://blog.leanote.com/DaPy)，书中的例子数据、习题数据及相关代码都可直接在网上下载使用。

　　(3)采用网络化教学平台。Python的基础版缺少一个面向一般人群的菜单界面，这对那些只想用其进行数据分析的使用者而言是一大困难，本书采用流行的Python网络分析平台Jupyter(https://jupyter.org)，该平台可作为数据分析教学软件使用。

　　书中软件输出的坐标图多数没有标出横、纵坐标的量，目的是与软件界面保持一致。

　　本书在写作过程中得到了广东恒电信息科技股份有限公司的大力支持，该公司将为本书的实战操作提供可靠的实训环境支持，读者可以使用恒华大数据实训管理系统完成本书的实验操作。

　　本书由王斌会、王术共同完成，其中第1～5章由王斌会撰写，第6～9章由王术撰写，王斌会负责全书统稿。侯雅文、谢贤芬、何志锋、颜斌、徐锋、刘霞、蒋冠莹等进行了校对，在此深表谢意！

　　由于作者知识和水平有限，书中难免有错误和不足之处，欢迎读者批评指正！

　　作 者

　　2019年1月于暨南园