本站支持尊重有效期内的版权/著作权,所有的资源均来自于互联网网友分享或网盘资源,一旦发现资源涉及侵权,将立即删除。希望所有用户一同监督并反馈问题,如有侵权请联系站长或发送邮件到ebook666@outlook.com,本站将立马改正
书[0名0]: | 企业[0大0]数据系统构建实战:技术、架构、实施与应用[按需印刷]|5828735 |
图书定价: | 89元 |
图书作者: | 吕兆星 |
出版社: | [1机1]械工业出版社 |
出版日期: | 2017/5/1 0:00:00 |
ISBN号: | 9787111568766 |
开本: | 16开 |
页数: | 0 |
版次: | 1-1 |
作者简介 |
吕兆星(EthanLv),资深[0大0]数据技术专家,精通基于[0大0]数据的分布式数据挖掘、存储与计算技术,及其生态体系架构;精通垂直搜索技术、[1机1]器[0学0][*]、文本情感倾向性挖掘、网络爬虫、全文索引体系架构。曾任软通动力集团[0大0]数据研究院总架构师、HiveCloud创始人,萝卜网CTO,[0国0]美在线[0大0]数据中心高级架构师等。 [1主1]导研发的[0大0]数据和文本挖掘平台包括:DMP、DSP、推荐系统、决策运营系统、iCreations系列产[0品0]、蜂棱系列产[0品0]、军犬舆情系列产[0品0]等。成功应用到能源、电力、电[0商0]、电信、金融、[政*]、食[0品0]、医疗保健等行业,[0超0]过500个[政*]和企业用户。《基于[1机1]器[0学0][*]的数据挖掘模型》获得*家级技术创[亲斤]基金,萝卜课堂特邀高级讲师。 郑传峰(PeterZheng),[0大0]数据业务应用[令页]域专家,[1主1]导[0大0]数据方向战略规划,包含数据产[0品0]、数据应用、数据价值变现等方向。曾任软通动力数据科技公司资深数据应用专家,HiveCloud[0首0]席战略官。 阶段性负责[0国0]美电器、[0国0]美在线、库巴网[0会0]员营销、网站运营和产[0品0]设计工作,在CRM系统、DMP数据平台、精准营销系统、广告精投、能源[0大0]数据拥有多年的[*]盘[纟巠]验,包含[0大0]数据上层应用服务产[0品0]设计、咨询和实施。参与多个[0大0]型企业[0大0]数据战略规划和实施,行业覆盖零售、电[0商0]、电信、[政*]、交通、能源和电力等。 宋天龙(TonySong),[0大0]数据[令页]域的资深数据分析、挖掘和建模专家,精通端到端数据价值场景设计、业务需求转换、数据结构梳理、数据建模与[0学0][*],以及数据工程交付。曾任软通动力集团[0大0]数据研究院数据总监,Webtrekk(德[0国0]zui[0大0]的网站数据分析服务[扌是]供[0商0])中[0国0]区技术和咨询负责人,[0国0]美[0大0]数据中心[纟巠]理。 拥有丰富的[0大0]数据项目工作[纟巠]验,参与过集团和企业级[0大0]数据存储平台、[0大0]数据开发和集成平台、数据体系规划、[0大0]数据产[0品0]开发、网站流量系统建设、网站智能推荐、企业[0大0]数据智能等[0大0]型数据工作项目。参与实施客户案例包括Webpower、德[0国0]OTTO集团电子[0商0]务(中[0国0]),Esprit中[0国0]、猪八戒网、顺丰[0优0]选、乐视[0商0]城、泰康人寿、酒仙网,[0国0]美在线、迪信通等。合作培训及沙龙单位包括人民[0大0][0学0]、数盟、萝卜网、Netconcepts、触脉、中[0商0]联数据分析委等。萝卜课堂、天善[0学0]院特邀讲师,百度文库认证作家,36[0大0]数据、站长之家、互联网分析沙龙专栏作家。著有《网站数据挖掘与分析:系统方[0法0]与[0商0]业实践》一书。 杨晓鹏(KelvinYang),[0大0]数据及BI技术[令页]域资深架构师,精通传统数据模式及[0大0]数据分布模式的数据存储、计算与应用架构,以及[0大0]数据量的数据迁移、存储、索引、计算、分析与挖掘等相关环节的设计、实现与[0优0]化。曾任软通动力集团[0大0]数据研究院高级架构师,HiveCloud总架构师,[1主1]导[0大0]数据存储平台、计算平台和应用服务平台的设计与研发。曾任居然之家O2O[0大0]数据平台总负责人、中[0国0]银联[0大0]数据报文分析项目高级技术顾问、[0国0]美在线[0大0]数据中心高级技术工程师。 曾参与企业级项目包括[0大0]型电[0商0]网站的BI系统、数据仓库、[0大0]数据系统等设计和研发项目,金融银行类企业风险及异常交易分析项目。实施[0大0]中型企业数据项目包括居然之家、中[0国0]银联、华农保险、中[0国0]电信等[0超0]过50家客户案例。精通[0大0]数据Hadoop,Hive,HBase,Impala,Spark等组[亻牛]架构与实施,精通数[0学0]模型,自[1主1]开发实现分治/覆盖的C4.5决策树、马尔科夫预测、KMeans、Apriori等模型算[0法0]程序,成功应用到电[0商0]、金融等行业。 |
内容简介 |
对于很多企业而言,[0大0]数据的重要性不言而喻,但是如何构建、实施和应用[0大0]数据系统却是一个复杂工程。本书让读者认识到[0大0]数据不仅仅是数据、技术、架构、应用,更是结合了[0商0]业模式、战略定位、信息安全、单位协同、组织保障、实施选型的完整体系。 本书内容从[0大0]数据的规划定位、组织实施和价值[扌是]升三个维度展开,兼顾从整体性、全局性、安全性、价值性、技术性、体系性等方[mian]的考虑。 [0第0]一部分:企业[0大0]数据战略规划 [1主1]要从宏观的角度介绍[0大0]数据的定位、组织保障、解决方案选择和自[1主1]实施思路,目的是从全局角度引导建立[0大0]数据工作的整体思维。 [0第0]二部分:企业[0大0]数据落地实施 [1主1]要从执行层[mian]介绍了[0大0]数据落地相关的技术、架构、开发、[0大0]数据工作流、应用和价值[0评0]估,直接以落地视角解读[0大0]数据工作中每个环节涉及到的流程、[0知0]识和方[0法0],这也是本书的核心章节。 [0第0]三部分:[0大0]数据价值、变革和挑战 [1主1]要涉及[0大0]数据的社[0会0]价值、[0当0]前问题和挑战以及[0大0]数据的未来趋势,这是对现有[0大0]数据工作的延展以及未来趋势的探索。 |
目录 |
前言 [0第0]1章企业[0大0]数据战略定位 1 1.1宏观 1 1.2微观 4 1.2.1资源协同 5 1.2.2战略定位 6 1.2.3启动契[1机1] 7 1.2.4[0大0]数据历程 9 1.3本章小结 12 [0第0]2章企业[0大0]数据职能规划 13 2.1[0大0]数据组织架构体系 13 2.1.1[0大0]数据部门在企业中的角色 13 2.1.2常见的[0大0]数据职能及职责 17 2.2[0大0]数据职位构建体系 24 2.2.1基础平台类 24 2.2.2数据管理类 26 2.2.3技术研发类 27 2.2.4产[0品0]设计类 30 2.2.5数据挖掘类 32 2.2.6数据分析类 33 2.3[0大0]数据制度和流程规范 35 2.3.1制度和流程规范意义 35 2.3.2制度和流程规范内容 35 2.3.3制度和流程规范模板 42 2.4本章小结 44 [0第0]3章企业[0大0]数据解决方案 45 3.1企业[0大0]数据解决方案实现方式 45 3.1.1[0独0]立研发 45 3.1.2[0第0]三方解决方案 46 3.1.3联合开发 57 3.2如何选择解决方案 58 3.2.1外部环境分析 58 3.2.2内部环境分析 59 3.2.3需求规划分析 62 3.2.4解决方案特性分析 63 3.2.5解决方案费用[0评0]估 67 3.3本章小结 70 [0第0]4章企业[0大0]数据自[1主1]实施思路 71 4.1制定规划原则 71 4.1.1价值性 71 4.1.2实时性 72 4.1.3高效性 72 4.1.4安全性 72 4.1.5延展性 73 4.1.6全局性 74 4.2制定目标蓝图 75 4.3制定建设目标 76 4.4明确组织规划 78 4.4.1组织结构设计的作用 79 4.4.2组织结构设立的导向 79 4.4.3组织结构的[*]终设立 81 4.5设计技术方案 85 4.5.1[0大0]数据系统建设方案 85 4.5.2[0大0]数据系统与传统BI的融合方案 91 4.6制定人才规划 94 4.6.1指导思想 94 4.6.2规划原则 94 4.6.3核心内容 95 4.7投入产出[0评0]估 97 4.7.1数据投入与产出的内涵 97 4.7.2数据投入与产出的特征 98 4.7.3数据投入与产出的管理 99 4.8数据风险管理 105 4.8.1数据风险管理的概念 105 4.8.2数据风险管理的类型 106 4.8.3数据风险管理的原则 109 4.8.4数据风险管理与控制 110 4.9本章小结 114 [0第0]5章[0大0]数据技术介绍 115 5.1核心技术 115 5.1.1Hadoop生态 115 5.1.2[0No0]SQL 142 5.1.3实时计算 150 5.1.4全文检索 160 5.2相关技术 204 5.2.1数据可视化 204 5.2.2数据缓存 220 5.2.3中间[亻牛] 227 5.2.4关系型数据库 236 5.2.5数据ETL 245 5.3[0大0]数据算[0法0]库 250 5.4本章小结 276 [0第0]6章[0大0]数据架构设计 277 6.1[0大0]数据架构设计原则 277 6.2[0大0]数据核心架构要素 279 6.3[0大0]数据架构设计模式 284 6.4本章小结 289 [0第0]7章[0大0]数据技术开发 290 7.1数据采集 290 7.1.1批量采集 291 7.1.2增量采集 292 7.2数据存储 293 7.2.1HDFS文[亻牛]存储引擎 294 7.2.2Hive数据存储引擎 295 7.2.3HBase列式存储引擎 295 7.2.4MySQL关系型数据存储引擎 296 7.3多维计算 296 7.4功能服务 299 7.5平台管理 301 7.5.1监控管理 301 7.5.2调度管理 302 7.5.3[0权0]限管理 304 7.6应用域 307 7.7本章小结 308 [0第0]8章[0大0]数据工作流 309 8.1数据源 310 8.1.1日志/文[亻牛] 310 8.1.2数据库 310 8.1.3网络爬虫 311 8.1.4[0第0]三方API/合作 311 8.2数据处理 312 8.2.1数据质量校验 312 8.2.2清洗转换 316 8.2.3质量[扌是]升 320 8.2.4数据脱敏 321 8.2.5集成整合 323 8.3数据存储 324 8.3.1关系型数据库 324 8.3.2分布式文[亻牛]系统 325 8.4数据计算 325 8.4.1三种数据计算时效性 325 8.4.2结构化数据计算 327 8.4.3半/非结构化数据计算 333 8.4.4深度挖掘[0学0][*] 360 8.5数据应用 376 8.5.1辅助决策 376 8.5.2数据驱动 377 8.6数据质量管理 379 8.6.1数据质量建设的内涵 379 8.6.2影响数据质量的常见因素 380 8.6.3数据质量建设的框架 381 8.7本章小结 392 [0第0]9章企业[0大0]数据业务应用 393 9.1[0大0]数据应用场景概述 393 9.1.1场景[0商0]业目的分析 394 9.1.2场景数据来源分析 394 9.1.3场景数据难易分析 397 9.1.4场景应用举例 397 9.2用户画像 407 9.2.1业务应用背景 407 9.2.2[1主1]要实现过程 408 9.2.3关键应用场景 414 9.2.4应用价值[扌是]炼 415 9.2.5场景总结回顾 417 9.3个性化营销 419 9.3.1业务应用背景 419 9.3.2[1主1]要实现过程 421 9.3.3关键应用场景 424 9.3.4应用价值[扌是]炼 425 9.3.5场景总结回顾 426 9.4精准广告 427 9.4.1业务应用背景 427 9.4.2[1主1]要实现过程 429 9.4.3关键应用场景 438 9.4.4应用价值[扌是]炼 439 9.4.5场景总结回顾 440 9.5征信 441 9.5.1应用场景背景 441 9.5.2[1主1]要实现过程 442 9.5.3[1主1]要应用场景 447 9.5.4应用价值[扌是]炼 449 9.5.5场景总结回顾 449 9.6本章小结 450 [0第0]10章 企业[0大0]数据价值[0评0]估 451 10.1 资产价值 451 10.1.1 数据规模 451 10.1.2 数据价值度 452 10.1.3 数据鲜活性 454 10.1.4 数据关联维度 454 10.1.5 数据粒度 455 10.2 业务价值 455 10.2.1 用户体验[扌是]升 455 10.2.2 运营[0优0]化 457 10.2.3 销售贡献 460 10.2.4 供应链[0优0]化 461 10.3 本章小结 462 [0第0]11章 [0大0]数据的社[0会0]价值 463 11.1 民生价值 463 11.2 政务价值 465 11.3 产业价值 468 11.4 本章小结 470 [0第0]12章 [0大0]数据[0当0]前问题及挑战 471 12.1 数据挑战 471 12.2 安全挑战 472 12.3 价值挑战 474 12.4 认[0知0]挑战 475 12.5 技术挑战 478 12.6 人才挑战 480 12.7 本章小结 481 [0第0]13章 [0大0]数据未来趋势 482 13.1 价值资产化 482 13.2 产业生态化 487 13.3 [1主1]体社[0会0]化 490 13.4 应用智能化 491 13.5 本章小结 492 |
编辑推荐 |
4位在技术、应用、数据分析、架构、BI等方[mian]非常资深的[0大0]数据专家,在软通动力、HiveCloud、[0国0]美、Webtrekk(德[0国0]*[0大0]网站数据分析服务[扌是]供[0商0])等[0大0]企业的[0大0]数据实践[纟巠]验总结 从战略规划、落地实施、价值[扌是]升3个维度,技术、架构、实施、应用4个层[mian],为企业从数据端到应用端全方位构建[0大0]数据系统[扌是]供指导,有高度、有逻辑、有实战! |