国之重器出版工程 学术中国·院士系列 未来网络创新技术研究系列 云计算大数据处理PDF|Epub|txt|kindle电子书版本下载

国之重器出版工程 学术中国·院士系列 未来网络创新技术研究系列 云计算大数据处理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据挑战1

1.1 当前面临的大数据挑战2

1.1.1 大数据急剧膨胀2

1.1.2 大数据智能分析4

1.1.3 大数据深度挖掘5

1.1.4 业务与技术脱节6

1.2 大数据催生云计算7

1.2.1 云计算不是偶然7

1.2.2 云计算带来挑战与机遇11

1.2.3 云计算对大数据的意义14

1.2.4 云计算的未来展望15

1.3 大数据存储16

1.3.1 存储仅是第一步16

1.3.2 行存储和列存储18

1.3.3 PB级大数据存储21

1.3.4 大数据存储的未来24

1.4 大数据处理27

1.4.1 大数据处理的瓶颈27

1.4.2 大数据处理的需求31

1.4.3 大数据处理技术决定未来32

1.4.4 大数据处理解决方案35

参考文献37

第2章 当前的大数据处理系统39

2.1 开源大数据处理平台40

2.1.1 Hadoop40

2.1.2 MapReduce44

2.2 NoSQL数据库47

2.2.1 Google BigTable的开源Java实现：HBase47

2.2.2 纯分布式数据库：Cassandra50

2.2.3 NoSQL数据库的应用场景51

2.3 数据仓库平台52

2.3.1 Hive52

2.3.2 数据仓库平台架构52

2.3.3 数据仓库平台的实现53

参考文献54

第3章 数据立方简介55

3.1 数据立方的产生背景56

3.2 数据立方的相关技术56

3.2.1 云计算中的大数据处理技术——MapReduce56

3.2.2 并行数据库技术58

3.2.3 云计算与数据库相结合的技术59

3.3 数据立方的架构以及与Hadoop的关系60

3.3.1 数据立方的体系架构61

3.3.2 数据立方与Hadoop的关系67

参考文献68

第4章 数据立方及配套环境的安装69

4.1 安装流程70

4.2 操作系统的安装70

4.2.1 CentOS 6.2 的安装70

4.2.2 JDK的安装75

4.2.3 配置SSH75

4.2.4 配置/etc/hosts76

4.2.5 修改机器主机名77

4.2.6 配置NFS与NTP77

4.3 Hadoop的安装78

4.3.1 Hadoop的版本78

4.3.2 HDFS的配置安装78

4.3.3 MapReduce的配置安装82

4.4 数据立方的配置安装84

4.4.1 MySQL-Connector的安装84

4.4.2 编辑数据立方的配置文件84

4.4.3 数据立方的启动88

4.5 监控工具Ganglia的安装88

4.5.1 安装依赖88

4.5.2 安装Ganglia90

4.5.3 配置Ganglia90

4.6 数据导入工具Sqoop的安装92

4.6.1 安装前提92

4.6.2 安装步骤92

参考文献93

第5章 Hello World数据立方快速入门95

5.1 智慧交通数据处理实例96

5.1.1 实例背景96

5.1.2 建表98

5.1.3 数据入库99

5.1.4 数据查询99

5.2 编程实现100

第6章 数据立方开发103

6.1 数据立方的开发说明104

6.2 数据立方SQL规范105

6.2.1 数据定义与数据操作语言106

6.2.2 数据查询语言114

6.3 数据入库接口开发122

6.3.1 单条或多条记录入库Java开发包122

6.3.2 开发说明122

6.3.3 示例123

6.4 数据查询接口开发124

6.4.1 Java开发包124

6.4.2 接口介绍125

6.4.3 示例126

6.5 数据导入工具Sqoop命令及其使用126

6.5.1 Sqoop命令及通用参数127

6.5.2 Sqoop命令的使用128

第7章 数据立方的维护129

7.1 HDFS的维护130

7.1.1 HDFS的dfsadmin命令130

7.1.2 HDFS的Balancer工具133

7.2 Shell的使用135

7.2.1 数据立方Shell说明135

7.2.2 数据定义与数据操作的Shell135

7.2.3 数据查询的Shell136

7.3 数据立方的常见问题及其解决方法136

7.3.1 问题1： datacube-shell.sh启动后连接不上服务器136

7.3.2 问题2：启动时，有时可以看到报错信息137

7.3.3 问题3：查看运行日志138

7.4 Sqoop的常见问题及其解决方法138

7.4.1 MySQL的用户问题138

7.4.2 MySQL的权限问题139

7.4.3 Sqoop的Path问题139

7.4.4 Sqoop的Import问题140

7.5 数据立方管理系统140

7.5.1 登录140

7.5.2 集群管理141

7.5.3 数据管理143

7.5.4 表结构管理143

7.5.5 数据入库144

7.5.6 在线查询144

7.5.7 对外接口145

7.5.8 文件管理145

7.5.9 任务管理146

7.5.1 0告警管理146

7.5.1 1故障管理148

参考文献148

第8章 数据立方的可靠性149

8.1 Hadoop的可靠性150

8.1.1 HDFS中NameNode的单点问题150

8.1.2 HDFS数据块副本机制151

8.1.3 HDFS心跳机制152

8.1.4 HDFS负载均衡152

8.1.5 MapReduce容错153

8.2 Hadoop的SecondaryNameNode机制154

8.2.1 磁盘镜像与日志文件154

8.2.2 SecondaryNameNode更新镜像的流程154

8.3 Avatar机制157

8.3.1 Avatar系统架构158

8.3.2 Avatar元数据同步机制159

8.3.3 故障切换过程161

8.3.4 Avatar运行流程163

8.3.5 Avatar故障切换流程169

8.4 Avatar实战173

8.4.1 实验环境173

8.4.2 Avatar的编译174

8.4.3 Avatar的安装和配置176

8.4.4 Avatar启动运行与宕机切换185

8.5 数据立方的工作流程及可靠性188

8.5.1 数据立方的架构188

8.5.2 数据立方的工作流程189

8.5.3 数据立方的可靠性189

参考文献190

第9章 数据统计分析实例——供电信息采集系统191

9.1 客户需求分析192

9.1.1 测试过程及数据量描述192

9.1.2 测试过程分解及效率统计193

9.2 数据表设计197

9.3 查询语句设计与结果展现200

9.4 查询优化201

9.4.1 存储方面的优化201

9.4.2 内存方面的优化202

9.5 性能测试结果202

9.5.1 数据下载解压及标记202

9.5.2 数据解析入库203

9.5.3 数据计算流程204

9.5.4 数据导入Oracle数据库205

9.5.5 查询总时长统计206

第10章 在线数据检索实例——移动信令分析云平台207

10.1 需求分析208

10.2 数据表设计210

10.2.1 CDR数据文件的检测与索引创建任务调度211

10.2.2 从HDFS读取数据并创建索引212

10.2.3 查询CDR信息213

10.3 查询语句设计与结果展现213

10.3.1 CDR文件检测和索引创建任务调度程序213

10.3.2 读取CDR数据和索引创建处理218

10.3.3 CDR查询222

10.4 查询优化225

10.5 性能测试结果226

第11章 实时数据处理实例——地震数据227

11.1 需求分析228

11.2 数据表设计229

11.3 查询语句设计与结果展现231

11.4 查询优化232

11.4.1 存储方面的优化232

11.4.2 计算方面的优化232

11.5 性能测试结果233

11.5.1 单机模拟集群测试233

11.5.2 字段测试233

11.5.3 排序测试234

11.5.4 随机读写测试235

附录 大数据和人工智能实验环境237

名词索引251