Hadoop YARN权威指南PDF|Epub|txt|kindle电子书版本下载

Hadoop YARN权威指南PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 ApacheHadoopYARN：简明历史及基本原理1

1.1 引言1

1.2 Apache Hadoop2

1.3 阶段0：Ad Hoc集群时期3

1.4 阶段1：Hadoop onDemand3

1.4.1 HOD世界中的HDFS5

1.4.2 HOD的特色及优势5

1.4.3 HOD的缺点6

1.5 阶段2：共享计算集群的黎明8

1.5.1 共享集群的演进8

1.5.2 使用共享MapReduce集群的问题13

1.6 阶段3：YARN的出现15

1.7 小结16

第2章 Apache Hadoop YARN安装快速入门17

2.1 准备开始18

2.2 配置单节点YARN集群的步骤18

2.2.1 第1步：下载ApacheHadoop18

2.2.2 第2步：设置JAVA_HOME19

2.2.3 第3步：创建用户和用户组19

2.2.4 第4步：创建数据和日志目录19

2.2.5 第5步：配置core-site.xml19

2.2.6 第6步：配置hdfs-site.xml20

2.2.7 第7步：配置mapred-site.xml21

2.2.8 第8步：配置yarn-site.xml21

2.2.9 第9步：调整Java堆大小21

2.2.10 第10步：格式化HDFS22

2.2.11 第11步：启动HDFS服务22

2.2.12 第12步：启动YARN服务23

2.2.13 第13步：通过Web接口验证正在运行的服务24

2.3 运行MapReduce示例程序25

2.4 小结26

第3章 Apache Hadoop YARN的核心概念27

3.1 不只是MapReduce27

3.2 Apache Hadoop MapReduce29

3.2.1 支持非MapReduce应用的需求30

3.2.2 解决可扩展性30

3.2.3 提高资源使用率30

3.2.4 用户敏捷性30

3.3 Apache Hadoop YARN31

3.4 YARN组件32

3.4.1 ResourceManager32

3.4.2 ApplicationMaster32

3.4.3 资源模型33

3.4.4 ResourceRequest和Container33

3.4.5 Container规范34

3.5 小结34

第4章 YARN组件的功能概述35

4.1 体系架构概述35

4.2 ResourceManager37

4.3 YARN调度组件38

4.3.1 FIFO调度器38

4.3.2 Capacity调度器38

4.3.3 Fair调度器39

4.4 Container40

4.5 NodeManager40

4.6 ApplicationMaster41

4.7 YARN资源模型41

4.7.1 客户端资源请求42

4.7.2 ApplicationMaster Container的分配42

4.7.3 ApplicationMaster与Container管理器的通信44

4.8 管理应用程序的依赖文件44

4.8.1 LocalResource的定义44

4.8.2 LocalResource时间戳45

4.8.3 LocalResource类型46

4.8.4 LocalResource的可见性46

4.8.5 LocalResource的生命周期47

4.9 小结47

第5章 安装Apache Hadoop YARN49

5.1 基础知识49

5.2 系统准备50

5.2.1 第1步：安装EPEL和pdsh50

5.2.2 第2步：生成和分发ssh密钥51

5.3 基于脚本安装Hadoop 251

5.3.1 JDK选项52

5.3.2 第1步：下载并解压脚本52

5.3.3 第2步：设置脚本里的变量52

5.3.4 第3步：提供节点名字53

5.3.5 第4步：运行脚本54

5.3.6 第5步：验证安装54

5.4 基于脚本的卸载57

5.5 配置文件处理57

5.6 配置文件设置57

5.6.1 core-site.xml57

5.6.2 hdfs-site.xml58

5.6.3 mapred-site.xml58

5.6.4 yarn-site.xml59

5.7 启动脚本59

5.8 用Apache Ambari安装Hadoop60

5.8.1 基于Ambari安装Hadoop61

5.8.2 第1步：检查要求61

5.8.3 第2步：安装Ambari服务器62

5.8.4 第3步：安装和启动Ambari代理62

5.8.5 第4步：启动Ambari服务器62

5.8.6 第5步：安装HDP2.X集群63

5.9 小结70

第6章 Apache Hadoop YARN的管理71

6.1 基于脚本的配置71

6.2 监控集群健康：Nagios76

6.2.1 监控基本的Hadoop服务77

6.2.2 监控JVM80

6.3 实时监控系统：Ganglia82

6.4 使用Ambari管理83

6.5 JVM分析88

6.6 基本的YARN管理90

6.6.1 YARN的管理工具91

6.6.2 增加或关闭YARN节点92

6.6.3 Capacity调度器的配置92

6.6.4 YARN的Web代理92

6.6.5 使用JobHistoryServer93

6.6.6 更新用户到用户组的映射93

6.6.7 更新超级用户代理群组映射93

6.6.8 更新ResourceManager管理的ACL93

6.6.9 重新加载服务级授权策略文件94

6.6.10 管理YARN作业94

6.6.11 设置Container的内存94

6.6.12 设置Container核数94

6.6.13 设置MapReduce配置项95

6.6.14 用户日志管理95

6.7 小结97

第7章 ApacheHadoopYARN的架构指南98

7.1 概述98

7.2 ResourceManager99

7.2.1 ResourceManager组件概述100

7.2.2 客户端和ResourceManager交互100

7.2.3 应用程序和ResourceManager的通信102

7.2.4 节点和ResourceManager的通信103

7.2.5 ResourceManager核心组件104

7.2.6 ResourceManager安全相关的组件105

7.3 NodeManager109

7.3.1 NodeManager各组件概述109

7.3.2 NodeManager组件110

7.3.3 NodeManager安全组件116

7.3.4 NodeManager的重要功能116

7.4 ApplicationMaster117

7.4.1 概述117

7.4.2 活跃119

7.4.3 资源需求119

7.4.4 调度120

7.4.5 调度协议和本地性121

7.4.6 启动Container123

7.4.7 完成的Container124

7.4.8 ApplicationMaster失败和恢复124

7.4.9 协调和输出提交124

7.4.10 为客户端提供信息125

7.4.11 安全125

7.4.12 ApplicationMaster退出时进行清理125

7.5 YARN Container125

7.5.1 Container运行环境126

7.5.2 与ApplicationMaster通信127

7.6 应用程序开发者的摘要127

7.7 小结128

第8章 YARN中的Capacity调度器129

8.1 Capacity调度器介绍129

8.1.1 多租户弹性130

8.1.2 安全130

8.1.3 资源感知130

8.1.4 细粒度调度130

8.1.5 本地化131

8.1.6 调度策略131

8.2 Capacity调度器配置131

8.3 队列132

8.4 层级队列132

8.4.1 关键特性132

8.4.2 队列间的调度132

8.4.3 定义层级队列133

8.5 队列访问控制134

8.6 层级队列Capacity管理135

8.7 用户级别限制137

8.8 预订139

8.9 队列的状态140

8.10 应用程序的限制141

8.11 用户接口141

8.12 小结142

第9章 Apache HadoopYARN下的MapReduce143

9.1 运行Hadoop YARN MapReduce实例143

9.1.1 可利用的实例列表143

9.1.2 运行Pi实例144

9.1.3 使用WebGUI监控实例146

9.1.4 运行terasort测试151

9.1.5 运行TestDFSIO基准测试151

9.2 MapReduce兼容性152

9.3 MapReduce ApplicationMaster153

9.3.1 启用ApplicationMaster的重启153

9.3.2 启用已完成任务的恢复153

9.3.3 JobHistory服务153

9.4 计算一个节点的容量154

9.5 Shuffle服务的变动155

9.6 运行已有的第1版Hadoop的应用程序155

9.6.1 org.apache.hadoop.mapred API的二进制兼容性155

9.6.2 org.apache.hadoop.mapreduce API的源码兼容性155

9.6.3 命令行脚本的兼容性156

9.6.4 MRv1和早期MRv2（0.2 3.x）应用程序兼容性的权衡156

9.7 运行第1版MapReduce现有的代码157

9.7.1 在YARN上运行Apache Pig脚本157

9.7.2 在YARN上运行Apache Hive查询157

9.7.3 在YARN上运行Apache Oozie工作流157

9.8 高级特性158

9.8.1 Uber作业158

9.8.2 可插拔的Shuffle和Sort158

9.9 小结159

第10章 Apache Hadoop YARN应用程序范例160

10.1 YARN客户端161

10.2 ApplicationMaster175

10.3 小结192

第11章 使用Apache Hadoop YARN Distributed-Shell193

11.1 使用YARN Distributed-Shell193

11.1.1 简单例子194

11.1.2 使用更多Container195

11.1.3 带有shell命令参数的Distributed-Shell195

11.2 Distributed-Shell内部实现197

11.2.1 应用的常量定义198

11.2.2 Client198

11.2.3 ApplicationMaster201

11.2.4 普通Container205

11.3 小结205

第12章 Apache Hadoop YARN框架206

12.1 Distributed-Shell206

12.2 Hadoop MapReduce206

12.3 Apache Tez207

12.4 Apache Giraph207

12.5 Hoya：HBase onYARN208

12.6 Dryad on YARN208

12.7 Apache Spark208

12.8 Apache Storm209

12.9 REEF：Retainable Evaluator Execution Framework209

12.10 Hamster：Hadoop and MPI on the Same Cluster210

12.11 小结210

附录A 补充内容和代码下载211

附录B YARN的安装脚本212

附录C YARN的管理脚本224

附录D Nagios模块229

附录E 资源及附加资料235

附录F HDFS快速参考237