图灵原创 SPARK最佳实践PDF|Epub|txt|kindle电子书版本下载

图灵原创 SPARK最佳实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Spark与大数据1

1.1 大数据的发展及现状1

1.1.1 大数据时代所面临的问题1

1.1.2 谷歌的大数据解决方案2

1.1.3 Hadoop生态系统3

1.2 Spark应时而生4

1.2.1 Spark的起源4

1.2.2 Spark的特点5

1.2.3 Spark的未来发展6

第2章 Spark基础8

2.1 Spark本地单机模式体验8

2.1.1 安装虚拟机8

2.1.2 安装JDK19

2.1.3 下载Spark预编译包21

2.1.4 本地体验Spark22

2.2 高可用Spark分布式集群部署25

2.2.1 集群总览26

2.2.2 集群机器的型号选择28

2.2.3 初始化集群机器环境29

2.2.4 部署ZooKeeper集群33

2.2.5 编译Spark35

2.2.6 部署Spark Standalone集群37

2.2.7 高可用Hadoop集群40

2.2.8 让Spark运行在YARN上40

2.2.9 一键部署高可用Hadoop＋Spark集群42

2.3 Spark编程指南43

2.3.1 交互式编程43

2.3.2 RDD创建44

2.3.3 RDD操作47

2.3.4 使用其他语言开发Spark程序54

2.4 打包和提交54

2.4.1 编译、链接、打包54

2.4.2 提交56

第3章 Spark工作机制58

3.1 调度管理58

3.1.1 集群概述及名词解释58

3.1.2 Spark程序之间的调度60

3.1.3 Spark程序内部的调度63

3.2 内存管理65

3.2.1 RDD持久化65

3.2.2 共享变量66

3.3 容错机制67

3.3.1 容错体系概述67

3.3.2 Master节点失效68

3.3.3 Slave节点失效69

3.4 监控管理69

3.4.1 Web界面69

3.4.2 REST API72

3.4.3 Metrics指标体系73

3.4.4 其他监控工具73

3.5 Spark程序配置管理73

3.5.1 Spark程序配置加载过程74

3.5.2 环境变量配置74

3.5.3 Spark属性项配置74

3.5.4 查看当前的配置76

3.5.5 配置Spark日志76

第4章 Spark内核讲解77

4.1 Spark核心数据结构RDD77

4.1.1 RDD的定义78

4.1.2 RDD的Transformation80

4.1.3 RDD的Action82

4.1.4 Shuffle83

4.2 SparkContext84

4.2.1 SparkConf配置84

4.2.2 初始化过程85

4.2.3 其他功能接口87

4.3 DAG调度87

4.3.1 DAGScheduler87

4.3.2 TaskScheduler90

第5章 Spark SQL与数据仓库92

5.1 Spark SQL基础93

5.1.1 分布式SQL引擎93

5.1.2 支持的SQL语法97

5.1.3 支持的数据类型98

5.1.4 DataFrame99

5.1.5 DataFrame数据源103

5.1.6 性能调优104

5.2 Spark SQL原理和运行机制104

5.2.1 Spark SQL整体架构105

5.2.2 Catalyst执行优化器105

5.3 应用场景：基于淘宝数据建立电商数据仓库110

5.3.1 电商数据仓库场景111

5.3.2 数据准备和表设计111

5.3.3 用Spark SQL来完成日常运营数据分析115

5.3.4 Spark SQL在大规模数据下的性能表现120

第6章 Spark流式计算122

6.1 Spark Streaming基础知识123

6.1.1 入门简单示例123

6.1.2 基本概念124

6.1.3 高级操作129

6.2 深入理解Spark Streaming132

6.2.1 DStream的两类操作132

6.2.2 容错处理134

6.2.3 性能调优136

6.2.4 与Storm的对比137

6.3 应用场景：一个类似百度统计的流式实时系统139

6.3.1 Web log实时统计场景139

6.3.2 日志实时采集140

6.3.3 流式分析系统实现140

第7章 Spark图计算149

7.1 什么是图计算149

7.1.1 图的基本概念149

7.1.2 图计算的应用150

7.2 Spark GraphX简介151

7.2.1 GraphX实现151

7.2.2 GraphX常用API介绍152

7.3 应用场景：基于新浪微博数据的社交网络分析153

7.3.1 社交网络分析的主要应用153

7.3.2 社区发现算法简介154

7.3.3 用GraphX实现Louvain算法156

7.3.4 小试牛刀：谁是你的闺蜜162

7.3.5 真实的场景：新浪微博关系分析164

第8章 Spark MLlib169

8.1 机器学习简介169

8.1.1 什么是机器学习169

8.1.2 机器学习示例171

8.1.3 机器学习的基本方法172

8.1.4 机器学习的常见技巧173

8.1.5 机器学习参考资料174

8.2 MLlib库简介174

8.2.1 基础数据类型174

8.2.2 主要的库175

8.2.3 附带的示例程序176

8.3 应用场景：搜索广告点击率预估系统178

8.3.1 应用场景178

8.3.2 逻辑回归179

8.3.3 学习算法181

8.3.4 模型评估184

8.3.5 数据准备186

8.3.6 模型训练187

8.3.7 模型调优195

附录 Scala语言参考197