TensorFlow与自然语言处理应用PDF|Epub|txt|kindle电子书版本下载

TensorFlow与自然语言处理应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 自然语言处理基础1

1.1 认识自然语言处理2

1.2 自然语言处理方面的任务2

1.3 第一阶段：偏理论的理性主义4

1.4 第二阶段：偏实践应用的经验主义5

1.5 第三阶段：深度学习阶段7

1.6 NLP中深度学习的局限性9

1.7 NLP的应用场景10

1.8 NLP的发展前景13

1.9 总结14

第2章 深度学习基础15

2.1 深度学习介绍15

2.2 深度学习演变简述16

2.2.1 深度学习早期16

2.2.2 深度学习的发展17

2.2.3 深度学习的爆发17

2.3 神经网络介绍18

2.4 神经网络的基本结构19

2.5 两层神经网络（多层感知器）22

2.5.1 简述22

2.5.2 两层神经网络结构22

2.6 多层神经网络（深度学习）23

2.6.1 简述23

2.6.2 多层神经网络结构24

2.7 编码器－解码器网络24

2.8 随机梯度下降25

2.9 反向传播27

2.10 总结31

第3章 TensorFlow32

3.1 TensorFlow概念解读32

3.2 TensorFlow主要特征33

3.2.1 自动求微分33

3.2.2 多语言支持33

3.2.3 高度的灵活性34

3.2.4 真正的可移植性34

3.2.5 将科研和产品联系在一起34

3.2.6 性能最优化34

3.3 TensorFlow安装34

3.4 TensorFlow计算图40

3.5 TensorFlow张量和模型会话42

3.5.1 张量42

3.5.2 会话43

3.6 TensorFlow工作原理43

3.7 通过一个示例来认识TensorFlow45

3.8 TensorFlow客户端47

3.9 TensorFlow中常见元素解读49

3.9.1 在TensorFlow中定义输入50

3.9.2 在TensorFlow中定义变量56

3.9.3 定义TensorFlow输出57

3.9.4 定义TensorFlow运算或操作58

3.10 变量作用域机制68

3.10.1 基本原理68

3.10.2 通过示例解读69

3.11 实现一个神经网络71

3.11.1 数据准备71

3.11.2 定义TensorFlow计算图71

3.11.3 运行神经网络73

3.12 总结75

第4章 词嵌入77

4.1 分布式表示78

4.1.1 分布式表示的直观认识78

4.1.2 分布式表示解读78

4.2 Word2vec模型（以Skip－Gram为例）84

4.2.1 直观认识Word2vec85

4.2.2 定义任务85

4.2.3 从原始文本创建结构化数据85

4.2.4 定义词嵌入层和神经网络86

4.2.5 整合87

4.2.6 定义损失函数89

4.2.7 利用TensorFlow实现Skip－Gram模型93

4.3 原始Skip－Gram模型和改进Skip－Gram模型对比分析96

4.3.1 原始的Skip－Gram算法的实现97

4.3.2 将原始Skip－Gram与改进后的Skip－Gram进行比较98

4.4 CBOW模型98

4.4.1 CBOW模型简述98

4.4.2 利用TensorFlow实现CBOW算法100

4.5 Skip－Gram和CBOW对比101

4.5.1 Skip－Gram和CBOW模型结构分析101

4.5.2 代码层面对比两模型性能102

4.5.3 Skip－Gram和CBOW模型孰优104

4.6 词嵌入算法的扩展105

4.6.1 使用Unigram分布进行负采样105

4.6.2 降采样107

4.6.3 CBOW和其扩展类型比较107

4.7 结构化Skip－Gram和连续窗口模型108

4.7.1 结构化Skip－Gram算法108

4.7.2 连续窗口模型110

4.8 GloVe模型111

4.8.1 共现矩阵112

4.8.2 使用GloVe模型训练词向量112

4.8.3 GloVe模型实现113

4.9 使用Word2Vec进行文档分类114

4.9.1 数据集115

4.9.2 使用词向量对文档进行分类115

4.9.3 小结119

4.10 总结120

第5章 卷积神经网络与句子分类121

5.1 认识卷积神经网络121

5.1.1 卷积神经网络的历史演变121

5.1.2 卷积神经网络结构简述122

5.2 输入层125

5.3 卷积运算层126

5.3.1 标准卷积126

5.3.2 带步幅的卷积127

5.3.3 带填充的卷积127

5.3.4 转置卷积128

5.3.5 参数共享机制129

5.4 激活函数131

5.4.1 常见激活函数及选择131

5.4.2 各个非线性激活函数对比分析132

5.5 池化层134

5.5.1 理解池化134

5.5.2 池化作用135

5.5.3 最大池化135

5.5.4 平均池化136

5.6 全连接层136

5.7 整合各层并使用反向传播进行训练137

5.8 常见经典卷积神经网络138

5.8.1 AlexNet138

5.8.2 VGGNet143

5.8.3 Google Inception Net146

5.8.4 ResNet网络149

5.9 利用CNN对MNIST数据集进行图片分类150

5.9.1 数据样本151

5.9.2 实现CNN151

5.9.3 分析CNN产生的预测结果153

5.10 利用CNN进行句子分类154

5.10.1 CNN结构部分154

5.10.2 池化运算157

5.10.3 利用CNN实现句子分类158

5.11 总结160

第6章 循环神经网络161

6.1 计算图及其展开162

6.2 RNN解读163

6.2.1 序列数据模型163

6.2.2 数学层面简要解读RNN165

6.3 通过时间的反向传播算法166

6.3.1 反向传播工作原理166

6.3.2 直接使用反向传播的局限性167

6.3.3 通过反向传播训练RNN168

6.3.4 截断BPTT168

6.3.5 BPTT的局限性——梯度消失和梯度爆炸168

6.4 RNN的应用类型170

6.4.1 一对一的RNN170

6.4.2 一对多的RNN170

6.4.3 多对一的RNN171

6.4.4 多对多的RNN171

6.5 利用RNN生成文本172

6.5.1 定义超参数172

6.5.2 随着时间的推移展开截断BPTT的输入173

6.5.3 定义验证数据集173

6.5.4 定义权重值和偏差174

6.5.5 定义状态永久变量174

6.5.6 使用展开的输入计算隐藏状态和输出174

6.5.7 计算损失175

6.5.8 在新文本片段的开头重置状态175

6.5.9 计算验证输出176

6.5.10 计算梯度和优化176

6.6 输出新生成的文本片段176

6.7 评估RNN的文本结果输出177

6.8 困惑度——文本生成结果质量的度量178

6.9 具有上下文特征的循环神经网络——RNN－CF179

6.9.1 RNN－CF的技术说明180

6.9.2 RNN－CF的实现181

6.9.3 定义RNN－CF超参数181

6.9.4 定义输入和输出占位符181

6.9.5 定义RNN－CF的权重值182

6.9.6 用于维护隐藏层和上下文状态的变量和操作183

6.9.7 计算输出184

6.9.8 计算损失185

6.9.9 计算验证输出185

6.9.10 计算测试输出186

6.9.11 计算梯度和优化186

6.10 使用RNN－CF生成的文本186

6.11 总结188

第7章 长短期记忆190

7.1 LSTM简述191

7.2 LSTM工作原理详解192

7.2.1 梯度信息如何无损失传递194

7.2.2 将信息装载入长时记忆细胞194

7.2.3 更新细胞状态可能产生的问题及解决方案196

7.2.4 LSTM模型输出199

7.3 LSTM与标准RNN的区别200

7.4 LSTM如何避免梯度消失和梯度爆炸问题201

7.5 优化LSTM203

7.5.1 贪婪采样203

7.5.2 集束搜索204

7.5.3 使用词向量205

7.5.4 双向LSTM206

7.6 LSTM的其他变体207

7.6.1 窥视孔连接207

7.6.2 门控循环单元208

7.7 总结210

第8章 利用LSTM自动生成文本211

8.1 文本到文本的生成212

8.1.1 文本摘要212

8.1.2 句子压缩与融合213

8.1.3 文本复述生成213

8.2 意义到文本的生成214

8.2.1 基于深层语法的文本生成214

8.2.2 基于同步文法的文本生成215

8.3 数据到文本的生成216

8.4 文本自动生成前的数据准备218

8.4.1 数据集218

8.4.2 预处理数据220

8.5 实现LSTM220

8.5.1 定义超参数221

8.5.2 定义参数221

8.5.3 定义LSTM细胞及其操作223

8.5.4 定义输入和标签223

8.5.5 定义处理序列数据所需的序列计算224

8.5.6 定义优化器225

8.5.7 随着时间的推移衰减学习率225

8.5.8 进行预测226

8.5.9 计算困惑度（损失）227

8.5.10 重置状态227

8.5.11 贪婪采样打破重复性227

8.5.12 生成新文本227

8.5.13 示例生成的文本228

8.6 标准LSTM与带有窥视孔连接和GRU的LSTM的比较229

8.6.1 标准LSTM229

8.6.2 门控循环单元231

8.6.3 带窥视孔连接的LSTM233

8.6.4 随着时间的推移训练和验证困惑度235

8.7 优化LSTM——集束搜索236

8.7.1 实现集束搜索236

8.7.2 使用集束搜索生成文本的示例238

8.8 改进LSTM——使用词而不是n－gram生成文本239

8.8.1 维度问题239

8.8.2 完善Word2vec239

8.8.3 使用Word2vec生成文本240

8.8.4 使用LSTM－Word2vec和集束搜索生成文本的示例241

8.8.5 困惑度随着时间推移的变化情况242

8.9 使用TensorFlow RNN API242

8.10 总结246

第9章 利用LSTM实现图像字幕自动生成247

9.1 简要介绍248

9.2 发展背景248

9.3 利用深度学习框架从图像中生成字幕249

9.3.1 End－to－End框架249

9.3.2 组合框架251

9.3.3 其他框架252

9.4 评估指标和基准253

9.5 近期研究254

9.6 图像字幕的产业布局255

9.7 详解图像字幕自动生成任务255

9.7.1 认识数据集255

9.7.2 用于图像字幕自动生成的深度学习管道257

9.7.3 使用CNN提取图像特征259

9.7.4 使用VGG－16加载权重值并进行推理260

9.7.5 学习词向量264

9.7.6 为LSTM模型准备字幕数据265

9.7.7 生成LSTM的数据266

9.7.8 定义LSTM267

9.7.9 定量评估结果270

9.7.10 为测试图像集生成字幕273

9.7.11 使用TensorFlow RNN API和预训练的GloVe词向量276

9.8 总结284

第10章 情感分析286

10.1 认识情感分析286

10.2 情感分析的问题288

10.3 情感文档分类291

10.4 句子主观性与情感分类292

10.5 基于方面（Aspect）的情感分析293

10.6 情感词典生成293

10.7 意见摘要294

10.8 比较观点分析294

10.9 意见搜索295

10.10 垃圾评论检测295

10.10.1 垃圾评论概述295

10.10.2 垃圾评论的类型296

10.10.3 可观察到的信息297

10.10.4 数据样本298

10.10.5 垃圾评论检测方法299

10.11 评论的质量302

10.12 利用TensorFlow进行中文情感分析实现304

10.12.1 训练语料304

10.12.2 分词和切分词304

10.12.3 索引长度标准化305

10.12.4 反向切分词305

10.12.5 准备词向量矩阵306

10.12.6 填充和截短306

10.12.7 构建模型306

10.12.8 结论307

10.13 总结308

第11章 机器翻译310

11.1 机器翻译简介311

11.2 基于规则的翻译312

11.2.1 基于转换的机器翻译312

11.2.2 语际机器翻译314

11.2.3 基于字典的机器翻译317

11.3 统计机器翻译318

11.3.1 统计机器翻译的基础318

11.3.2 基于词的翻译319

11.3.3 基于短语的翻译319

11.3.4 基于句法的翻译320

11.3.5 基于分层短语的翻译321

11.3.6 统计机器翻译的优势与不足321

11.4 神经网络机器翻译321

11.4.1 发展背景321

11.4.2 神经网络机器翻译的特性323

11.4.3 通过例子来认识神经网络机器翻译（NMT）模型的结构323

11.4.4 神经网络机器翻译（NMT）模型结构详解323

11.5 神经网络机器翻译（NMT）系统的前期准备工作326

11.5.1 训练阶段326

11.5.2 反转源语句327

11.5.3 测试阶段328

11.6 BLEU评分——评估机器翻译系统329

11.6.1 BLEU简述329

11.6.2 BLEU度量330

11.6.3 BLEU的调整和惩罚因子332

11.6.4 BLEU得分总结333

11.7 完整实现神经网络机器翻译——德语到英语翻译333

11.7.1 关于样本数据334

11.7.2 预处理数据334

11.7.3 学习词向量335

11.7.4 定义编码器和解码器336

11.7.5 定义端到端输出计算338

11.7.6 神经网络机器翻译系统运行结果（部分）的展示339

11.8 结合词向量训练神经网络机器翻译系统342

11.8.1 最大化数据集词汇和预训练词向量之间的匹配342

11.8.2 为词嵌入层定义TensorFlow变量344

11.9 优化神经网络机器翻译系统346

11.9.1 Teacher Forcing算法346

11.9.2 深度LSTM348

11.9.3 注意力模型349

11.10 实现注意力机制356

11.10.1 定义权重值356

11.10.2 计算注意力357

11.10.3 含有注意力机制的神经网络机器翻译的部分翻译结果358

11.11 可视化源语句和目标语句的注意力361

11.12 历史性突破——BERT模型362

11.12.1 BERT模型简述362

11.12.2 BERT模型结构363

11.13 总结364

第12章 智能问答系统366

12.1 概要366

12.2 基于知识库的问答367

12.2.1 信息抽取367

12.2.2 语义分析模式371

12.2.3 信息抽取与语义分析小结374

12.2.4 挑战374

12.3 机器理解中的深度学习375

12.3.1 任务描述375

12.3.2 基于特征工程的机器理解方法378

12.3.3 机器理解中的深度学习方法381

12.4 利用TensorFlow实现问答任务386

12.4.1 bAbI数据集386

12.4.2 分析GloVe并处理未知令牌387

12.4.3 已知或未知的数据部分388

12.4.4 定义超参数390

12.4.5 神经网络结构部分391

12.4.6 输入部分392

12.4.7 问题部分392

12.4.8 情景记忆部分392

12.4.9 注意力部分393

12.4.10 答案模块394

12.4.11 模型优化395

12.4.12 训练模型并分析预测395

12.5 总结397