统计语言学PDF|Epub|txt|kindle电子书版本下载

统计语言学PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概论1

1.1 统计语言学1

1.2 统计语言学与其他学科1

1.2.1 计量语言学1

1.2.2 计算语言学2

1.2.3 语料库语言学2

1.2.4 与三个学科的联系与区别3

1.3 使用统计方法研究的语言特征3

1.4 统计语言学基本研究方法4

1.5 统计语言学研究的步骤5

1.6 统计的语言学应用6

第2章 语料库7

2.1 语料库的定义7

2.2 语料库的类型7

2.2.1 口语语料库与书面语语料库8

2.2.2 单语语料库、双语语料库与多语语料库8

2.2.3 通用语料库与专用语料库8

2.2.4 共时语料库与历时语料库9

2.2.5 动态语料库与静态语料库9

2.2.6 同质语料库与异质语料库10

2.2.7 生语料库与标注语料库10

2.3 国内外主要语料库10

2.3.1 国外的语料库10

2.3.2 国内的语料库26

2.4 本章小结37

第3章 统计在语言研究中的基本应用38

3.1 统计学的基本概念38

3.1.1 总体、个体、样本38

3.1.2 参数与统计量39

3.1.3 常量、变量39

3.1.4 实际值与观测值39

3.2 平均数39

3.2.1 简单算术平均数40

3.2.2 加权算术平均数41

3.3 方差与标准差41

3.3.1 未分组数据的方差与标准差41

3.3.2 分组数据的方差与标准差42

3.4 频度、频率、概率、条件概率、贝叶斯定理43

3.4.1 概率论中的常用概念43

3.4.2 概率44

3.4.3 独立性45

3.4.4 贝叶斯定理46

3.4.5 频度与频率47

3.5 互信息47

3.6 Z评分49

3.7 Dice系数50

3.8 Phi平方系数（Ф2）50

3.9 对数似然比51

3.10 N元模型51

3.10.1 N元语法51

3.10.2 N元语法模型52

3.11 语言学三大统计规律53

3.11.1 Zipf法则53

3.11.2 Menzerath-Altmann定律56

3.11.3 Piotrowski-Altmann定律57

3.12 熵57

3.12.1 静态平均信息熵57

3.12.2 极限熵58

3.13 Yule图59

3.14 Fuchs公式60

3.15 使用度与通用度61

3.15.1 使用度61

3.15.2 通用度62

3.16 本章小结62

第4章 假设检验64

4.1 假设检验的相关概念64

4.1.1 假设检验的基本原理64

4.1.2 假设的分类64

4.1.3 检验统计量与临界值65

4.1.4 双尾检验与单尾检验65

4.1.5 假设检验的一般步骤66

4.1.6 假设检验中的两类错误66

4.2 参数假设检验66

4.2.1 正态分布67

4.2.2 U检验73

4.2.3 t检验75

4.2.4 x2检验79

4.2.5 F检验80

4.2.6 参数假设检验比较81

4.3 非参数假设检验83

4.3.1 x2检验83

4.3.2 秩和检验88

4.3.3 非参数假设检验比较92

4.4 本章小结92

第5章 方差分析94

5.1 方差分析的定义及基本思想94

5.1.1 方差分析的定义94

5.1.2 方差分析的基本思想95

5.2 方差分析的基本概念和使用条件95

5.2.1 方差分析中的基本概念95

5.2.2 使用方差分析的条件97

5.3 方差分析的类型和一般步骤102

5.3.1 方差分析的类型102

5.3.2 方差分析的一般步骤102

5.4 单因素方差分析102

5.4.1 各个因素水平间的样本容量相同103

5.4.2 各个因素水平间的样本容量不完全相同107

5.4.3 方差分析中的多重比较108

5.5 双因素方差分析110

5.5.1 无重复双因素方差分析111

5.5.2 可重复双因素方差分析116

5.6 本章小结122

第6章 文本聚类123

6.1 文本聚类概述123

6.1.1 文本聚类定义123

6.1.2 文本聚类的流程124

6.2 文本聚类中的数据125

6.2.1 聚类分析中使用的数据结构125

6.2.2 数据归一化处理127

6.3 相似度计算130

6.3.1 文本相似度的计算130

6.3.2 特征相似度的计算132

6.4 聚类算法134

6.4.1 层次聚类134

6.4.2 划分聚类142

6.4.3 划分聚类与层次聚类的联系和区别146

6.5 文本聚类性能评价147

6.5.1 纯度147

6.5.2 归一化互信息148

6.5.3 精确度149

6.5.4 F值151

6.6 本章小结152

第7章 文本分类153

7.1 文本分类的定义153

7.2 分类方法154

7.2.1 基于知识工程的方法154

7.2.2 基于机器学习的方法154

7.3 分类步骤与流程155

7.4 文本表示与特征选择156

7.4.1 特征项选择156

7.4.2 词袋模型156

7.4.3 向量空间模型158

7.4.4 特征筛选与权重159

7.5 向量相似度测量162

7.6 分类模型163

7.6.1 朴素贝叶斯（Na？ve Bayes）163

7.6.2 k-最近邻（k-Nearest Neighbor）166

7.6.3 支持向量机（Support Vector Machines）167

7.7 文本分类的评价169

7.7.1 准确率、召回率169

7.7.2 正确率、错误率170

7.7.3 F值170

7.7.4 微平均和宏平均171

7.8 本章小结171

第8章 R语言简介172

8.1 R语言的帮助文件172

8.1.1 R的基本知识在线帮助173

8.1.2 R程序中的关键字符及函数的在线帮助173

8.2 R程序包175

8.2.1 程序包的安装175

8.2.2 程序包的载入176

8.3 R语言的数据结构及基本函数176

8.3.1 R语言的对象类型176

8.3.2 R语言的对象的建立177

8.3.3 数值型向量的常用统计函数184

8.4 数据的读取和存储185

8.4.1 数据的读取185

8.4.2 数据的存储188

8.5 R的基本绘图189

8.5.1 饼图（Pie Plot）190

8.5.2 条形图（Barplot）191

8.5.3 直方图（Hist）193

8.5.4 折线图（Matplot）194

8.5.5 箱线图（Boxplot）196

8.5.6 散点图（Scatter Diagram）198

8.5.7 散点图矩阵（Scatterplot Matrices）199

8.6 假设检验200

8.6.1 参数假设检验200

8.6.2 非参数假设检验204

8.7 方差分析209

8.7.1 方差齐性检验209

8.7.2 单因素方差分析210

8.7.3 双因素方差分析214

8.8 本章小结216

第9章 计算风格学研究218

9.1 计算风格学研究使用的语言特征218

9.1.1 字符方面219

9.1.2 词汇方面219

9.1.3 句子方面220

9.1.4 词类方面222

9.1.5 短语和语法结构方面222

9.1.6 段落方面222

9.2 计算风格学研究中常使用的方法223

9.3 莫言与余华小说计算风格学研究223

9.3.1 基于频率的风格分析223

9.3.2 假设检验的文本风格分析227

9.3.3 基于文本聚类的风格分析231

9.3.4 基于文本分类的风格分析233

9.3.5 小结234

9.4 本章小结235

附录 常用的统计数表236

附表1 标准正态分布函数数值表237

附表2 正态性检验统计量W的系数ai（n）的值238

附表3 正态性检验统计量W的α分位数Wα表240

附表4 正态性检验统计量Y的α分位数Yα表241

附表5 t检验临界值表242

附表6 x2检验临界值表243

附表7 F检验临界值表244

附表8 Wilcoxon秩和检验临界值表249

附表9 统计量H的分位数H1-α（r,f）表252

附表10 多重比较q1-α（r,f）表253

参考文献256