基于深度置信网络的分类方法

第1章绪论1

1.1引言1

1.2机器学习方法2

1.2.1监督学习方法3

1.2.2半监督学习方法4

1.3深度学习方法6

1.4本书的研究内容9

1.5本书的结构安排12

第2章区分深度置信网络方法15

2.1引言15

2.2图像分类16

2.3区分深度置信网络17

2.3.1半监督学习问题描述17

2.3.2区分深度置信网络结构18

2.3.3区分深度置信网络的无监督学习方法19

2.3.4区分深度置信网络的监督学习方法21

2.3.5区分深度置信网络算法流程25

2.4区分深度置信网络实验26

2.4.1区分深度置信网络实验设置26

2.4.2在小规模人工数据集上的实验27

2.4.3在中规模图片数据集上的实验28

2.4.4在大规模手写数据集上的实验30

2.4.5在不同规模和深度的深层架构上的实验31

2.5本章小结35

第3章自适应深度置信网络方法36

3.1引言36

3.2自适应深度置信网络37

3.2.1监督学习问题描述37

3.2.2自适应深度置信网络结构37

3.2.3自适应深度置信网络的无监督学习方法38

3.2.4自适应深度置信网络的监督学习方法40

3.2.5自适应深度置信网络算法流程40

3.3自适应深度置信网络实验42

3.3.1自适应深度置信网络实验设置42

3.3.2在中规模图片数据集上的实验43

3.3.3在中规模手写字母数据集上的实验43

3.3.4在大规模手写数字数据集上的实验46

3.4本章小结50

第4章量子深度置信网络方法51

4.1引言51

4.2量子深度置信网络52

4.2.1量子深度置信网络结构52

4.2.2量子深度置信网络的监督学习方法55

4.2.3量子深度置信网络算法流程56

4.3量子深度置信网络实验57

4.3.1量子深度置信网络实验设置57

4.3.2在小规模花数据集上的实验58

4.3.3在小规模诊断数据集上的实验60

4.3.4在大规模手写数据集上的实验61

4.4本章小结65

第5章主动深度置信网络方法66

5.1引言66

5.2情感分类67

5.3主动深度置信网络70

5.3.1主动学习问题描述70

5.3.2主动深度置信网络的主动学习方法71

5.3.3主动深度置信网络算法流程73

5.4主动深度置信网络实验75

5.4.1主动深度置信网络实验设置75

5.4.2主动深度置信网络性能76

5.4.3主动学习效果78

5.4.4损失函数效果79

5.4.5使用不同数量标注数据实验80

5.5本章小结82

第6章主动模糊深度置信网络方法83

6.1引言83

6.2模糊深度置信网络84

6.2.1模糊深度置信网络结构85

6.2.2模糊参数提取86

6.2.3模糊深度置信网络算法88

6.2.4使用模糊深度置信网络分类89

6.3主动模糊深度置信网络91

6.3.1主动模糊深度置信网络算法描述91

6.3.2使用主动模糊深度置信网络分类92

6.4主动模糊深度置信网络实验93

6.4.1主动模糊深度置信网络实验设置93

6.4.2模糊深度置信网络性能94

6.4.3主动模糊深度置信网络性能95

6.4.4使用不同数量的标注数据实验97

6.4.5本书所提出的各种方法的训练时间99

6.5本章小结101

第7章基于深度学习的手写中文识别102

7.1引言102

7.2手写识别103

7.3使用深层架构的手写识别系统104

7.4手写识别系统中用到的深层架构105

7.5手写中文识别实验106

7.5.1在HITOR3C数据库上的实验107

7.5.2在CASIAOLHWDB1数据库上的实验111

7.5.3在SCUTCOUCH2009数据库上的实验111

7.6本章小结115

结论116

参考文献120ContentsContents

Chapter 1Introduction1

1.1Background and Motivation1

1.2Machine Learning2

1.2.1Supervised Learning3

1.2.2Semisupervised Learning4

1.3Deep Learning6

1.4Research Contents and Main Contributions of This Book9

1.5Organization of This Book12

Chapter 2Research on Discriminate Deep Belief Networks Methods15

2.1Introduction15

2.2Current Status of Image Classification16

2.3Discriminative Deep Belief Networks17

2.3.1Problem Formulation of Semisupervised Learning17

2.3.2Architecture of Discriminative Deep Belief

Networks18

2.3.3Unsupervised Learning of Discriminative Deep

Belief Networks19

2.3.4Supervised Learning of Discriminative Deep

Belief Networks21

2.3.5Algorithm Procedure of Discriminative Deep

Belief Networks25

2.4Experiments for Discriminative Deep Belief Networks26

2.4.1Experimental Setting of Discriminative Deep

Belief Networks26

2.4.2Experiments on Smallscale Artificial Dataset27

2.4.3Experiments on Middlescale Image Dataset28

2.4.4Experiments on Largescale Handwritten Dataset30

2.4.5Experiments on Different Scales and Depth of

Deep Architecture31

2.5Summary of This Chapter35

Chapter 3Research on Adaptive Deep Belief Networks Methods36

3.1Introduction36

3.2Adaptive Deep Belief Networks37

3.2.1Problem Formulation of Supervised Learning37

3.2.2Architecture of Adaptive Deep Belief Networks37

3.2.3Unsupervised Learning of Adaptive Deep Belief

Networks38

3.2.4Supervised Learning of Adaptive Deep Belief

Networks40

3.2.5Algorithm Procedure of Adaptive Deep

Belief Networks 40

3.3Experiments for Adaptive Deep Belief Networks42

3.3.1Experimental Setting of Adaptive Deep Belief

Networks 42

3.3.2Experiments on Middlescale Image Dataset43

3.3.3Experiments on Middlescale Handwritten

Alphabets Dataset43

3.3.4Experiments on Largescale Handwritten Digit

Dataset46

3.4Summary of This Chapter50

Chapter 4Research on Quantum Deep Belief Networks Methods51

4.1Introduction51

4.2Quantum Deep Belief Networks52

4.2.1Architecture of Quantum Deep Belief Networks52

4.2.2Supervised Learning of Quantum Deep Belief

Networks55

4.2.3Procedure of Quantum Deep Belief Networks56

4.3Experiments for Quantum Deep Belief Networks57

4.3.1Experimental Setting of Quantum Deep Belief

Networks57

4.3.2Experiments on Smallscale Flower Dataset58

4.3.3Experiments on Smallscale Diagnostic Dataset60

4.3.4Experiments on Largescale Handwritten Dataset61

4.4Summary of This Chapter65

Chapter 5Research on Active Deep Belief Networks Methods66

5.1Introduction66

5.2Current Status of Sentiment Classification67

5.3Active Deep Belief Networks70

5.3.1Problem Formulation of Active Learning70

5.3.2Active Learning of Active Deep Belief Networks71

5.3.3Algorithm Procedure of Active Deep Belief

Networks73

5.4Experiments for Active Deep Belief Networks75

5.4.1Experimental Setting of Active Deep Belief

Networks75

5.4.2Performance of Active Deep Belief Networks76

5.4.3Effect of Active Learning78

5.4.4Effect of Loss Function79

5.4.5Experiment with Variance of Labeled Data80

5.5Summary of This Chapter82

Chapter 6Research on Active Fuzzy Deep Belief Networks Methods83

6.1Introduction83

6.2Fuzzy Deep Belief Networks84

6.2.1Architecture of Fuzzy Deep Belief Networks 85

6.2.2Fuzzy Parameter Extraction86

6.2.3Fuzzy Deep Belief Networks Algorithm88

6.2.4Classification Using Fuzzy Deep Belief Networks 89

6.3Active Fuzzy Deep Belief Networks91

6.3.1Algorithm Description of Active Fuzzy Deep

Belief Networks91

6.3.2Classification Using Active Fuzzy Deep Belief

Networks92

6.4Experiments for Fuzzy Deep Belief Networks 93

6.4.1Experimental Setting of Fuzzy Deep Belief

Networks93

6.4.2Performance of Fuzzy Deep Belief Networks94

6.4.3Performance of Active Fuzzy Deep Belief

Networks95

6.4.4Experiments with Different Number of Labeled

Data97

6.4.5Training Time of Different Methods Proposed in

This Book99

6.5Summary of This Chapter101

Chapter 7Deep Learning Based Chinese Character Handwriting

Recognition102

7.1Introduction102

7.2Current Status of Handwriting Recognition103

7.3Handwriting Recognition with Deep Networks System104

7.4Deep Networks in Handwriting Recognition with Deep

Networks System105

7.5Experiments for Handwritten Chinese Recognition 106

7.5.1Experiments on HITOR3C Database107

7.5.2Experiments on CASIAOLHWDB1 Database111

7.5.3Experiments on SCUTCOUCH2009 Database111

7.6Summary of This Chapter115

Conclusions116

References120

深度置信网络作为经典的深度学习方法，可以包含较多的隐藏层，更好地学习各种复杂数据的结构和分布。本书从深度置信网络的概念、研究内容和应用出发，提出了一系列基于深度置信网络的分类方法，使用半监督学习和监督学习方法来提升分类性能。另外，将深度学习方法应用到手写中文识别中，提出了基于深层架构的手写识别方法，有效地提升了手写识别正确率。全书共分为7章。第1章介绍深度置信网络的概念、发展及其研究现状；第2章介绍区分深度置信网络；第3章介绍自适应深度置信网络；第4章介绍量子深度置信网络；第5章介绍主动深度置信网络；第6章介绍主动模糊深度置信网络；第7章介绍基于深层架构的手写识别方法。本书适合作为高等院校计算机专业高年级本科生、研究生的参考书，同时可供对机器学习比较熟悉并且对深度学习有所了解的广大科技工作者和研究人员参考。

● 这是一本全新编写的深度置信网络参考书，涉及深度学习领域，内容新颖，结构合理。适合对深度学习有兴趣的读者的学习需要，具有很强的实用性、指导性。
● 全书涵盖深度置信网络的新知识，介绍了多个基于深度置信网络的方法，使用多个文本和图像数据集设计相关实验，证明本书提出算法的有效性。
● 把深度学习技术的概念、理论和技术融入手写中文识别实践中，进一步验证了基于深度置信网络的分类方法解决大规模实际应用中分类问题的能力。