基于BP神经网络的英文字母印刷体的识别文献综述

文献综述

1.BP神经网络研究现状

BP神经网络^[1]是一种按误差逆传播算法训练的多层前反馈网络，是目前应用最广泛的神经网络模型之一。BP算法的主要思想^[2]为，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本被提供给网络后，从输入层经各隐含层向输出层传播，在输出层获得响应。若输出层的实际输出与期望的输出不符，则进入误差的反向传播阶段。误差反向传播是按照减少目标输出与实际误差的方向，将输出误差从输出层经隐含层向输入层反向传播，并逐层修正连接权值，使正确率不断提高。这种信号正向传播与误差反向传播的各层权值调整过程直至网络收敛到允许误差为止。BP神经网络体系结构图如图1所示。

图1 单隐层BP神经网络体系结构图^[3]

图1中，的初值均为-1，是为引入阈值而设的；其中神经元的输出,其中 是神经元的激活函数，常用的激活函数有三种，包括(1)阈值函数；（2）分段线性函数；（3）单极性sigmoid函数，即。

BP神经网络具有非线性逼近能力强^[5,6]、结构简单、技术成熟的优点，经过足够多的原始样本训练后的BP神经网络还有较好的容错能力和自适应自学习能力。此网络具有联想记忆^[7]和抗干扰功能，对英文字母具有一定的辨识能力，是一种实现英文字母印刷体识别的有效方法。

由于BP神经网络存在学习速度慢、网络训练过程中容易发生震荡无法收敛^[8]、网络结构选择不一、网络的预测能力与训练能力矛盾^[9,10]等缺点，所以在实际应用中要对BP算法进行改进。

2.BP神经网络的发展趋势

机器学习大师、多伦多大学教授 Geoffrey Hinton 及其学生 Ruslan在世界顶级学术期刊《科学》上发表了一篇对机器学习领域影响重大的论文。这篇论文有两个主要观点：1.多层人工神经网络^[11]有很强的特征学习能力，深度学习网络模型自主学习得到的特征信息对原始数据有着更充分和更本质的表达，这对分类和可视化问题提供了更好的便利性；2.对于具有多个隐层的深度神经网络的学习训练问题，可以采用逐层的训练方法得到解决，即将上一层训练完成的输出作为下一层的输入。