离散Hopfield神经网络的手写数字识别研究

2018

复杂系统与复杂性科学

COMPLEXSYSTEMSANDCOMPLEXITYSCIENCE

V〇1.15N〇.lMar.

2018

年 3 月

文章编号：1672 - 3813(2018)01 - 0075 - 05 ;!OI: 10. 13306&. 1672-3813. 2018. 01. 011

离散Hopfield神经网络的手写数字识别研究

潘园园，张力

，段

玲玲，段法兵

(青岛大学复杂性科学研究所，山东青岛266071)

摘要：利用离散Hopfield神经网络对手写数字识别进行了研究。将受到噪声污染的 手写数字储存为二值图像，然后调制成二进制信号通过神经网络进行传输，通过给定 权矩阵的Hopfield神经网络进行按址存储，将网络输出的内容再映射为数字图像。 实验结果表明：数字图像识别的误码率与调制信号的幅值、码间时间间隔和网络神经 元耦合个数成负相关关系，而且随着噪声强度的增加，误码率出现非周期随机共振现 象，在一非零最优噪声强度值达到最小，此时数字图像也恢复得更加清晰。这些结果

为进一步研究最小误码率优化目标下的Hopfield神经网络自适应权重矩阵提供了实验依据，而且 对于神经网络联想记忆中随机因素的作用研究具有重要意义。关键词：离散Hopfield神经网络；数字图像识别；误码率；随机共振 中图分类号：TN911. 7;N945. 12

文献标识码：A

Study of Handwritten Digital Recognition in Discrete Hopfield Neural Networks

PAN Yuanyuan，ZHANG Li，DUAN Lingling，DUAN Fabing

(Institute of Complexity Science，Qingdao University，Qingdao 266071, China)

Abstract：This paper studies the handwritten digital recognition by the discrete Hopfield neural networks. In the experiment， the noisy handwritten digital image is transferred into the binarysignal by the serial-scan network with the

mode. The

binary modulated

signal is

of

transmitted the

through th

designed weight matrix and the output storage mode network is

into digital image. The error rate of the digital image is negatively correlated with the amplitude of the modulated signal， the time interval and the number of coupled neurons in the network. However，as the noise intensity increases，the error rate manifests the aperiodic stochastic reso­nance effect，and achieves the minimum at the non-zero optimal noise intensity. Under this cir­cumstance ，the recovered

digital image appears more clearly. These

results provide a

theoretica

basis for further research on the adaptive weight matrix of Hopfield neural network for obtaining the minimum

error rate，and also are of significance for the positive role of the randomness in

associative memory of the neural networks.

Key words： Hopfield neural networks； image identification； error rate； stochastic resonance

〇引言

自1943年

McCulloch和Pis

首次提出了人工神经元模型以来，新的神经元模型及其组成的神经网络不断

研究的一个主要研究方向。其中，神经网络图像识别技术随着当

[1一2]，已成为目前非线性科学

收稿日期=2017 - 12 - 22;修回日期：2018 - 03 - 10 基金项目：国家自然科学基金（61573202)

作者筒介:潘园园（1991-)，女，山东邹城人，硕士研究生，主要研究方向为信号处理与复杂性分析。 通讯作者：段法兵（1974 -)，男，山东邹城人，博士，教授，主要研究方向为随机共振。

复杂系统与复杂性科学2018年3月

代计算机技术、图 图像识别方法34]。 牌照字符等实

、人工智能、模式识别理论等快速发展，是传统图像识别方法与神经网络算法相融合的一

网

字符识别在

机识别领域占有越来越重要的地位，并且广泛应用于

年来，

等实际应用领域。

雾天或者夜晚的交通车牌识别、机器

Hopfield

网络识别噪声字符、汽

这种方法识别率高、鲁棒性好且具有很好的实用性：例如朱献文-]研究了基于遗传算法

网络方法进行改进；丘敏-]等人

了 Hopfield神

高了识别率；Tatem™等人

Hopfield

网络的字符识别方法；魏武-]等人对车牌字符识别模板匹配的

标。

科学中的随机共

在汽车牌照字符识别的应用中将Hopfield和BP网络结合使 经网络识别遥感图像中的土地覆 声可以增强

元

，目

于字符识别的研究都把噪声作为有害因素，专注于噪声的消除，而忽视了噪声的有益作用，实际上噪

[111]。最近，Hopfield

网络的随机共振现象

元的

研究已取得了重大进展，如Katada1等人研究了 Hopfield网络中随机共振现象，并扩展到包含156个 网络中；Pmam〇nti[10]等人研究了 成的

网络中随机共振型

离散Hopfield 的

本文主要 在稳态间回环

，将

为有效的混沌

学的

阱模型。

制编码变成串行编码，根据信号号

制，码间间隔

元耦

网络中多峰随机共振的重要特征；NishimUra[11]等人研究了由3个神经元网络识别手写数字，将被识别的图

元网络中，不仅研究输

输人到Hopfield

个数对于网络识别图像的影响，还研究了传输过程中噪声强度与图像识别误码率的非线性特性。

1离散Hopfield神经网络模型与误码率

Hopfield神经网络是由只叩&!1[12—13]于1982年首先提出的一种单层的、输出为二值的全连接型的反馈神 经网络。离散Hopfield 网络只有一个 元层，第0层 为网络的输人，并 功能，而第1层是神经

元层，用于对输人数据和权系数的 经网络的 图1所示。

从图1可以看出神经元间是相互联系的，并且网 络中每一个神经元的输出都反馈到其他神经元上，每

权

点

个 元就处于

示有

元之间的连接强度，每个节

， 元

元所受态，否则数[]为

(1)

元且附有一个

态。我们取

机制，具有联

求累加和，并

线性

数

后产生输

网

。该网络模拟生物神加权无向图表示，如

的功能。3个

元构成的离散Hopfield

到的刺激超过其阈值时，神经元就处于

X，（8 + 1) itanh!1 (= (8)(8) ) #

^表示外部输人信号，s表示陡度参数，内部电压为

其中，X, (8+1)表示神经兀0的输出（一 1\"X, (〇\"1)，

N

= ()> *hXj (88 — A F〇(8

式中，N表示神经元耦合个数，突触权重是由基本 记忆表示为化1/^=1，2,…，M}的 存模

的能量值£有关。

制向量集合生成的，5(8)为神经元的内部噪声，神经元的组态与网络中储

i 一1

(2)

图1 离散型Hopfield神经网络结构 Fig. 1 Architecture of discrete neural networks

L 一一 1 *i,XX, (3)

其中，= 0表示神经元没有自反馈，令W表示网络N X N的突触权值矩阵，它决定了 Hopfield神经网络相应 的

学 态且生成方 为

w>1( *44Q — mi)

/一 1

其中，ZT表示向量^和它自身的外积，而了表示单位矩阵。神经元输出为

⑷

N

(5)

0 — 1

误码率是指二进制码元在数据传输系统中被传错的概率，即传输中的误码和所传输的总码数比值。仿真中

No: — *X〇(8')4/，。/N

第15卷第1期潘园园，等：离散

Hopfield神经网络的手写数字识别研究

• 77 •

将选取的特定图片的像素值输人网络，然后 应的信号输 ，网络输出错误信号与图 制信号总数的

误码率，误码率越小说明图像传输效果越好，恢复图像就越清晰。

2

2. 1

仿真和结果

仿真算法过程

1) 读取图像信息：扫描手写的字符图像，得到其灰度矩阵，并进行二值化处理得到BMXN，其中民（{0，1}，

素为0,白色为1[=16]。

:将矩阵改编成一个M网络初

XN

其中

2) ) 3)

的二进制字符串，再将其调制成幅值为^码间间隔为乃，脉冲持续

时间为T的二值幅值脉冲信号S!)。

：把f = 0时刻的信号S⑴以及噪声初值作为每个神经元的初始值X(0)输人到Hopfield神经

Gauss白噪声，连同下一

网络中，得第1步的输出信号y(1)。

4) 循环更新：将输出按照权重％反馈到每一个神经元，同时加人噪声强度为a的刻的信号作为输人，进人Hopfield

5) 2.2仿真结果

仿真中随机选取图像中大小约为500X500的像素区域，比如 图2中红

区域，将选定的区

，得到：

冲信号。对网络的参数设置如下：阈值ft均为0,参数s = 0.03,式 (2)中权重矩阵叭是由基本记忆6 = [1，一1，]和迄=[一1，1，一1]生成。

图3$图5就是得到的仿真效果图，可以看出：当网络中没有 噪声的时候，网络的输出译码后为空白图像，随着噪声强度的增 加，译码图

机共

：当噪声强

0.25时，译码图

图3所示，此时选取特定区域的数字渐渐显现；当噪声强度达 0.8时，网络输出数字图像较为 度达到2.8时，噪声强度过大，图 乎都处于激活的状态（黑色）。

知生成的神经网络的权系数矩阵是一个对称矩阵，并且对

角线元素都为0,由网络的 性

量函数

（3))

知这个网 析，并且满

的

的，它可

图2

手写数字的图片

时

网络，得到输 判决

码

号。

制信号，与初始输人信号比较，计算误码率R。

!)不断更新，得到最终的输 号V!)。

6) 计算误码率:将V!)

T

I

M

iih

!

f

9 i i s s ^ i

，如图4所示；而当噪声强图5所示，网络输

态几

&丨

以从任一初态收敛到一个稳态。离散Hopfield神经网络的稳定

网络

Fig. 2 Picture of handwriteen Character

，

'll:

o^,ly''0•Li..:;.ll-l1

|.-.5,

一

|».1|

，

'1*^^^^~^

f

图3网络在噪声强度为0.25时输出的图像

图K网络在 度为0.8时输出的图像

Fig. J Output Image for the noise intensity of 0. 25

Fig. 4 Output Image for the noise intensity of 0. 8

• 78 •复杂系统与复杂性科学

2018年3月

都有一些共同的特点：在网络信息传输过程中，能量会不断减 。仿真中初始状态确定后使得网 转移，最后接近或 输

态

声强度变化的曲线，从中

。图6给出了不同

看

态向着能量递减的方向

下误码率随着噪

增大，调制

号幅，在噪线[720]，

图P

网络在噪声强度为2.8时输出的图像

点，也就组成了仿真最后的稳定性

制信号 着调制信号

期随机共

信号的能量越大，网络输出图像的误码率也越低。 ，误码率随着噪声强度的变

声强度0.6-0.9区域达到最小值4. 7X10-3。给定噪声强度 下，图7给出了误码率与调制信号码间间隔的变

看出增大信号调制长度有利于减小误码率，使得网络输出 信息的正确率增加。图7是关于 元耦合个数对于误码率影 响的仿真分析，当Hopfield神经网络神经元耦合个数增加时，网络的误码率产生

的递

。

（3)可知

元网络

区域增大，神经元输 元个数无法

态的 小误码率。

要更大的码间间

Fig. 5 Output Image ffr the noise Intensity of E '

中每个状态的能量值，在 隔时间，在传输编码方

态时均小于0,其余状态均大于0。随着时间的演化，网络状态总是在能量值最小改进的

下，实验

增加

的稳态之间运动，当网络耦合数增加时，双稳态之间的

图7

图R不同幅值信号的误码率

Fig. R Error rate versus different signal amplitudes

不同神经元耦合个数的误码率

Fig. 7 $rr(r r*te versus different neuron 1oupling num；ers

3结论

本文利用离散Hopfield神经网络模型进行了识别手写数字研究，将手写数字保存为二值图像，由基本记忆

网络模型对二值图像的像素 号

为输

制信号

了

，通过改变输

号的

大小和，信号调的噪声强度传输，研究

形成的 制长

使网

信号调制长度，从而对网络输出产生不同影响， 同识别率下的识别数字图像。研究结果

线性的，并且

与误码率成负相关，噪声强度对于译码图像识别效果的影响

网

了证实，但

制图像识别问题。本文 元模型的耦 的

学分析，对于今后

的数字图像。进一步地，分别把信号放在不同个数神经元耦合的神经网

的权

发现小规模Hopfield 网络的随机共 自适应的耦

对不同噪声强度下的离散Hopfield神

，不具有自适应性，因此需要对的研究更具有实际意义。

数或随机耦合网

参考文献：

[1] Collins J J，Chow C C，Capela A C，Aperiodic stochastic resonan.ce[J]. Physical Review E，1996，54(5) % 55 - 75.[2] Warwick K. Neural networks： an in.troduction.[M]. IET Digital Library，1992.

[]王强，张小溪，韩一红.基于神经网络的图像识别[].电子设计工程，2012, 20(9)187 - 189.

Wang Qiang，Zhang Xiaoxi， HanYihong，et al. Image recognition, based on artificial neural network[J]. Electronic Design. Engineering，2012, 20(9)： 187 - 189.

[4] Crisanti A，Falcioni M，Paladin. G， et al. Stochastic resonance in. deterministic chaotic systems [J]. Journal of Physics A， 1994， 27(17)：

第15卷第1期潘园园，等：离散

Hopfield神经网络的手写数字识别研究

• 79 •

L597 -L603.

[5]朱献文.基于遗传算法和Hopfield神经网络的字符识别方法-].电子设计工程，2011，19(18# 57 - 59.

Zhu Xianwen.. Character recognition, 2011，19(18# 57 - 59.

-]魏武，黄心汉，张起森，等.基于模板匹配和神经网络的车牌字符识别方法-].模式识别与人工智能，2001，14(1# 123 - 127.

Wei Wu， Huang Xinhan.，Zhang Qisen.，et al. A Method of recognizing characters in. vehicle license plates using pattern, match and neural net­works—]. Pattern. Recognition, and Artificial Intelligence，2001，14(1# 123 - 127.—]

丘敏，麦汉荣，廖惜春.神经网络在汽车牌照字符识别中的应用—].计算机工程与设计，2008, 29!# 2041 - 2043.

method based on. genetic algorithm and Hopfield Neural Network -]. Electro

Qiu Min.，Mai Hanrong，LiaoXichim. Application of neural network in vehicle license character recognition—]. Computer Engineering and De­sign， 2008, 29(8)： 2041 -2043.—]—]

Tatem A J，Lewis H G，Atkinson. P. M，et al. Super-resolution, target identification, from remotely sensed images using a Hopfield neural ne--work[J]. IEEE Transactions on. Geoscience e Remote Sensing，2001，39(4# ： 781 - 796.

Katada N，Nishimura H. Stochastic resonance in. recurrent neural network with Hopfield-Type memory[J]. Neural Processing Letters，2009，30(2# ： 145 - 154.[10] Pinamonti G，Marro [11] Nishimura H，Katada [12] Hopfield

J J.

J，Torres J J. N，AiharaK.

Stochastic resonance crossovers in Deterministic SR phenomena

in

complex networks. [J]. PloSONE，2012，7(12) : e51170.autoassociative

chaotic

neural networks[C]. Internation

Neural Information Processing，IEEE，Singapore，2002，2 ： 585 - 589.

Neural networks and physical systemswith

emergent collective computational

[13] Haykin S. Neural Networks and Leaning Machines [M]. Beijing ： China Machine Press，2017.[14] Gabbiani F，Cox J S. Mathematics for Neuroscientists[M]. Beijing ： Academic Press,2012.[15] Aiyer S V [16] Gonzalez R

try， 2013.

[17] McDonnell M D，Abbott D. What is stochastic resonance? Definitions, misconceptions, debates，and its relevance to biology [J]. PLoS Compu­

tational Biology，2009，5!# el000348.[18] Duan

F，Abbott D.

Binary modulated signal

detection in

a bistable receiver

with

stochastic resonan.ce[J].

Applications，2007，376(1# ： 173 - 190.

[19] Riani M,Simonotto E. Stochastic resonance in the perceptual interpretation of ambiguous figures： a neural network model[J]. Physical Review

Letters，1994, 72(19# ： 3120.

[20] Wiesenfeld K，Moss F. Stochastic resonance and the benefits of noise： from ice ages to crayfish and Squids [J]. Nature， 1995，373(6509)：

33 - 36.

B,Niran.jan

M,Fallside

L，et

F. A al.

theoretical investigation Digital

Image

into the

performance MATLAB [M].

of

the

C，Woods R E，Eddins S

Processing Using

abilities[J]. PNAS，1982，79(8#

H

Beijing ： Publishing H

P

(责任编辑耿金花)