BP神经网络研究与硬件实现
|
摘要
人工神经网络(简称神经网络,Neural Network)是模仿人类大脑思维方式的数学模型。神经网络是在现代生物学研究人类大脑生理结构的基础上建立的网络结构,用于模仿人脑的网络结构和行为,它从功能和结构上对人类大脑进行简化和抽象,是模拟人类智能的重要方法。
上世纪80年代,神经网络的研究取得了突破性进展。神经网络与控制理论相结合能够解决复杂的非线性、不确定系统的控制问题。人工神经网络的研究可分为三个主要领域：神经网络理论研究、神经网络应用研究和神经网络实现技术研究。神经网络的实现技术可以分为全硬件实现和虚拟实现两个方面,相对于软件实现,硬件实现更能发挥神经网络的快速性和大规模并行计算的优点,更有现实意义,因而神经网络的硬件实现技术是神经网络研究的重要领域。
本文首先介绍了神经网络的理论知识以及国内外对于神经网络的研究现状和主要的研究方向；然后介绍了常用的神经元模型,重点介绍了BP神经网络模型和算法,总结了BP算法的局限性及其改进算法；最后重点研究了人工神经网络的硬件实现技术,并成功实现了单神经元模型和Sigmoid函数,在此基础上实现了一个2-3-1的BP神经网络。
Artificial neural network (the neural network, Neural Network) is a Mathematical model to imitate the thinking way of human brain. Neural network is a network structure established on the base of the modern biology research the human brain's physiological structure. It is used to simulate the network structure and behavior of the human brain. It simplifies and abstracts the human brain by the function and structure. It is an important way of simulating human intelligence.
80s of last century, the research of neural network made a breakthrough. The junction of neural network and control theory can solve the problem of complex nonlinear and uncertain control systems. The research of artificial neural network can be divided into three main areas: research on neural network theory, research on neural network application and research on neural network implementation technology. Neural network implementation technology can be divided into hardware realization and virtual realization. Relative to the virtual realization, the hardware realization has better to play the advantages of neural network in fast and large-scale parallel calculation and it is more practical than hardware realization. Thus, hardware implementation technology is an important area of research on neural network.
Firstly, this article introduces the Theoretical knowledge, the present situation at home and abroad and the main research direction of neural network. Then, we introduce the main models of neural network, and emphasize on the BP neural network model and algorithm, and summarize the limitations and improvements of BP algorithm. At last, we focus on the hardware implementation technology of artificial neural network, and realize single neural model and Sigmoid'function successfully, and on this basis realize a 2-3-1 BP neural network.
上世纪80年代,神经网络的研究取得了突破性进展。神经网络与控制理论相结合能够解决复杂的非线性、不确定系统的控制问题。人工神经网络的研究可分为三个主要领域：神经网络理论研究、神经网络应用研究和神经网络实现技术研究。神经网络的实现技术可以分为全硬件实现和虚拟实现两个方面,相对于软件实现,硬件实现更能发挥神经网络的快速性和大规模并行计算的优点,更有现实意义,因而神经网络的硬件实现技术是神经网络研究的重要领域。
本文首先介绍了神经网络的理论知识以及国内外对于神经网络的研究现状和主要的研究方向；然后介绍了常用的神经元模型,重点介绍了BP神经网络模型和算法,总结了BP算法的局限性及其改进算法；最后重点研究了人工神经网络的硬件实现技术,并成功实现了单神经元模型和Sigmoid函数,在此基础上实现了一个2-3-1的BP神经网络。
Artificial neural network (the neural network, Neural Network) is a Mathematical model to imitate the thinking way of human brain. Neural network is a network structure established on the base of the modern biology research the human brain's physiological structure. It is used to simulate the network structure and behavior of the human brain. It simplifies and abstracts the human brain by the function and structure. It is an important way of simulating human intelligence.
80s of last century, the research of neural network made a breakthrough. The junction of neural network and control theory can solve the problem of complex nonlinear and uncertain control systems. The research of artificial neural network can be divided into three main areas: research on neural network theory, research on neural network application and research on neural network implementation technology. Neural network implementation technology can be divided into hardware realization and virtual realization. Relative to the virtual realization, the hardware realization has better to play the advantages of neural network in fast and large-scale parallel calculation and it is more practical than hardware realization. Thus, hardware implementation technology is an important area of research on neural network.
Firstly, this article introduces the Theoretical knowledge, the present situation at home and abroad and the main research direction of neural network. Then, we introduce the main models of neural network, and emphasize on the BP neural network model and algorithm, and summarize the limitations and improvements of BP algorithm. At last, we focus on the hardware implementation technology of artificial neural network, and realize single neural model and Sigmoid'function successfully, and on this basis realize a 2-3-1 BP neural network.
引文
1.焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社,1990:12-20
2.飞思科技.神经网络理论与MATLAB7实现[M].北京：电子工业出版社,2005：54-56
3.戴葵.神经网络实现技术[M].长沙：国防科技大学出版社,1998：435-485
4.刘金琨.智能控制[M].北京：电子工业出版社,2005：118-120
5. 单伟.不确定时滞动态反馈神经网络的鲁棒分析与设计[J].传感技术学报,2004,(1)：46
6.周伟熊,靳东明,李志坚.模拟神经元电路实现研究现状与进展[J],固体电子学究与进展,2002
7.于占东,王庆超.一类不确定非线性系统反步自适应神经网络控制研究[J].控制与决策,2004,19(5)：562-564
8. 高宏宇,邵克勇.不确定系统的神经网络控制研究[D].黑龙江：大庆石油学院,2006：5-15
9. Tadashi Shibata. A neuron-MOS neural network using self learning compatible synapse circuits[J]. IEEE Journal of Solid State Circuits,1995,30(8):913-922
10.廖晓峰,李传东.神经网络研究的发展趋势[D].国际学术动态,2006：1-5
11. Dundar G, Rose K. The effects of quantization on multilayer neural networks[J], IEEE Transactions on Neural Networks,1995,6 (6):1446-1451
12.徐丽娜.神经网络控制[M].北京：电子工业出版社,2003：40-46
13.王科俊,王克成.神经网络建模、预报与控制[M].哈尔滨：哈尔滨工程大学出版社,1996：50-55
14.高丽娜,邱关源.一种连续可调权值CMOS神经网络[J],电子学报,1998,26(2)：120-122
15.鲁华祥.半导体人工神经网络研究与发展[J],电子学报,1995,23(10)：129-133
16.王科俊,王克成.神经网络建模、预报与控制[M].哈尔滨：哈尔滨工程大学出版社,1996：50-55
17.于海生.微型计算机控制技术[M].清华大学出版社.2004,124-133
18. Rodriguez E, Quintana J M, Avedillo M J. Sorting networks implemented as vMOS circuits[J], Electronics Letters,1998,34(23):2237-2238
19.沈杰,靳东明,李志坚.双MOS晶体管等效电阻[J].清华大学学报(自然科学版),1999,39(5)：104-107
20.王剑,万冬梅,毛宗源.新型联想记忆神经网络的硬件实现研究[J],计算机工程与应用,2003,(14)
21.丛爽.面向matlab工具箱的神经网络理论与应用[M].合肥.中国科学技术大学出版社.2003
22.栗国星.可编程专用模糊逻辑与神经网络集成电路的研究[D],北京：清华大学微电子研究所,1999
23.范佳妮,王振雷,钱锋.BP人工神经网络隐层结构设计的研究进展[D].控制工程,2005,(S1)：105-109
24. Bogason G. Generation of a neuron transfer function and its derivatives[J], Electrorzics Letters,1993,29(8):1286-1287
25.卢纯,石秉学.采用FPGA算法的一种VLSI神经网络的设计[J],清华大学学报(自然科学版),2002,41(1)：103-106
26. Remcuij. A CMOS hour quarant analogy current mullipier[J], IEEE ISCAS,1992
27. Sakurai S, Ismail M. High frequency wide range cmos analogue multiplier[J], Electronic Letters,1992,28(24):2228-2229
28.凌卫新,郑启伦,陈琼.模块化神经网络的系统结构和学习算法[J],计算机工程与应用,2001,(19)
29.陈琼,郑启伦.人工神经网络系统硬件实现的研究进展[J],电路与系统学报,2000,3
30. Yuan Haiwen, Lu Hong, Yuan Haibin. Fault diagnosis of control electric component based on RBF neural network[J]. Beijing Hangkong Hangtian Daxue Xuebao/Journal of Beijing University of Aeronautics and Astronautics,2006, 32 (5):544-547
31. Chow. Mo-yuen、Mangum. Peter M.Yee. Sui Oi. A neural network approach to real-time condition monitoring of induction motors [J]. IEEE Transactions on Industrial Electronics, v 38, n 6, Dec,1991, p 448-453
32.徐文尚.基于神经网络的矿井提升机故障诊断系统研究.2008年博士论文
33.杨月全,张天平.基于神经网络的非线性系统的间接自适应控制[J].系统工程与电子技术,2002,24(10)：50-52
34.于振波,徐文尚等.基于共轭梯度法的LMBP算法收敛速度改进研究[J].中国人工智能学会2007学术年会,2007.12：792-797
35.张秀艳.基于FPGA的神经网络硬件实现中的关键问题研究[J],科技情报开发与经济,2005,(05)
36. Montalvo A J, Gyurcsik R S, Paulo J J. Toward ageneral purpose analogy VLSI neural network with on chip peturbation[J], IEEE Transactions on Neural Networks,1997,8 (2): 413-423
37.庞维珍,赵文钦.一种神经元模拟电路的分析和应用[J],电子学报,1995,(11)
38. Mead C. Analog VLSI and Neural Systems[M], Mass:Addison-Wesley,1989
39.王 阳.适合集成电路技术的可编程晶体管神经网络[D],博士学位论文,北京：清华大学微电子研究所,1991
40.王守觉,李兆洲,陈向东等.通用神经网络硬件中神经元基本数学模型的讨论[J],电子学报,2001,29(5)：577-580
41.胡寿松主编.自动控制原理[M].北京：科学出版社,2001：200-205
42.杨斌,聂在平,夏耀先,蒋荣升.基于改进共轭梯度法的前馈网络快速监督学习算法[D].电子学报.2002 Vo1.30,No.12：1845-1847
43. T.Borgstrom, Mismail and S.Bibyk. Prograble current-mode neural network for implementation in analogy MOS VLSI[J]. Devices and Systems, April 1990,175-183
44.任鲁勇,庞维珍.神经网络硬件实现[J],山东工程学院院报,1996
45.Ian H.Witten, Eibe Frank.数据挖掘：实用机器学习与技术[M].北京.机械工业出版社.2006,163
46.王仲生.智能故障诊断与容错控制[M].西安：西北工业大学出版社,2005,106-108
47. Lehmann. Hardware learning a analogue VLSI neural networks[D], Technical University of Denmark,1994
48.陈卢.基于PWM的VLSI神经网络和CPU电源控制器的实现研究[D],博士学位论文,北京：清华大学微电子研究所,2001
49.王阳适合集成电路技术的可编程解体管神经网络[D],博士学位论文,北京：清华大学微电子研究所,1991
50. Hollis P W, Paulos J J. A neural network training algorithm tailored for VLSI implementation[J], IEEE Transaction a Neural Networks,1994,5(5):784-791
2.飞思科技.神经网络理论与MATLAB7实现[M].北京：电子工业出版社,2005：54-56
3.戴葵.神经网络实现技术[M].长沙：国防科技大学出版社,1998：435-485
4.刘金琨.智能控制[M].北京：电子工业出版社,2005：118-120
5. 单伟.不确定时滞动态反馈神经网络的鲁棒分析与设计[J].传感技术学报,2004,(1)：46
6.周伟熊,靳东明,李志坚.模拟神经元电路实现研究现状与进展[J],固体电子学究与进展,2002
7.于占东,王庆超.一类不确定非线性系统反步自适应神经网络控制研究[J].控制与决策,2004,19(5)：562-564
8. 高宏宇,邵克勇.不确定系统的神经网络控制研究[D].黑龙江：大庆石油学院,2006：5-15
9. Tadashi Shibata. A neuron-MOS neural network using self learning compatible synapse circuits[J]. IEEE Journal of Solid State Circuits,1995,30(8):913-922
10.廖晓峰,李传东.神经网络研究的发展趋势[D].国际学术动态,2006：1-5
11. Dundar G, Rose K. The effects of quantization on multilayer neural networks[J], IEEE Transactions on Neural Networks,1995,6 (6):1446-1451
12.徐丽娜.神经网络控制[M].北京：电子工业出版社,2003：40-46
13.王科俊,王克成.神经网络建模、预报与控制[M].哈尔滨：哈尔滨工程大学出版社,1996：50-55
14.高丽娜,邱关源.一种连续可调权值CMOS神经网络[J],电子学报,1998,26(2)：120-122
15.鲁华祥.半导体人工神经网络研究与发展[J],电子学报,1995,23(10)：129-133
16.王科俊,王克成.神经网络建模、预报与控制[M].哈尔滨：哈尔滨工程大学出版社,1996：50-55
17.于海生.微型计算机控制技术[M].清华大学出版社.2004,124-133
18. Rodriguez E, Quintana J M, Avedillo M J. Sorting networks implemented as vMOS circuits[J], Electronics Letters,1998,34(23):2237-2238
19.沈杰,靳东明,李志坚.双MOS晶体管等效电阻[J].清华大学学报(自然科学版),1999,39(5)：104-107
20.王剑,万冬梅,毛宗源.新型联想记忆神经网络的硬件实现研究[J],计算机工程与应用,2003,(14)
21.丛爽.面向matlab工具箱的神经网络理论与应用[M].合肥.中国科学技术大学出版社.2003
22.栗国星.可编程专用模糊逻辑与神经网络集成电路的研究[D],北京：清华大学微电子研究所,1999
23.范佳妮,王振雷,钱锋.BP人工神经网络隐层结构设计的研究进展[D].控制工程,2005,(S1)：105-109
24. Bogason G. Generation of a neuron transfer function and its derivatives[J], Electrorzics Letters,1993,29(8):1286-1287
25.卢纯,石秉学.采用FPGA算法的一种VLSI神经网络的设计[J],清华大学学报(自然科学版),2002,41(1)：103-106
26. Remcuij. A CMOS hour quarant analogy current mullipier[J], IEEE ISCAS,1992
27. Sakurai S, Ismail M. High frequency wide range cmos analogue multiplier[J], Electronic Letters,1992,28(24):2228-2229
28.凌卫新,郑启伦,陈琼.模块化神经网络的系统结构和学习算法[J],计算机工程与应用,2001,(19)
29.陈琼,郑启伦.人工神经网络系统硬件实现的研究进展[J],电路与系统学报,2000,3
30. Yuan Haiwen, Lu Hong, Yuan Haibin. Fault diagnosis of control electric component based on RBF neural network[J]. Beijing Hangkong Hangtian Daxue Xuebao/Journal of Beijing University of Aeronautics and Astronautics,2006, 32 (5):544-547
31. Chow. Mo-yuen、Mangum. Peter M.Yee. Sui Oi. A neural network approach to real-time condition monitoring of induction motors [J]. IEEE Transactions on Industrial Electronics, v 38, n 6, Dec,1991, p 448-453
32.徐文尚.基于神经网络的矿井提升机故障诊断系统研究.2008年博士论文
33.杨月全,张天平.基于神经网络的非线性系统的间接自适应控制[J].系统工程与电子技术,2002,24(10)：50-52
34.于振波,徐文尚等.基于共轭梯度法的LMBP算法收敛速度改进研究[J].中国人工智能学会2007学术年会,2007.12：792-797
35.张秀艳.基于FPGA的神经网络硬件实现中的关键问题研究[J],科技情报开发与经济,2005,(05)
36. Montalvo A J, Gyurcsik R S, Paulo J J. Toward ageneral purpose analogy VLSI neural network with on chip peturbation[J], IEEE Transactions on Neural Networks,1997,8 (2): 413-423
37.庞维珍,赵文钦.一种神经元模拟电路的分析和应用[J],电子学报,1995,(11)
38. Mead C. Analog VLSI and Neural Systems[M], Mass:Addison-Wesley,1989
39.王 阳.适合集成电路技术的可编程晶体管神经网络[D],博士学位论文,北京：清华大学微电子研究所,1991
40.王守觉,李兆洲,陈向东等.通用神经网络硬件中神经元基本数学模型的讨论[J],电子学报,2001,29(5)：577-580
41.胡寿松主编.自动控制原理[M].北京：科学出版社,2001：200-205
42.杨斌,聂在平,夏耀先,蒋荣升.基于改进共轭梯度法的前馈网络快速监督学习算法[D].电子学报.2002 Vo1.30,No.12：1845-1847
43. T.Borgstrom, Mismail and S.Bibyk. Prograble current-mode neural network for implementation in analogy MOS VLSI[J]. Devices and Systems, April 1990,175-183
44.任鲁勇,庞维珍.神经网络硬件实现[J],山东工程学院院报,1996
45.Ian H.Witten, Eibe Frank.数据挖掘：实用机器学习与技术[M].北京.机械工业出版社.2006,163
46.王仲生.智能故障诊断与容错控制[M].西安：西北工业大学出版社,2005,106-108
47. Lehmann. Hardware learning a analogue VLSI neural networks[D], Technical University of Denmark,1994
48.陈卢.基于PWM的VLSI神经网络和CPU电源控制器的实现研究[D],博士学位论文,北京：清华大学微电子研究所,2001
49.王阳适合集成电路技术的可编程解体管神经网络[D],博士学位论文,北京：清华大学微电子研究所,1991
50. Hollis P W, Paulos J J. A neural network training algorithm tailored for VLSI implementation[J], IEEE Transaction a Neural Networks,1994,5(5):784-791