神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

【關(guān)鍵詞】工程估算;神經(jīng)網(wǎng)絡(luò);遺傳算法

一、引言

工程項(xiàng)目建設(shè)前期，詳細(xì)的項(xiàng)目信息尚未明確，工程造價(jià)具有較大模糊性。由于人工神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確性高、非線性處理能力強(qiáng)等優(yōu)點(diǎn)，已被許多學(xué)者應(yīng)用到工程估算領(lǐng)域。但傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)收斂速度慢、易陷入局部極小，而采用遺傳神經(jīng)網(wǎng)絡(luò)建立的工程估算模型，則可以利用遺傳算法全局快速尋優(yōu)的優(yōu)勢(shì)，有效解決上述問題。

二、模型介紹

1、 BP神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是人工智能研究的一種方法，具有較強(qiáng)的非線性映射能力。其拓?fù)浣Y(jié)構(gòu)具有多層感知器結(jié)構(gòu)，包括輸入、輸出層和若干個(gè)隱層。網(wǎng)絡(luò)輸入信息先通過輸入層節(jié)點(diǎn)，向前傳播到隱層節(jié)點(diǎn)，經(jīng)過計(jì)算節(jié)點(diǎn)的激活函數(shù)后，將各個(gè)計(jì)算節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后得到最終輸出結(jié)果。

所謂BP算法，即反向誤差傳遞法，主要分為向前傳播階段和向后傳播階段。在向前傳播階段中，信息從輸入層經(jīng)過逐層的變換，傳送到輸出層。而后向傳播階段即根據(jù)期望輸出計(jì)算反向誤差，對(duì)權(quán)值進(jìn)行修正，如果誤差小于給定值或迭代次數(shù)超過設(shè)定值結(jié)束學(xué)習(xí)。BP神經(jīng)網(wǎng)絡(luò)具有優(yōu)化計(jì)算能力，它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達(dá)到最小。但BP神經(jīng)網(wǎng)路尋優(yōu)的過程受初始點(diǎn)的選擇影響，初始點(diǎn)如果靠近局部最優(yōu)點(diǎn)而非全局最優(yōu)點(diǎn)，就無法得到正確的結(jié)果，這也是其無法得到全局最優(yōu)解的一個(gè)原因[1]。

2 、遺傳算法

遺傳算法（GA）是借鑒生物界自然選擇和群體進(jìn)化機(jī)制形成的一種全局尋優(yōu)算法。在GA中， 將問題空間中的決策變量通過一定編碼方法表示成遺傳空間的一個(gè)個(gè)體，它是一個(gè)基因型串結(jié)構(gòu)數(shù)據(jù);同時(shí)，將目標(biāo)函數(shù)值轉(zhuǎn)換成適應(yīng)值，用以評(píng)價(jià)個(gè)體的優(yōu)劣，并作為遺傳操作的依據(jù)。遺傳操作主要包括三個(gè)算子：選擇、交叉和變異。選擇算子用來實(shí)施適者生存的原則，即把當(dāng)前群體中的個(gè)體按與適應(yīng)值成比例的概率復(fù)制到新的群體中， 構(gòu)成池;交叉算子是從池中的個(gè)體隨機(jī)配對(duì)， 然后將兩兩配對(duì)的個(gè)體按特定方式相互交換部分基因;變異是對(duì)個(gè)體的某些基因值按某一較小概率進(jìn)行改變。從產(chǎn)生新個(gè)體的能力方面來說， 交叉算子是產(chǎn)生新個(gè)體的主要方法， 它決定了GA的全局搜索能力，而變異算子只是產(chǎn)生新個(gè)體的輔助方法， 但也必不可少， 因?yàn)樗鼪Q定了GA的局部搜索能力。交叉和變異相配合，共同完成對(duì)搜索空間的全局和局部搜索[2]。

3 遺傳神經(jīng)算法

考慮到GA的全局搜索能力，采用GA對(duì)BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值進(jìn)行優(yōu)化。算法基本步驟如下[3]：

1）設(shè)定種群規(guī)模。隨機(jī)生成設(shè)定規(guī)模的個(gè)體的初始種群，給定一個(gè)數(shù)據(jù)選定范圍， 采用線性插值函數(shù)生成種群中個(gè)體的一個(gè)實(shí)數(shù)向量作為GA的一個(gè)染色體;

2）確定個(gè)體的評(píng)價(jià)函數(shù)。給定一個(gè)BP神經(jīng)網(wǎng)絡(luò)進(jìn)化參數(shù)，將步驟（1）中得到的染色體對(duì)BP 神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行賦值，輸入訓(xùn)練樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，達(dá)到設(shè)定的精度得到網(wǎng)絡(luò)訓(xùn)練輸出值，以訓(xùn)練誤差平方和作為種群中個(gè)體的適應(yīng)值;

3）選擇操作?；谶m應(yīng)值比例的選擇策略對(duì)每一代種群中的染色體進(jìn)行選擇，選擇概率為適應(yīng)值與所有適應(yīng)值之和的比值;

4）交叉操作。對(duì)群體進(jìn)行隨機(jī)配對(duì)，并隨機(jī)設(shè)置交叉點(diǎn)位置，相互交換配對(duì)染色體之間的部分基因;

5）變異操作。隨機(jī)產(chǎn)生變異點(diǎn)位置，依照某一概率將變異點(diǎn)的原有基因值取反;

6）將GA得到的最優(yōu)個(gè)體分解為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，BP 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型經(jīng)訓(xùn)練后， 輸出預(yù)測(cè)值。

三、應(yīng)用實(shí)例

為驗(yàn)證本算法在工程估算領(lǐng)域的有效性，特選取上海市建筑建材業(yè)市場(chǎng)管理總站的十個(gè)建筑項(xiàng)目的工程特征信息及造價(jià)指標(biāo)進(jìn)行分析。工程特征選取的是影響造價(jià)指標(biāo)的七個(gè)關(guān)鍵因素，造價(jià)指標(biāo)選取單方造價(jià)。具體數(shù)據(jù)如下表。

表一工程特征及造價(jià)指標(biāo)表

地點(diǎn)

結(jié)構(gòu)類型

建筑面積（m2）

建筑高度（m）

抗震烈度

建設(shè)年份

單方造價(jià)（元/m2）

1

1

7141

22.3

7

2009

4988.4

3

2

8580

39.2

6

2010

3115.3

2

2

2748

16.3

7

2010

2385.4

3

2

7675

22.8

7

2011

2750.5

1

1

18070

51.0

7

2007

2880.5

2

2

30489

53.7

7

2008

3773.0

1

1

65697

99.6

7

2008

2934.2

1

3

49900

76.7

7

2009

7396.4

3

1

51428

65.1

7

2010

3014.6

1

3

110577

208.0

7

2010

8124.8

其中地點(diǎn)分三類：內(nèi)環(huán)（1）、外環(huán)（2）、外環(huán)外（3）;結(jié)構(gòu)類型分三類：框剪（1）、框架（2）、鋼框架-鋼筋混凝土核心筒（3）。

10個(gè)項(xiàng)目樣本中選7個(gè)作為學(xué)習(xí)樣本，3個(gè)作為預(yù)測(cè)檢驗(yàn)樣本。采用Matlab軟件分別構(gòu)建一般神經(jīng)網(wǎng)絡(luò)和遺傳神經(jīng)網(wǎng)絡(luò)模型，測(cè)試樣本進(jìn)行預(yù)測(cè)的結(jié)果如下：

表2 造價(jià)指標(biāo)預(yù)測(cè)結(jié)果與誤差分析

檢驗(yàn)樣本

實(shí)際值

BP神經(jīng)網(wǎng)絡(luò)

遺傳神經(jīng)網(wǎng)絡(luò)

預(yù)測(cè)值

相對(duì)誤差%

預(yù)測(cè)值

相對(duì)誤差%

1

7396.4

8563.5

15.8

7920.0

7.1

2

3014.6

3353.2

11.2

3289.6

9.1

3

8124.8

7146.6

-12.0

7561.7

-7.0

平均相對(duì)誤差

13.0%

7.7%

通過實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)一般神經(jīng)網(wǎng)絡(luò)和遺傳神經(jīng)網(wǎng)絡(luò)兩個(gè)模型均能滿足項(xiàng)目估算階段20%的準(zhǔn)確率要求，但相較而言，遺傳神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)精度要高于一般神經(jīng)網(wǎng)絡(luò)模型。此外，通過對(duì)比收斂過程（收斂過程圖略）發(fā)現(xiàn)，后者收斂速度更快。因此遺傳神經(jīng)網(wǎng)絡(luò)無論從全局搜索能力和收斂速度上都優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，更能滿足工程估算指標(biāo)預(yù)測(cè)的實(shí)際需要。

四、結(jié)論

針對(duì)BP神經(jīng)網(wǎng)絡(luò)在局部極小缺陷和收斂速度慢的問題，采用遺傳算法進(jìn)行改進(jìn)，通過GA優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值，實(shí)現(xiàn)BP神經(jīng)網(wǎng)絡(luò)的全局快速尋優(yōu)，彌補(bǔ)了神經(jīng)網(wǎng)絡(luò)固有的缺陷。經(jīng)兩模型預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，驗(yàn)證了遺傳神經(jīng)網(wǎng)絡(luò)具有更好的非線性擬合能力和更準(zhǔn)確的預(yù)測(cè)能力。

參考文獻(xiàn)：

[1]任謝楠.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化研究及MATLAB仿真[D].天津師范大學(xué)，2014.

第2篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

關(guān)鍵詞: 人工神經(jīng)網(wǎng)絡(luò)BP算法改進(jìn)BP算法倒立擺小車

1.引言

倒立擺系統(tǒng)是時(shí)變的、非線性、多變量和自然不穩(wěn)定系統(tǒng),在控制過程中,它能有效地反映可鎮(zhèn)定性、魯棒性、隨動(dòng)性和跟蹤等許多控制中的關(guān)鍵問題,是檢驗(yàn)各種控制理論的理想模型。人工神經(jīng)網(wǎng)絡(luò)BP算法,在多變量輸入情況下具有精度高、實(shí)現(xiàn)快、算法簡(jiǎn)單、魯棒性好等優(yōu)點(diǎn),從而滿足了系統(tǒng)的要求[1]。

2.人工神經(jīng)網(wǎng)絡(luò)BP算法簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)(ANN)由于具有信息的分布存儲(chǔ)、并行處理和自學(xué)習(xí)能力等優(yōu)點(diǎn),在信息處理、模式識(shí)別、智能控制等領(lǐng)域得到了越來越廣泛的應(yīng)用。近年來,已有多種ANN模型被提出研究,80%―90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或其改進(jìn)形式,它是前向網(wǎng)絡(luò)的核心部分,體現(xiàn)了網(wǎng)絡(luò)最精華的部分[2]。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)是根據(jù)Widrow―Hoff規(guī)則,采用梯度下降算法,主要由信息信號(hào)的正向傳播和誤差信號(hào)的反向傳播兩部分組成。

但BP網(wǎng)絡(luò)存在需較長(zhǎng)的訓(xùn)練時(shí)間、收斂于局部極小值等缺點(diǎn),為此人們對(duì)BP算法進(jìn)行了許多改進(jìn)。改進(jìn)主要有兩類:一類采用啟發(fā)式技術(shù),如附加動(dòng)量法、自適應(yīng)學(xué)習(xí)率法;另一類是采用數(shù)字優(yōu)化技術(shù),如共軛梯度法、擬牛頓法、Levenberg―Marquardt(LM)法[3]。由于LM算法收斂速度最快,精度較高,且經(jīng)過大量仿真實(shí)驗(yàn)分析比較,LM效果最好,故我們采用LM法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

LM優(yōu)化方法權(quán)重和閾值更新公式[4]為:

其中J為誤差對(duì)權(quán)值微分的雅可比矩陣,e為誤差向量,μ為一個(gè)標(biāo)量。依賴于μ的幅值,該方法光滑地在兩種極端情況之間變化,即牛頓法(當(dāng)μ0)和著名的最陡下降法(當(dāng)μ∞)。

3.神經(jīng)網(wǎng)絡(luò)控制器設(shè)計(jì)

3.1訓(xùn)練樣本的選取

BP神經(jīng)網(wǎng)絡(luò)在未經(jīng)任何訓(xùn)練的情況下,不能作為系統(tǒng)控制器使用。在實(shí)際仿真過程中,我們選擇極點(diǎn)配置控制為BP網(wǎng)絡(luò)的教師進(jìn)行學(xué)習(xí),經(jīng)過試探訓(xùn)練,樣本數(shù)為2000時(shí)結(jié)果較為合理,此時(shí)樣本數(shù)據(jù)能夠反映系統(tǒng)的基本特征,可以得到預(yù)期的仿真結(jié)果。極點(diǎn)配置-2+5i-2-5i-5+4i-5-4i;A=[0 1 0 0;0-0.0883167 0.629317 0;0 0 0 1;0-0.235655 27.8285 0];B=[0 0.883167 0 2.35655]’;C=[1 0 0 0;0 1 0 0;0 0 1 0;0 0 0 1];D=[0 0 0 0]’;p=[-2+5i-2-5i-5+4i-5-4i]; K=acker(A,B,p)。

3.2 BP網(wǎng)絡(luò)結(jié)構(gòu)

BP網(wǎng)絡(luò)設(shè)計(jì)時(shí),增加層數(shù)主要可以進(jìn)一步降低誤差,提高精度,但卻使網(wǎng)絡(luò)復(fù)雜化。而增加隱含層的神經(jīng)元數(shù)也可提高誤差精度,且訓(xùn)練效果更易觀察和調(diào)整。為了使誤差盡可能小,我們要合理選擇初始權(quán)重和偏置,如果太大就容易陷入飽和區(qū),導(dǎo)致停頓,一般應(yīng)選為均勻分布的小數(shù),介于(-1,1)。

根據(jù)需要,在網(wǎng)絡(luò)初始化時(shí),BP采用0.5*Rands函數(shù)初始化權(quán)值,權(quán)值初始值選在(-0.5,0.5),選取訓(xùn)練目標(biāo)誤差為0.0001,訓(xùn)練次數(shù)上限為5000次。通過多次仿真實(shí)驗(yàn)性能比較,選取[4 9 1]的單隱層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),隱含層、輸出層分別采用Tansig、Purelin函數(shù),仿真實(shí)驗(yàn)表明變學(xué)習(xí)率訓(xùn)練算法訓(xùn)練時(shí)間長(zhǎng),5000次還不能達(dá)到所要求的精度,且系統(tǒng)容易發(fā)散,控制倒立擺效果不好,采用改進(jìn)的LM訓(xùn)練算法對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練可以得到較好的控制效果且訓(xùn)練時(shí)間短。在實(shí)際仿真過程中,BP網(wǎng)絡(luò)經(jīng)過53次訓(xùn)練即達(dá)到了訓(xùn)練目標(biāo)。

4.BP網(wǎng)絡(luò)訓(xùn)練結(jié)果

圖1分別給出了倒立擺小車位移、擺角和控制力的BP算法與極點(diǎn)配置算法仿真曲線對(duì)比圖,仿真結(jié)果表明:相較極點(diǎn)配置,BP算法精度高、實(shí)現(xiàn)快、魯棒性好,倒立擺小車在BP算法下只需2.5s左右就可以達(dá)到所設(shè)定精度的穩(wěn)定效果,且超調(diào)量很小,滿足了系統(tǒng)的要求。

5.結(jié)論

通過對(duì)人工神經(jīng)網(wǎng)絡(luò)BP算法的分析,筆者進(jìn)行了倒立擺小車改進(jìn)BP算法的控制系統(tǒng)仿真實(shí)驗(yàn)。仿真表明該改進(jìn)BP算法收斂性好、計(jì)算量小,尤其在非線性和魯棒控制等領(lǐng)域具有良好的應(yīng)用前景。BP神經(jīng)網(wǎng)絡(luò)從理論上可以逼近任意非線性函數(shù),所以它特別適合控制像倒立擺這樣的嚴(yán)重非線性、多變量系統(tǒng)。

參考文獻(xiàn):

[1]于秀芬,段海濱,龔華軍.基于人工神經(jīng)網(wǎng)絡(luò)BP算法的倒立擺控制研究[J].測(cè)控技術(shù),2003,22(3):41-44.

[2]張志華,朱章森,李儒兵.幾種修正的自適應(yīng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法及其應(yīng)用[J].地球科學(xué),1998,23(2):179-182.

[3]蘇高利,鄧芳萍.論基于Matlab語言的BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法[J].科技通報(bào),2003,19(2):130-135.

第3篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

只有清楚地了解電梯控制系統(tǒng)的運(yùn)行原理才能夠及時(shí)準(zhǔn)確的診斷出電梯故障原因，因此清楚的了解電梯運(yùn)行原理,每一個(gè)電梯維修人員必須要做到。電梯運(yùn)行過程總體上可分為以下幾個(gè)階段：第一、登記層外召喚信號(hào)和登記內(nèi)選指令階段；第二、電梯門關(guān)閉或者電梯按照系統(tǒng)指令停運(yùn)階段；第三、啟動(dòng)階段；第四、在到達(dá)信號(hào)記錄的樓層前進(jìn)行減速制動(dòng)；第五、平層開門階段。在整個(gè)過程中電梯需要從外界接收信號(hào)并處理，然后完成相應(yīng)的指令或者輸出信號(hào)，由此可以將電梯看作是一個(gè)完整的獨(dú)立的系統(tǒng)，只需要外界給予相應(yīng)的信號(hào)就可以自動(dòng)的做出動(dòng)作。電梯系統(tǒng)內(nèi)部復(fù)雜的構(gòu)件緊密的結(jié)合在一起，正是如此才使得電梯系統(tǒng)故障具有了復(fù)雜性、層次性、相關(guān)性以及不確定性的特點(diǎn)。

二、神經(jīng)網(wǎng)絡(luò)技術(shù)基本原理

生物學(xué)上的神經(jīng)是由一個(gè)個(gè)簡(jiǎn)單的神經(jīng)元相互連接進(jìn)而形成了復(fù)雜的龐大的神經(jīng)系統(tǒng)，同理，神經(jīng)網(wǎng)絡(luò)就是由大量簡(jiǎn)單的處理單元相互連接形成的復(fù)雜的智能系統(tǒng)。單獨(dú)的處理單元類似于一個(gè)神經(jīng)元，是一個(gè)可以接受不同信息但是只輸出一種信息的結(jié)構(gòu)單位。神經(jīng)網(wǎng)絡(luò)系統(tǒng)與生物學(xué)神經(jīng)系統(tǒng)相似的是具有自我修改能力，它可以同時(shí)接收大量的數(shù)據(jù)并進(jìn)行統(tǒng)一的分析處理，進(jìn)而輸出相應(yīng)的處理結(jié)果。這就使得神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有了高度容錯(cuò)性、高度并行性、自我修改性、學(xué)習(xí)性以及高度復(fù)雜性，也正是由于這些特性才使的利用神經(jīng)網(wǎng)絡(luò)技術(shù)能夠及時(shí)準(zhǔn)確的查明電梯故障原因并得出故障解決方案。電梯故障診斷中應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型分為三個(gè)層次：輸入層、接收外部信號(hào)或者是電梯自我檢測(cè)信息（如載重信息）；隱含層、對(duì)接收到了大量數(shù)據(jù)進(jìn)行相應(yīng)的分析處理；輸出層、將記錄著動(dòng)作命令的數(shù)據(jù)傳送出來。在電梯出現(xiàn)故障時(shí)，首先可以通過神經(jīng)網(wǎng)絡(luò)模型快速確定故障發(fā)生在哪一層達(dá)到節(jié)約時(shí)間的目的。但是神經(jīng)網(wǎng)絡(luò)也會(huì)因?yàn)槭諗克俣冗^于慢、訓(xùn)練強(qiáng)度太大或者是選擇的網(wǎng)絡(luò)模型不好等問題導(dǎo)致診斷結(jié)果受到影響。

三、神經(jīng)網(wǎng)絡(luò)模型在電梯故障診斷中的應(yīng)用分類

神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為了如今電梯故障診斷中應(yīng)用最廣泛的技術(shù)模型，相比于傳統(tǒng)方式它具有診斷速度快、故障原因命中率高的優(yōu)點(diǎn)，因此引起了各方面專業(yè)人士的強(qiáng)烈關(guān)注，并在他們的不懈努力下得到了發(fā)展與創(chuàng)新。它跨越多個(gè)專業(yè)領(lǐng)域、通過對(duì)各種復(fù)雜的高難度工作的不斷的發(fā)展與改進(jìn)出現(xiàn)了越來越多的應(yīng)用模型，下面主要介紹了當(dāng)前應(yīng)用最普遍的BP網(wǎng)絡(luò)模型，并且簡(jiǎn)單的引入并介紹了近年來新興的模糊神經(jīng)網(wǎng)絡(luò)模型和遺傳小波神經(jīng)網(wǎng)絡(luò)模型。

（一）BP網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)應(yīng)用最廣泛的一種，它多應(yīng)用的誤差反向傳播算法使其在模式識(shí)別、診斷故障、圖像識(shí)別以及管理系統(tǒng)方面具有相對(duì)先進(jìn)性?；贐P網(wǎng)絡(luò)的電梯故障診斷技術(shù)就是通過學(xué)習(xí)故障信息、診斷經(jīng)驗(yàn)并不斷訓(xùn)練，并將所學(xué)到的知識(shí)利用各層次之間節(jié)點(diǎn)上的權(quán)值從而表達(dá)出來。BP網(wǎng)絡(luò)系統(tǒng)的主要診斷步驟主要可以分為三步。第一步：對(duì)輸入輸出的數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)映射到特定的區(qū)間。第二步：建立BP網(wǎng)絡(luò)模型，訓(xùn)練BP網(wǎng)絡(luò)模型。第三：通過已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)原來的樣本進(jìn)行全面的檢測(cè)。算法步驟：a、在一定的取值范圍內(nèi)對(duì)數(shù)據(jù)進(jìn)行初始化；b、確定輸入值數(shù)值大小，計(jì)算出預(yù)期輸出量；c、用實(shí)際輸出的值減去上一步得到的數(shù)值；d、將上一步得到的誤差分配到隱含層，從而計(jì)算出隱含層的誤差；e、修正輸出層的權(quán)值和閾值，修正隱含層的權(quán)值；f、修正隱含層的閾值，修正隱含層和輸入層的權(quán)值。

（二）遺傳小波神經(jīng)網(wǎng)絡(luò)模型

遺傳算法運(yùn)用了生物界的優(yōu)勝劣汰、適者生存的思想對(duì)復(fù)雜問題進(jìn)行優(yōu)化，適用于復(fù)雜的故障，起到了優(yōu)化簡(jiǎn)化問題的作用。對(duì)局部數(shù)據(jù)進(jìn)行詳細(xì)的分析是小波法最大的特點(diǎn)，所以它被譽(yù)為“數(shù)字顯微鏡”。遺傳算法小波神經(jīng)網(wǎng)絡(luò)就是運(yùn)用小波進(jìn)行分解的方法分解模擬故障信號(hào)，將得到的數(shù)據(jù)進(jìn)行歸一化，將歸一化后的數(shù)值輸入到神經(jīng)網(wǎng)絡(luò)模型中。它融合了神經(jīng)網(wǎng)絡(luò)、小波分析和遺傳算法三者所有的優(yōu)點(diǎn)。基于遺傳小波神經(jīng)網(wǎng)絡(luò)的電梯故障診斷的一般步驟為：測(cè)試節(jié)點(diǎn)信號(hào)采樣、小波分解、故障特征量提取、歸一化得到訓(xùn)練樣本集、遺傳算法優(yōu)化、得到故障類型。遺傳小波神經(jīng)網(wǎng)絡(luò)模型在故障原因復(fù)雜、數(shù)據(jù)信息量巨大的電梯系統(tǒng)的應(yīng)用中能夠發(fā)揮更大的作用。

（三）模糊神經(jīng)網(wǎng)絡(luò)模型

模糊神經(jīng)網(wǎng)絡(luò)模型就是創(chuàng)新性的將神經(jīng)網(wǎng)絡(luò)與模糊理論結(jié)合到一起。它采用了廣義的方向推理和廣義的前向推理兩種推理方式。與其它兩種模型不同的是，它的語言邏輯、判斷依據(jù)和結(jié)論都是模糊的。但是它的數(shù)據(jù)處理能力還有自我學(xué)習(xí)能力并沒有因此而變差，反而更加豐富了它的定性知識(shí)的內(nèi)容。在處理實(shí)際問題的過程中，首先要建立所有可能發(fā)生的故障的完整集合，其次將所有的故障發(fā)生原因歸入到同一個(gè)集合中去，最后就是建立故障和原因的關(guān)系矩陣。分別叫做模糊故障集、模糊原因集、模糊關(guān)系矩陣。相較于BP網(wǎng)絡(luò)模型，這種模型更加的簡(jiǎn)單易行，充分發(fā)揮了神經(jīng)網(wǎng)絡(luò)和模糊邏輯的優(yōu)點(diǎn)，不會(huì)因?yàn)楣收显蜻^于復(fù)雜而失去診斷的準(zhǔn)確性，在原本豐富定性知識(shí)和強(qiáng)大數(shù)據(jù)處理能力的基礎(chǔ)上具有了很大的自我訓(xùn)練能力。

四、結(jié)語

第4篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；前饋神經(jīng)網(wǎng)絡(luò)；遞歸神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TP183 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1673-1069（2017）06-165-2

1 緒論

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進(jìn)行信息處理。ANN通過模仿人類大腦的結(jié)構(gòu)和功能，并借鑒生物神經(jīng)科學(xué)的研究成果，實(shí)現(xiàn)對(duì)信息的處理，是一種新興的交叉學(xué)科，不但推動(dòng)了智能化計(jì)算的應(yīng)用和發(fā)展，同時(shí)也為信息科學(xué)和神經(jīng)生物學(xué)的研究方法帶來革命性的變化，現(xiàn)已成功應(yīng)用于腦科學(xué)，認(rèn)知科學(xué)，模式識(shí)別，智能控制，計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域。

在實(shí)際應(yīng)用中，人工神經(jīng)網(wǎng)絡(luò)的選取通常包括適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)模型，合理的網(wǎng)絡(luò)結(jié)構(gòu)及快速有效的網(wǎng)絡(luò)參數(shù)訓(xùn)練算法[1]。而針對(duì)某一特定網(wǎng)絡(luò)模型，ANN的研究主要集中在結(jié)構(gòu)的調(diào)整和訓(xùn)練算法的改進(jìn)兩個(gè)方面。所謂神經(jīng)網(wǎng)絡(luò)訓(xùn)練，也就是網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)和調(diào)整，是一個(gè)反復(fù)調(diào)節(jié)節(jié)點(diǎn)之間權(quán)值和閾值的過程，其學(xué)習(xí)可以分成三類，即有監(jiān)督學(xué)習(xí)（Supervised learning），無監(jiān)督學(xué)習(xí)（Unsupervised learning）和強(qiáng)化學(xué)習(xí)（Reinforcement learning），本文基于有監(jiān)督和無監(jiān)督學(xué)習(xí)進(jìn)行分類，分別分析了前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀、遞歸神經(jīng)網(wǎng)絡(luò)的特點(diǎn)及研究現(xiàn)狀。

2 前饋神經(jīng)網(wǎng)絡(luò)

2.1 前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

前饋神經(jīng)網(wǎng)絡(luò)的主要種類包括：感知器，線性神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)，徑向基網(wǎng)絡(luò)（RBF）等。其訓(xùn)練算法主要采用梯度下降法（Gradient descent），包括：誤差反向傳播算法（Back Propagation， BP），改進(jìn)的BP算法，Levenberg-Marquardt法（LM）等。前饋神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)簡(jiǎn)單，收斂較快等優(yōu)點(diǎn)，因此在實(shí)際應(yīng)用中，一般選取三層或以上的網(wǎng)絡(luò)結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)的任意逼近定理指出，訓(xùn)練合適的多層前饋神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)[2]。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)已知的情況下，訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是確定最優(yōu)權(quán)值和閾值的方法，前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式一般采用網(wǎng)絡(luò)理想輸出和實(shí)際輸出的誤差作為權(quán)值調(diào)整信號(hào)，解空間一般是多峰函數(shù)，由于訓(xùn)練過程中很容易陷入局部極小，因此網(wǎng)絡(luò)的訓(xùn)練目標(biāo)就是求解一組最優(yōu)的權(quán)值，使誤差達(dá)到最小。

傳統(tǒng)的誤差反向傳播算法由于為網(wǎng)絡(luò)的訓(xùn)練提供了簡(jiǎn)單而有效的實(shí)現(xiàn)途徑，目前已成為研究和應(yīng)用最廣泛的有監(jiān)督學(xué)習(xí)算法。但BP算法存在許多問題，例如在多層網(wǎng)絡(luò)中收斂較慢且容易陷入局部極小，而且不能對(duì)多個(gè)網(wǎng)絡(luò)進(jìn)行同時(shí)訓(xùn)練[3]。改進(jìn)的BP算法有多種形式，主要有通過附加動(dòng)量和學(xué)習(xí)率的引入改進(jìn)BP網(wǎng)絡(luò)的自適應(yīng)能力等方法，附加動(dòng)量方法雖然在一定程度上改善了易陷入局部極小的問題，仍然存在收斂速度較慢的問題。調(diào)整學(xué)習(xí)率方法通過將學(xué)習(xí)率限制在一定范圍內(nèi)自動(dòng)調(diào)整，雖然能夠提高網(wǎng)絡(luò)收斂速率，但對(duì)權(quán)值的改變和影響并不大，仍然導(dǎo)致誤差較大問題。LM法具有訓(xùn)練時(shí)間段，收斂速度快的優(yōu)點(diǎn)，但由于LM法需要計(jì)算誤差的Jacobian矩陣，這是一個(gè)復(fù)雜的高維運(yùn)算問題，需要占用大量系統(tǒng)存儲(chǔ)空間，同時(shí)，LM也存在易陷入局部極小的問題[4、5]。

2.2 前饋神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，預(yù)估校正法或者經(jīng)驗(yàn)選擇是最常被使用的網(wǎng)絡(luò)結(jié)構(gòu)選取方式[6]。在訓(xùn)練和優(yōu)化網(wǎng)絡(luò)權(quán)值和閾值過程中，訓(xùn)練算法在上述分析中已知，存在著容易陷入局部最優(yōu)并且難以跳出的缺點(diǎn)，因此誤差函數(shù)要求必須是連續(xù)可求導(dǎo)的函怠R虼耍這些權(quán)值訓(xùn)練方法常和進(jìn)化算法等全局搜索算法相結(jié)合。使用全局搜索算法的全局搜索能力幫助網(wǎng)絡(luò)跳出局部極小。在編碼時(shí)采用實(shí)數(shù)編碼，克服二進(jìn)制編碼受到編碼串長(zhǎng)度和精度的限制。例如，Sexton等人用一種改進(jìn)的遺傳算法優(yōu)化前饋神經(jīng)網(wǎng)路權(quán)值，結(jié)果表明改進(jìn)的算法使網(wǎng)路訓(xùn)練精度得到顯著提高[3]。Abbass通過將傳統(tǒng)BP算法和差分進(jìn)化算法相結(jié)合，提出了一種的新的權(quán)值訓(xùn)練方法并用于乳腺癌的預(yù)測(cè)實(shí)驗(yàn)，取得較好結(jié)果[7]。Iionen等人使用差分進(jìn)化算法對(duì)前饋網(wǎng)絡(luò)的權(quán)值進(jìn)行訓(xùn)練和優(yōu)化，將優(yōu)化結(jié)果與其他幾種基于梯度下降的網(wǎng)絡(luò)訓(xùn)練方法比較，結(jié)果表明該方法具有較好的精度[8]。更多研究成果表明，將DE、PSO應(yīng)用于網(wǎng)絡(luò)權(quán)值在線訓(xùn)練和優(yōu)化具有明顯優(yōu)勢(shì)，這些改進(jìn)方法也成功應(yīng)用在了醫(yī)學(xué)和工程技術(shù)等領(lǐng)域[9、10]。

此外，多種優(yōu)化算法相結(jié)合也被證明是有效的。例如，在文獻(xiàn)[11]中，作者提出了一種DE和LM相結(jié)合的神經(jīng)網(wǎng)絡(luò)快速訓(xùn)練方法。Liu等人提出一種粒子群算法（Particle Swarm Optimization， PSO）和共軛梯度算法相結(jié)合的混合算法，并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的權(quán)值優(yōu)化[12]。在優(yōu)化過程中，首先確定網(wǎng)絡(luò)結(jié)構(gòu)，然后使用PSO的全局搜索能力獲得最后權(quán)值組合，最后使用傳統(tǒng)方法進(jìn)行權(quán)值微調(diào)，取得較好結(jié)果。在文獻(xiàn)[13]中，作者采用相反方式將基本PSO和傳統(tǒng)BP算法相結(jié)合使用，首先用BP算法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行計(jì)算，然后使用PSO對(duì)網(wǎng)絡(luò)結(jié)構(gòu)固定的權(quán)值進(jìn)行優(yōu)化和改進(jìn)。有學(xué)者提出一種具有控制參數(shù)自適應(yīng)選擇能力的差分進(jìn)化算法，用于訓(xùn)練前饋網(wǎng)絡(luò)，并將該方法用于奇偶分類實(shí)驗(yàn)中，將實(shí)驗(yàn)結(jié)果與幾種其他方法進(jìn)行比較得知，提出的方法具有更好的準(zhǔn)確性。Epitropakis等人在訓(xùn)練離散Pi-Sigma神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)中，采用一種分布式離散差分進(jìn)化算法和分布式離散PSO算法相結(jié)合的方式。該離散網(wǎng)絡(luò)仍然是一種多層前饋網(wǎng)絡(luò)，在輸出層，通過將神經(jīng)元求積的方式獲得輸出，作者認(rèn)為這種整數(shù)權(quán)值的離散方式更適合用于硬件實(shí)現(xiàn)[14]。在離散化權(quán)值方面，Bao等人的工作表明，通過采用一種可重建的動(dòng)態(tài)差分進(jìn)化算法，可以有效用于訓(xùn)練固定結(jié)構(gòu)的網(wǎng)絡(luò)權(quán)值。

在不同領(lǐng)域中，任務(wù)往往各不相同，因此針對(duì)不同的動(dòng)態(tài)系統(tǒng)，不同類型的遞歸網(wǎng)絡(luò)的也相繼被提出并得到研究，使之成為人工智能界的研究熱點(diǎn)之一。因其具有獨(dú)特的優(yōu)化能力，聯(lián)想記憶功能，遞歸神經(jīng)網(wǎng)絡(luò)已引起AI界極大的研究和關(guān)注，并成功應(yīng)用于多種模式識(shí)別問題，例如圖像處理，聲音辨識(shí)，信號(hào)處理等。

4 結(jié)論

本章分析和研究了神經(jīng)網(wǎng)絡(luò)的兩種主要類型，前饋型和遞歸型，并對(duì)其特點(diǎn)進(jìn)行了分析。前饋網(wǎng)絡(luò)的主要特點(diǎn)是計(jì)算簡(jiǎn)單，運(yùn)算方便，缺點(diǎn)是耗時(shí)較長(zhǎng)，容易陷入局部極?。贿f歸網(wǎng)絡(luò)的特點(diǎn)是具有動(dòng)力學(xué)特性和聯(lián)想記憶特性，但使用時(shí)需要注意穩(wěn)定性和收斂性，且對(duì)初始狀態(tài)具有高度敏感特性。針對(duì)兩類神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，可通過多種優(yōu)化相結(jié)合的方法解決收斂較慢且容易陷入局部極小問題，應(yīng)用參數(shù)學(xué)習(xí)訓(xùn)練算法和網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化算法對(duì)遞歸網(wǎng)絡(luò)進(jìn)行適當(dāng)?shù)恼{(diào)整，以應(yīng)用于具體問題。

參 考 文 獻(xiàn)

[1] N. Garcia-Pedrajas， C. Hervas-Martinez， J. Munoz-Perez. COVNET： a cooperative coevolutionary model for evolving artificial neural networks [J]. IEEE Transaction on Neural Networks， 2003， 14（3）： 575-596.

[2] K. Hornick， M. Stinchcombe， H. White. Multilayer feedforward networks are universal approximators [J]. Neural Networks， 1989， 2： 359-366.

[3] R.S. Sexton， R.S. Sriram， H. Etheridge. Improving decision effectiveness of artificial neural networks： a modified genetic algorithm approach [J]. Decis Sci， 2003， 34（3）：421-442.

[4] 商琳， 王金根， 姚望舒，等. 一N基于多進(jìn)化神經(jīng)網(wǎng)絡(luò)的分類方法[J]. 軟件學(xué)報(bào)， 2005， 16（9）： 1577-1583.

[5] S.U. Ahmed， M. Shahjahan， K. Murase. Injecting chaos in feedforward neural networks [J]. Neural Process Lett， 2011， 34（1）： 87-100.

[6] Serkan Kiranyaz， Turker Ince， Alper Yildirim， et al. Evolutionary artificial neural networks by multi-dimensional particle swarm optimization [J]. Neural Networks， 2009， 22： 1448-1462.

[7] H.A. Abbass. An evolutionary artificial neural networks approach for breast cancer diagnosis [J]. Artificial Intelligence in Medicine， 2002 ， 25 （3） ： 265-281.

[8] J. Iionen， J.K. Kamarainen， J. Lampinen. Differential Evolution Training Algorithm for Feed-forward Neural Networks [J]. Neural Processing Letters， 2003， 17（1） ： 93-105.

[9] D.M. George， P.P. Vassilis， N.V. Michael. Neural network-based colonoscopic diagnosis using on-line learning and differential evolution [J]. Applied Soft Computing， 2004， （4） ： 369-379.

[10] B. Liu， L. Wang， Y.H. Jin， et al. Designing neural networks using hybrid particle swarm optimization [C]. Lecture Notes in Computer Science. Berlin ： Springer ， 2005 ： 391-397.

[11] 王剛， 高陽， 夏潔. 基于差異進(jìn)化算法的人工神經(jīng)網(wǎng)絡(luò)快速訓(xùn)練研究 [J]. 管理學(xué)報(bào)， 2005， 2 （4） ： 450-454.

[12] L. B. Liu， Y. J. Wang， D. Huang. Designing neural networks using PSO-based memetic algorithm [C]. in： Proceedings of the Fourth International Symposium on Neural Networks （ISNN’07）， 2007， pp. 219-224.

第5篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

[關(guān)鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡(luò) 股票 預(yù)測(cè)

一、引言

股票和股票市場(chǎng)對(duì)國(guó)家企業(yè)的經(jīng)濟(jì)發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強(qiáng)投資的流動(dòng)性和靈活性等。但股票價(jià)格的形成機(jī)制是頗為復(fù)雜的，股票價(jià)格既受到多種因素，諸如:政治，經(jīng)濟(jì)，市場(chǎng)因素的影響，亦受技術(shù)和投資者行為因素的影響，個(gè)別因素的波動(dòng)作用都可能會(huì)影響到股票價(jià)格的劇烈波動(dòng)。因此，股票價(jià)格和各影響因素之間很難直接建立明確的函數(shù)關(guān)系表達(dá)式。針對(duì)這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡(luò)引入到股票價(jià)格的預(yù)測(cè)中來，但神經(jīng)網(wǎng)絡(luò)收斂慢,易陷入局部極小點(diǎn)，出現(xiàn)振蕩，魯棒性差。所以有的學(xué)者用遺傳算法(GA)來優(yōu)化神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)可能獲得個(gè)別的甚至局部的最優(yōu)解,即GA早熟現(xiàn)象。本文引進(jìn)能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優(yōu)化與用GA優(yōu)化的BP網(wǎng)絡(luò)權(quán)值進(jìn)行對(duì)比,證實(shí)了NGA的判別準(zhǔn)確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)

1.BP神經(jīng)網(wǎng)絡(luò)

反向傳播(BP)算法又稱為誤差逆?zhèn)鞑バＵ椒?，它?974年P(guān).Werbos(哈佛大學(xué))提出的。BP算法用來訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò),屬于監(jiān)督學(xué)習(xí)算法。BP網(wǎng)絡(luò)具有結(jié)構(gòu)清晰，易實(shí)現(xiàn)，計(jì)算功能強(qiáng)大等特點(diǎn)。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡(luò)。但是在實(shí)際應(yīng)用中，傳統(tǒng)的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺(tái)問題;泛化能力差;隱節(jié)點(diǎn)數(shù)和初始值的選取缺乏理論指導(dǎo);未考慮樣本選擇對(duì)系統(tǒng)學(xué)習(xí)的影響等。所以很多學(xué)者提出許多改進(jìn)的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)股票價(jià)格。

2.小生境遺傳算法

小生境遺傳算法(Iche Genetical Gorihm)的基本思想是:首先比較任意兩個(gè)個(gè)體間的距離與給定值的大小，若該距離小于給定值，則比較其適應(yīng)值大小。對(duì)適應(yīng)值較小的個(gè)體施加一個(gè)較強(qiáng)的懲罰，極大地降低其適應(yīng)值。也就是說，在距離L內(nèi)將只有一個(gè)優(yōu)良個(gè)體，從而既維護(hù)了群體的多樣性，又使得各個(gè)體之間保持一定的距離，并使得個(gè)體能夠在整個(gè)約束空間中分散開來。

3.神經(jīng)網(wǎng)絡(luò)連接權(quán)的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)規(guī)則等，這里我們對(duì)神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化，具體步驟如下：

（1）隨機(jī)產(chǎn)生一組權(quán)值分布，采用某種編碼方案對(duì)該組中的每個(gè)權(quán)值(或閾值)進(jìn)行編碼，進(jìn)而構(gòu)造出一個(gè)碼串(每個(gè)碼串代表網(wǎng)絡(luò)的一種權(quán)值分布)，在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則已確定的前提下,該碼串就對(duì)應(yīng)一個(gè)權(quán)值和閾值取特定值的一個(gè)神經(jīng)網(wǎng)絡(luò)。

（2)對(duì)所產(chǎn)生的神經(jīng)網(wǎng)絡(luò)計(jì)算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值，誤差越大,則適應(yīng)度越小。

（3)選擇若干適應(yīng)度函數(shù)值最大的個(gè)體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對(duì)當(dāng)前一代群體進(jìn)行處理，產(chǎn)生下一代群體。

（5)重復(fù)（2）（3）（4），使初始確定的一組權(quán)值分布得到不斷地進(jìn)化,直到訓(xùn)練目標(biāo)得到滿足為止。

這種由小生境遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法也可以稱做混和訓(xùn)練法。將基于小生境遺傳算法的遺傳進(jìn)化方法和基于梯度下降的反傳訓(xùn)練相結(jié)合,這種訓(xùn)練方法吸取兩種方法的各自特點(diǎn)，所以收斂速度快。

三、股票價(jià)格預(yù)測(cè)仿真

根據(jù)經(jīng)驗(yàn)選取輸入預(yù)測(cè)日前四天開盤價(jià)、收盤價(jià)歸一化后做為作為輸入量，輸出為第五天收盤價(jià)歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(8,5,1),即網(wǎng)絡(luò)的輸入層6個(gè)節(jié)點(diǎn),隱含層9個(gè)節(jié)點(diǎn),輸出層1個(gè)節(jié)點(diǎn)。本文選擇了“XDG 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進(jìn)行了仿真。利用MATLAB6.5編程，取70組訓(xùn)練樣本和30組測(cè)試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化時(shí)，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預(yù)測(cè)值和實(shí)際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值的模型進(jìn)行股票價(jià)格的預(yù)測(cè)，都能預(yù)測(cè)出股票走向趨勢(shì)，但是，后者的預(yù)測(cè)精度顯然要比前者高。

四、結(jié)束語

股票市場(chǎng)的不確定因素太多，股票的價(jià)格更是多種因素影響的集合體，是典型的非線性動(dòng)力學(xué)問題。股票價(jià)格的中長(zhǎng)期準(zhǔn)確預(yù)測(cè)很難。本文建立了用小生境遺傳算來優(yōu)化神經(jīng)網(wǎng)絡(luò)模型來預(yù)測(cè)股票價(jià)格，結(jié)果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)收斂速度快，預(yù)測(cè)精度高。對(duì)于股票價(jià)格預(yù)測(cè)具有較好的應(yīng)用價(jià)值。

參考文獻(xiàn):

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡(luò)的股票市場(chǎng)趨勢(shì)預(yù)測(cè)[J].西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡(luò)與時(shí)間序列模型在股票預(yù)測(cè)中的比較[J].第27卷第6期武漢理工大學(xué)學(xué)報(bào)?信息與管理工程版.2005.9（27）:69-72

[3]張立明:工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用[M].上海:復(fù)旦大學(xué)出版社,1995.35-76

第6篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

關(guān)鍵詞：分類識(shí)別；模式識(shí)別；圖像分類

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）32-7731-03

1 概述

圖像分類識(shí)別根據(jù)圖像的不同特征對(duì)圖像進(jìn)行分類，有相同特征的對(duì)象歸為一類。圖像分類識(shí)別方法隨著數(shù)學(xué)算法的不斷進(jìn)步而不斷發(fā)展。目前，圖像分類識(shí)別的主要方法主要有六種：模糊集識(shí)別、統(tǒng)計(jì)識(shí)別、神經(jīng)網(wǎng)絡(luò)識(shí)別、結(jié)構(gòu)識(shí)別、模版匹配和支持向量機(jī)。這幾種方法各有優(yōu)缺點(diǎn)，根據(jù)具體情況來具體分析和應(yīng)用，也可以多種方法相結(jié)合使用。

圖像分類識(shí)別系統(tǒng)包括幾個(gè)步奏[1]，如圖 1所示，一是獲取原圖像的信息，二是對(duì)圖像預(yù)處理，三是圖像分割，四是圖像特征提取，五是圖像分類識(shí)別。

1） 統(tǒng)計(jì)識(shí)別法

統(tǒng)計(jì)識(shí)別的理論基礎(chǔ)是數(shù)學(xué)的決策理論，在決策理論基礎(chǔ)上建立統(tǒng)計(jì)識(shí)別模型，統(tǒng)計(jì)識(shí)別模型對(duì)要分類的圖像進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)出圖像的各類特征，找出準(zhǔn)確反映圖像類別的特征，最后進(jìn)行分類。其主要的技術(shù)有聚類分析法、統(tǒng)計(jì)法、KNN等。但是，統(tǒng)計(jì)識(shí)別法不能識(shí)別圖像空間相互關(guān)系（即結(jié)構(gòu)關(guān)系）。如要分類圖像的結(jié)構(gòu)特征是主要特征，用統(tǒng)計(jì)識(shí)別就不能識(shí)別圖像。

在進(jìn)行分類時(shí)需要大量圖像樣本，先統(tǒng)計(jì)圖像樣本特征，設(shè)定圖像識(shí)別的一系列參數(shù)（即統(tǒng)計(jì)學(xué)習(xí)）。

統(tǒng)計(jì)識(shí)別法流程如圖2[1]，輸入的圖像信息是原始圖片；圖像處理是對(duì)樣本圖像濾波、分割和特征提取；最后是圖像分類，輸出結(jié)果。

2） 結(jié)構(gòu)識(shí)別法

結(jié)構(gòu)識(shí)別法即是句法識(shí)別，是對(duì)統(tǒng)計(jì)識(shí)別法不能識(shí)別圖像結(jié)構(gòu)特征的補(bǔ)充，因?yàn)榻y(tǒng)計(jì)算法不能統(tǒng)計(jì)圖像的結(jié)構(gòu)信息，只能統(tǒng)計(jì)圖像的數(shù)字特征。結(jié)構(gòu)識(shí)別法用符號(hào)表現(xiàn)圖像的特征。結(jié)構(gòu)識(shí)別采用的結(jié)構(gòu)是層次結(jié)構(gòu)，把復(fù)雜圖像分解成單子圖像，而子圖像又可以分解為更簡(jiǎn)單的子模式，一直分解下去，直到分解為最簡(jiǎn)單的子模式，即模式基元。通過對(duì)模式基元的識(shí)別，進(jìn)而識(shí)別子模式，最終識(shí)別該復(fù)雜的模式。結(jié)構(gòu)識(shí)別法流程如圖3所示。

3） 神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)法是通過我們學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法對(duì)圖像進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)方法與統(tǒng)計(jì)識(shí)別方法在很多方面是有聯(lián)系的，都利用樣本數(shù)據(jù)完成圖像的分類識(shí)別，并且在有的算法上還可以看作是一定的等價(jià)關(guān)系。神經(jīng)網(wǎng)絡(luò)算法的結(jié)構(gòu)由一個(gè)輸入層、若干個(gè)中間隱含層和一個(gè)輸出層組成。神經(jīng)網(wǎng)絡(luò)法通過學(xué)習(xí)，能夠從原始圖像的復(fù)雜數(shù)據(jù)中找到相識(shí)的圖像特征，對(duì)圖像進(jìn)行正確的分類。神經(jīng)網(wǎng)絡(luò)法克服了統(tǒng)計(jì)識(shí)別算法過程中的復(fù)雜性，以及模型選擇的一些困難，是一種非線性建模過程，不需要分清圖像中存在的非線性關(guān)系，給圖像分類帶來的極大方便。

神經(jīng)網(wǎng)絡(luò)算法有不同的網(wǎng)絡(luò)結(jié)構(gòu)，所以構(gòu)造神經(jīng)網(wǎng)絡(luò)時(shí)首先要選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)。神經(jīng)網(wǎng)法圖像分類時(shí)首先要輸入圖像的文理特征和結(jié)構(gòu)特征等一系類參數(shù)；中間經(jīng)過圖像的預(yù)處理和特征提取，最后輸出的是圖像類別。神經(jīng)網(wǎng)絡(luò)分類識(shí)別的流程圖如圖4所示。

4） 模糊集識(shí)別法

模糊集識(shí)別法在模式識(shí)別、醫(yī)學(xué)圖像識(shí)別，車牌識(shí)別等方面的應(yīng)用比較廣泛。在圖像分類時(shí)，有一些圖像的特征不是很明顯，不能準(zhǔn)確的確定圖像屬于哪一類別時(shí)，模糊集識(shí)別法能很好地解決這一問題。先模糊地對(duì)圖像進(jìn)行判別，這時(shí)圖像可能屬于兩個(gè)或多個(gè)類別，等到再找到另外的特征時(shí)再進(jìn)行精確的判別。模糊數(shù)學(xué)是模糊集識(shí)別法的理論基礎(chǔ)，模糊數(shù)學(xué)在判別事物時(shí)一般不是準(zhǔn)確的去判斷這事物到底屬于什么，而是用不太精確的方式來判別事物，用更適合人的思維方式去判別。

模糊集識(shí)別法是在模式識(shí)別方法的基礎(chǔ)上采用模糊邏輯的方法。在圖像分類時(shí)，采用模糊理論對(duì)圖像特征模糊化和模糊分類。

模糊集識(shí)別法根據(jù)一定的模糊化規(guī)則將圖像的紋理或形狀等特征分成多個(gè)模糊變量，雖然每個(gè)模糊變量不能準(zhǔn)確的判別圖像，只能判斷原圖像的一部分特征，但是這能更進(jìn)一步地判別圖像。我們用先前判別出的部分特征去替代原來的特征再進(jìn)行圖像判別，這樣我們又能精確的判別圖像類別。雖然模糊集識(shí)別法識(shí)別時(shí)圖像的特征變多了，但是卻使得判別更加，也使分類器設(shè)計(jì)趨于簡(jiǎn)單。

5） 支持向量機(jī)

支持向量機(jī)（SVM）是一種新的人工智能學(xué)習(xí)算法，現(xiàn)在已經(jīng)成為模式識(shí)別領(lǐng)域新的研究熱點(diǎn)[3] 。支持向量機(jī)有學(xué)習(xí)效率高、抗噪聲性能強(qiáng)和推廣性好等優(yōu)點(diǎn)。支持向量機(jī)是在原先統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上，解決傳統(tǒng)統(tǒng)計(jì)學(xué)習(xí)理論不能解決的一些問題（如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題，局部極小點(diǎn)問題等）而形成的一種新的學(xué)習(xí)方法。在圖像識(shí)別時(shí)，支持向量機(jī)將圖像特征向量映射到一個(gè)更高維的空間，在新的空間中重新建立一個(gè)最大圖想?yún)?shù)閾值。首先判斷圖像的大類別，在閾值的兩邊再建立重新建立新的閾值，再進(jìn)行分類，對(duì)圖像不斷判別。最后相差最大的就是圖像屬于不同類別。

6） 模板匹配法

模板匹配法是對(duì)要識(shí)別的圖像做出一個(gè)典型的標(biāo)準(zhǔn)模板，作為將要判別其他圖像的標(biāo)準(zhǔn)，然后將要分類的圖像與標(biāo)準(zhǔn)模板相比較，從而判斷出圖像屬于哪一類別。其實(shí)模版匹配法是一種比較算法，將要識(shí)別的圖像與標(biāo)準(zhǔn)模版放在一個(gè)分類器中做相關(guān)運(yùn)算，根據(jù)我們學(xué)習(xí)的相關(guān)運(yùn)算知識(shí)可以知道，如果兩個(gè)信號(hào)出現(xiàn)自相關(guān)，就表示出現(xiàn)了主峰值（即閾值），這就表示模版圖像和要識(shí)別的圖像匹配，將這個(gè)閾值作為分類器的一個(gè)判決規(guī)則，即可實(shí)現(xiàn)圖像的匹配。所以模版匹配法的首要任務(wù)就是先進(jìn)行模版的創(chuàng)建，如果創(chuàng)建的模板很正確精確，那么我們?cè)谄ヅ涞臅r(shí)候也會(huì)更加的精確。

模版匹配法的流程圖如圖5所示。

3 圖像分類識(shí)別算法的優(yōu)缺點(diǎn)

統(tǒng)計(jì)識(shí)別法的優(yōu)點(diǎn)是以數(shù)學(xué)上的決策理論為基礎(chǔ)的，能夠比較快的建立出統(tǒng)計(jì)識(shí)別模型。通過建立出的模型，對(duì)圖像進(jìn)行大量的統(tǒng)計(jì)分析，能夠準(zhǔn)確的判斷出圖像的類別，并且統(tǒng)計(jì)出的特征都是數(shù)字特征，對(duì)計(jì)算機(jī)的性能要求較小。缺點(diǎn)是統(tǒng)計(jì)識(shí)別法不能統(tǒng)計(jì)圖像在空間上的相互關(guān)系（即結(jié)構(gòu)關(guān)系）。如果圖像的結(jié)構(gòu)特征為主要特征時(shí)，用統(tǒng)計(jì)方法不能進(jìn)行準(zhǔn)確的判別。

結(jié)構(gòu)識(shí)別法：對(duì)統(tǒng)計(jì)識(shí)別識(shí)別方法的補(bǔ)充，統(tǒng)計(jì)識(shí)別法不能統(tǒng)計(jì)圖像的結(jié)構(gòu)信息，統(tǒng)計(jì)方法一般統(tǒng)計(jì)出來的圖像特征都是以數(shù)值表示，結(jié)構(gòu)識(shí)別法描述圖像的特征時(shí)則是用符號(hào)來表示。

神經(jīng)網(wǎng)絡(luò)法優(yōu)點(diǎn)是神經(jīng)網(wǎng)絡(luò)非線性擬合能力很好，可以映射圖像的非線性關(guān)系；而且神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力強(qiáng)，也方便計(jì)算機(jī)實(shí)現(xiàn)；神經(jīng)網(wǎng)絡(luò)還具有很強(qiáng)的非線性映射能力，記憶能力以及自我學(xué)習(xí)能力。神經(jīng)網(wǎng)絡(luò)法的缺點(diǎn)是不能解釋自己的推理過程和推理依據(jù)；神經(jīng)網(wǎng)絡(luò)需要大量的模板數(shù)據(jù)，并且個(gè)模板特征數(shù)據(jù)要近似相等，當(dāng)數(shù)據(jù)不充分或各類別差別很大的時(shí)候，神經(jīng)網(wǎng)絡(luò)的識(shí)別就不太準(zhǔn)確；神經(jīng)網(wǎng)絡(luò)的輸入也是圖像的數(shù)字特征，不能表示識(shí)別圖像的結(jié)構(gòu)關(guān)系，和統(tǒng)計(jì)識(shí)別法一樣，當(dāng)結(jié)構(gòu)特征為主要特征時(shí)，圖象的識(shí)別就不準(zhǔn)確。

模糊集識(shí)別法的優(yōu)點(diǎn)是模糊識(shí)別法雖表現(xiàn)為圖像的不確定分類，但是隨著更高可靠性的特征能使圖像分類越來越準(zhǔn)確；采用多級(jí)分類，能為下級(jí)分類提供分類信息。缺點(diǎn)是模糊識(shí)別不能準(zhǔn)確確定圖像的類別，如果不能找到跟準(zhǔn)確的特征，圖像的分類將不準(zhǔn)確。

支持向量機(jī)（SVM）優(yōu)點(diǎn)：1.對(duì)模板樣本要求低，如果模板數(shù)量少，得到的分類結(jié)果是在現(xiàn)有模板信息下的最優(yōu)解；2.支持向量機(jī)通過非線性變換將圖像的特征轉(zhuǎn)換到高維的特征空間，然后在高維空間構(gòu)造線性函數(shù)替代原圖像的非線性關(guān)系，更利于計(jì)算機(jī)去判別。缺點(diǎn)： SVM是通過二次規(guī)劃來求解特征向量，里面涉及到m階矩陣運(yùn)算，對(duì)計(jì)算機(jī)要求高，并且運(yùn)算時(shí)間長(zhǎng)。

模版匹配法的優(yōu)點(diǎn)是如果模板做的比較準(zhǔn)確，匹配不正確的概率就會(huì)很小，并且模板不匹配的情況也很少。缺點(diǎn)是因?yàn)閳D像上的每一個(gè)點(diǎn)都要進(jìn)行匹配計(jì)算，對(duì)計(jì)算機(jī)配置要求高，并且對(duì)噪聲比較敏感，如果識(shí)別時(shí)有很大的噪聲，將不利于圖像的識(shí)別。

4 總結(jié)

本文深入分析了統(tǒng)計(jì)法、句法識(shí)別法、神經(jīng)網(wǎng)絡(luò)法、模糊集識(shí)別法、支持向量機(jī)法和模版匹配法等幾種主要圖像分類識(shí)別方法，并對(duì)各種分類識(shí)別方法的優(yōu)勢(shì)與缺陷做了深入的總結(jié)。通過分析各類圖像分類識(shí)別方法，明確各類識(shí)別方法的優(yōu)勢(shì)與缺陷，為圖像分類識(shí)別方法的具體應(yīng)用奠定基礎(chǔ)。

參考文獻(xiàn)：

[1] ?？?基于特征提取及神經(jīng)網(wǎng)絡(luò)的圖像分類識(shí)別與目標(biāo)跟蹤[D].西安：西安電子科技大學(xué)，2008.

第7篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

關(guān)鍵詞PID控制；BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；參數(shù)優(yōu)化

1引言

由于常規(guī)PID控制具有魯棒性好，結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)，在工業(yè)控制中得到了廣泛的應(yīng)用。PID控制的基本思想是將P（偏差的比例），I（偏差的積分）和D（偏差的微分）進(jìn)線性組合構(gòu)成控制器，對(duì)被控對(duì)象進(jìn)行控制。所以系統(tǒng)控制的優(yōu)劣取決于這三個(gè)參數(shù)。但是常規(guī)PID控制參數(shù)往往不能進(jìn)行在線調(diào)整，難以適應(yīng)對(duì)象的變化，另外對(duì)高階或者多變量的強(qiáng)耦合過程，由于整定條件的限制，以及對(duì)象的動(dòng)態(tài)特性隨著環(huán)境等的變化而變化，PID參數(shù)也很難達(dá)到最優(yōu)的狀態(tài)。

神經(jīng)網(wǎng)絡(luò)具有自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，提出了利用BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，對(duì)控制器參數(shù)進(jìn)行在線調(diào)整，以滿足控制要求。由于BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程較慢，可能導(dǎo)致局部極小點(diǎn)[2]。本文提出了改進(jìn)的BP算法，將遺傳算法和BP算法結(jié)合對(duì)網(wǎng)絡(luò)閾值和權(quán)值進(jìn)行優(yōu)化，避免權(quán)值和閾值陷入局部極小點(diǎn)。

2加熱爐的PID控制

加熱爐控制系統(tǒng)如圖1所示，控制規(guī)律常采用PID控制規(guī)律。

圖1加熱爐控制系統(tǒng)簡(jiǎn)圖

若加熱爐具有的數(shù)學(xué)模型為：

則PID控制過程箭圖可以用圖2表示。

其中，

采用經(jīng)典參數(shù)整定方法——臨界比例度對(duì)上述閉環(huán)系統(tǒng)進(jìn)行參數(shù)整定，確定PID控制器中Kp=2.259，Ki=0.869，Kd=0.276。參考輸入為單位階躍信號(hào)，仿真曲線如圖3所示。

圖2PID控制系統(tǒng)

圖3Z—N整定的控制曲線

仿真曲線表明，通過Z—N方法整定的參數(shù)控制效果不佳，加上PID參數(shù)不易實(shí)現(xiàn)在線調(diào)整，所以該方法不宜用于加熱爐的在線控制。

3基于遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)PID控制器參數(shù)優(yōu)化整定

對(duì)于加熱爐控制系統(tǒng)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)自整定PID控制，它不依賴對(duì)象的模型知識(shí)，在網(wǎng)絡(luò)結(jié)構(gòu)確定之后，其控制功能能否達(dá)到要求完全取決于學(xué)習(xí)算法。

3.1遺傳算法改進(jìn)的BP算法實(shí)現(xiàn)

一般BP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其算法步驟為：

（1）輸入訓(xùn)練樣本，按網(wǎng)絡(luò)結(jié)構(gòu)得到輸出；

（2）將實(shí)際輸出與希望輸出比較，得到誤差，根據(jù)誤差調(diào)節(jié)閾值和權(quán)值。重復(fù)兩個(gè)步驟，直到誤差滿足要求為止；

研究表明，采用上述BP算法逐步調(diào)整權(quán)值和閾值，可能導(dǎo)致學(xué)習(xí)過程收殮速度慢，訓(xùn)練時(shí)間過長(zhǎng)，又易陷入局部極小點(diǎn)而得不到最佳的權(quán)值和閾值分布。為了加快學(xué)習(xí)速率，已經(jīng)有了一些優(yōu)化BP算法[3]，采用動(dòng)態(tài)學(xué)習(xí)因子和慣性因子。這些方法在加快網(wǎng)絡(luò)收殮速度方面比較顯著，能較好地避免網(wǎng)絡(luò)陷入局部極小。遺傳算法不要求目標(biāo)函數(shù)具有連續(xù)性，而且可以對(duì)復(fù)雜的多峰的，非線性及不可微的函數(shù)實(shí)現(xiàn)全局尋優(yōu)，因此容易得到全局最優(yōu)解或性能很好的次優(yōu)解。將遺傳算法和BP算法相結(jié)合可以具有尋優(yōu)的全局性和精確性。算法過程為：

（1）對(duì)權(quán)值和閾值編碼生成初始種群，由于是多參數(shù)優(yōu)化問題，采用多參數(shù)映射編碼；

（2）計(jì)算適應(yīng)度值；

（3）如果不滿足遺傳算法停止條件，則對(duì)當(dāng)代種群進(jìn)行交叉、選擇和變異產(chǎn)生新的個(gè)體，轉(zhuǎn)(2)；否則，轉(zhuǎn)（4）；

（4）對(duì)遺傳算法找到的較好的解空間，采用BP算法在這些小的解空間中搜索出最優(yōu)解。

3.2PID參數(shù)優(yōu)化

由圖5可知，神經(jīng)網(wǎng)絡(luò)根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，通過在線調(diào)整PID的三個(gè)參數(shù)Kp，Ki，Kd，以達(dá)到某種性能指標(biāo)的最優(yōu)化。

圖5BP網(wǎng)絡(luò)整定PID參數(shù)原理圖

經(jīng)典增量式PID的控制算法：

算法步驟：

(1)確定網(wǎng)絡(luò)結(jié)構(gòu)，采用3—4—3的結(jié)構(gòu)，輸入分別為e(k)，e(k)-e(k-1)，e(k)-2e(k-1)+e(k-2)。輸出為Kp，Ki，Kd。

(2)選擇初始種群N=60，交叉概率Pc=0.08，權(quán)值，閾值的范圍和初始化。選取目標(biāo)函數(shù)為（偏差絕對(duì)值積分）：，適應(yīng)度函數(shù)為：

(3)采樣得到rin（k）和yout（k），計(jì)算該時(shí)刻的誤差。

(4)對(duì)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，在線調(diào)整權(quán)值，閾值，計(jì)算神經(jīng)網(wǎng)絡(luò)的各層輸入，輸出，得到三個(gè)可調(diào)參數(shù)Kp，Ki，Kd。計(jì)算系統(tǒng)輸出。

(5)計(jì)算適應(yīng)度若不滿足要求，轉(zhuǎn)入第（3）步。

(6)找到最優(yōu)的Kp，Ki，Kd，對(duì)系統(tǒng)仿真。

圖6BP網(wǎng)絡(luò)整定的控制曲線

仿真結(jié)果顯示，用BP神經(jīng)網(wǎng)絡(luò)整定的PID控制系統(tǒng)比經(jīng)典的Z—N（臨界比例度）法有更快的響應(yīng)特性，良好的動(dòng)態(tài)特性和比較強(qiáng)的魯棒性。

4結(jié)束語

由于神經(jīng)網(wǎng)絡(luò)具有自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，本文提出的優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法對(duì)控制器參數(shù)進(jìn)行尋優(yōu)，可根據(jù)對(duì)象的變化情況對(duì)控制器參數(shù)的在線調(diào)整，滿足控制對(duì)象的動(dòng)態(tài)特性隨著環(huán)境變化而變化的要求。達(dá)到好的控制效果。遺傳算法與BP網(wǎng)絡(luò)的結(jié)合彌補(bǔ)了BP網(wǎng)絡(luò)學(xué)習(xí)過程收斂速度慢，可能陷入局部級(jí)小的不足。

參考文獻(xiàn)

[1]王樹青等編著.工業(yè)過程控制工程[M].北京：化學(xué)工業(yè)出版社，2002

[2]李士勇著.模糊控制、神經(jīng)控制和智能控制論[M].哈爾濱：哈爾并工業(yè)大學(xué)出版社，1996

[3]胡志軍，王建國(guó)，王鴻斌.基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的PID控制研究與仿真[J].微電子學(xué)與計(jì)算機(jī)2006，23(12)：138—140

[4]張文修著.遺傳算法的數(shù)學(xué)基礎(chǔ)[M].西安：西安交通大學(xué)出版社，2003

第8篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

人工神經(jīng)網(wǎng)絡(luò)（Aartificial Neural Network，下簡(jiǎn)稱ANN）是模擬生物神經(jīng)元的結(jié)構(gòu)而提出的一種信息處理方法。早在1943年，已由心理學(xué)家Warren S.Mcculloch和數(shù)學(xué)家Walth H.Pitts提出神經(jīng)元數(shù)學(xué)模型，后被冷落了一段時(shí)間，80年代又迅猛興起［1］。ANN之所以受到人們的普遍關(guān)注，是由于它具有本質(zhì)的非線形特征、并行處理能力、強(qiáng)魯棒性以及自組織自學(xué)習(xí)的能力。其中研究得最為成熟的是誤差的反傳模型算法（BP算法，Back Propagation），它的網(wǎng)絡(luò)結(jié)構(gòu)及算法直觀、簡(jiǎn)單，在工業(yè)領(lǐng)域中應(yīng)用較多。

經(jīng)訓(xùn)練的ANN適用于利用分析振動(dòng)數(shù)據(jù)對(duì)機(jī)器進(jìn)行監(jiān)控和故障檢測(cè)，預(yù)測(cè)某些部件的疲勞壽命［2］。非線形神經(jīng)網(wǎng)絡(luò)補(bǔ)償和魯棒控制綜合方法的應(yīng)用（其魯棒控制利用了變結(jié)構(gòu)控制或滑動(dòng)模控制），在實(shí)時(shí)工業(yè)控制執(zhí)行程序中較為有效［3］。人工神經(jīng)網(wǎng)絡(luò)（ANN）和模糊邏輯（Fuzzy Logic）的綜合，實(shí)現(xiàn)了電動(dòng)機(jī)故障檢測(cè)的啟發(fā)式推理。對(duì)非線形問題，可通過ANN的BP算法學(xué)習(xí)正常運(yùn)行例子調(diào)整內(nèi)部權(quán)值來準(zhǔn)確求解［4］。

因此，對(duì)于電力系統(tǒng)這個(gè)存在著大量非線性的復(fù)雜大系統(tǒng)來講，ANN理論在電力系統(tǒng)中的應(yīng)用具有很大的潛力，目前已涉及到如暫態(tài)，動(dòng)穩(wěn)分析，負(fù)荷預(yù)報(bào)，機(jī)組最優(yōu)組合，警報(bào)處理與故障診斷，配電網(wǎng)線損計(jì)算，發(fā)電規(guī)劃，經(jīng)濟(jì)運(yùn)行及電力系統(tǒng)控制等方面［5］。

本文介紹了一種基于人工神經(jīng)網(wǎng)絡(luò)（ANN）理論的保護(hù)原理。

1、人工神經(jīng)網(wǎng)絡(luò)理論概述

BP算法是一種監(jiān)控學(xué)習(xí)技巧，它通過比較輸出單元的真實(shí)輸出和希望值之間的差別，調(diào)整網(wǎng)絡(luò)路徑的權(quán)值，以使下一次在相同的輸入下，網(wǎng)絡(luò)的輸出接近于希望值。

在神經(jīng)網(wǎng)絡(luò)投運(yùn)前，就應(yīng)用大量的數(shù)據(jù)，包括正常運(yùn)行的、不正常運(yùn)行的，作為其訓(xùn)練內(nèi)容，以一定的輸入和期望的輸出通過BP算法去不斷修改網(wǎng)絡(luò)的權(quán)值。在投運(yùn)后，還可根據(jù)現(xiàn)場(chǎng)的特定情況進(jìn)行現(xiàn)場(chǎng)學(xué)習(xí)，以擴(kuò)充ANN內(nèi)存知識(shí)量。從算法原理看，并行處理能力和非線性功能是BP算法的一大優(yōu)點(diǎn)。

2、神經(jīng)網(wǎng)絡(luò)型繼電保護(hù)

神經(jīng)網(wǎng)絡(luò)理論的保護(hù)裝置，可判別更復(fù)雜的模式，其因果關(guān)系是更復(fù)雜的、非線性的、模糊的、動(dòng)態(tài)的和非平穩(wěn)隨機(jī)的。它是神經(jīng)網(wǎng)絡(luò)（ANN）與專家系統(tǒng)（ES）融為一體的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)，其中，ANN是數(shù)值的、聯(lián)想的、自組織的、仿生的方式，ES是認(rèn)知的和啟發(fā)式的。

文獻(xiàn)［1］認(rèn)為全波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確性方面優(yōu)于利用半波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)，因此保護(hù)應(yīng)選用全波數(shù)據(jù)窗。

ANN保護(hù)裝置出廠后，還可以在投運(yùn)單位如網(wǎng)調(diào)、省調(diào)實(shí)驗(yàn)室內(nèi)進(jìn)行學(xué)習(xí)，學(xué)習(xí)內(nèi)容針對(duì)該省的保護(hù)的特別要求進(jìn)行（如反措）。到現(xiàn)場(chǎng)，還可根據(jù)該站的干擾情況進(jìn)行反誤動(dòng)、反拒動(dòng)學(xué)習(xí)，特別是一些常出現(xiàn)波形間斷的變電站內(nèi)的高頻保護(hù)。

3、結(jié)論

本文基于現(xiàn)代控制技術(shù)提出了人工神經(jīng)網(wǎng)絡(luò)理論的保護(hù)構(gòu)想。神經(jīng)網(wǎng)絡(luò)軟件的反應(yīng)速度比純數(shù)字計(jì)算軟件快幾十倍以上，這樣，在相同的動(dòng)作時(shí)間下，可以大大提高保護(hù)運(yùn)算次數(shù)，以實(shí)現(xiàn)在時(shí)間上即次數(shù)上提高冗余度。

一套完整的ANN保護(hù)是需要有很多輸入量的，如果對(duì)某套保護(hù)來說，區(qū)內(nèi)、區(qū)外故障時(shí)其輸入信號(hào)幾乎相同，則很難以此作為訓(xùn)練樣本訓(xùn)練保護(hù)，而每套保護(hù)都增多輸入量，必然會(huì)使保護(hù)、二次接線復(fù)雜化。變電站綜合自動(dòng)化也許是解決該問題的一個(gè)較好方法，各套保護(hù)通過總線聯(lián)網(wǎng)，交換信息，充分利用ANN的并行處理功能，每套保護(hù)均對(duì)其它線路信息進(jìn)行加工，以此綜合得出動(dòng)作判據(jù)。每套保護(hù)可把每次錄得的數(shù)據(jù)文件，加上對(duì)其動(dòng)作正確性與否的判斷，作為本身的訓(xùn)練內(nèi)容，因?yàn)榧词褂袝r(shí)人工分析也不能區(qū)分哪些數(shù)據(jù)特征能使保護(hù)不正確動(dòng)作，特別是高頻模擬量。

神經(jīng)網(wǎng)絡(luò)的硬件芯片現(xiàn)在仍很昂貴，但技術(shù)成熟時(shí)，應(yīng)利用硬件實(shí)現(xiàn)現(xiàn)在的軟件功能。另外，神經(jīng)網(wǎng)絡(luò)的并行處理和信息分布存儲(chǔ)機(jī)制還不十分清楚，如何選擇的網(wǎng)絡(luò)結(jié)構(gòu)還沒有充分的理論依據(jù)。所有這些都有待于對(duì)神經(jīng)網(wǎng)絡(luò)基本理論進(jìn)行深入的研究，以形成完善的理論體系，創(chuàng)造出更適合于實(shí)際應(yīng)用的新型網(wǎng)絡(luò)及學(xué)習(xí)算法［5］。

參考文獻(xiàn)

1、陳炳華。采用模式識(shí)別（智能型）的保護(hù)裝置的設(shè)想。中國(guó)電機(jī)工程學(xué)會(huì)第五屆全國(guó)繼電保護(hù)學(xué)術(shù)會(huì)議，［會(huì)址不詳］，1993

2、Robert E.Uhrig.Application of Artificial Neural Networks in Industrial Technology.IEEE Trans，1994，10（3）。（1）：371～377

3、Lee T H，Wang Q C，Tan W K.A Framework for Robust Neural Network-Based Control of Nonlinear Servomechannisms.IEEE Trans，1993，3（2）。（3）：190～197

第9篇：神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

中圖分類號(hào):TP39文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-3973(2010)06-061-02

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò),其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網(wǎng)絡(luò)的學(xué)習(xí)算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡(luò),設(shè)k為迭代次數(shù),則每一次權(quán)值和閾值的修正案下式進(jìn)行:

式中:w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)= 為第k次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)個(gè)權(quán)值或閾值的梯度向量。負(fù)號(hào)代表梯度的反方向,即梯度的最速下降方向。 為學(xué)習(xí)速率,在訓(xùn)練時(shí)事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,其默認(rèn)值為0.01,可以通過改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù),在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均誤差MSE(mean square error):

根據(jù)(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權(quán)值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因?yàn)榉聪騻鞑ニ惴ǖ膽?yīng)用廣泛,所以已經(jīng)開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎(chǔ)上修改公式(2.1)的權(quán)值更新法則,即引入沖量因子,并且0≤

標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時(shí),只按照第K步的負(fù)梯度方向進(jìn)行修正,而沒有考慮到以前積累的經(jīng)驗(yàn),即以前時(shí)刻的梯度方向,從而常常使學(xué)習(xí)過程發(fā)生振蕩,收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是:將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上,作為本次的實(shí)際權(quán)值調(diào)整量,即公式(2.3)所示:是沖量系數(shù),通常0≤

(3)學(xué)習(xí)率可變的BP算法(variable learnling rate backpropagation,VLBP)

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng),學(xué)習(xí)率選得太小,收斂慢;反之,則有可能修正的過頭,導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法,在訓(xùn)練的過程中,力求使算法穩(wěn)定,而同時(shí)又使學(xué)習(xí)的不長(zhǎng)盡量地大,學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過乘上一個(gè)相應(yīng)的增量因子來調(diào)整學(xué)習(xí)率的大小。即公式(2.5)所示:

其中:為使步長(zhǎng)增加的增量因子,為使步長(zhǎng)減小的增量因子; 為學(xué)習(xí)率。

3 建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

BP預(yù)測(cè)模型的設(shè)計(jì)主要有輸入層、隱含層、輸出層及各層的個(gè)數(shù)和層與層之間的傳輸函數(shù)。

(1)網(wǎng)絡(luò)層數(shù)

BP有一個(gè)輸入層和一個(gè)輸出層,但可以包含多個(gè)隱含層。但理論的上已證明,在不限制隱含層節(jié)點(diǎn)的情況下,只有一個(gè)隱含層的BP就可以實(shí)現(xiàn)任意非線性映射。

(2)輸入層和輸出層的節(jié)點(diǎn)數(shù)

輸入層是BP的第一層,它的節(jié)點(diǎn)數(shù)由輸入的信號(hào)的維數(shù)決定,這里輸入層的個(gè)數(shù)為3;輸出層的節(jié)點(diǎn)數(shù)取決于BP的具體應(yīng)用有關(guān),這里輸出節(jié)點(diǎn)為1。

(3)隱含層的節(jié)點(diǎn)數(shù)

隱含層節(jié)點(diǎn)數(shù)的選擇往往是根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己的進(jìn)行的實(shí)驗(yàn)來確定的。根據(jù)前人經(jīng)驗(yàn),可以參考以下公式設(shè)計(jì):

其中:n為隱含層節(jié)點(diǎn)數(shù);m為輸入節(jié)點(diǎn)數(shù);t為輸出節(jié)點(diǎn)數(shù);a為1~10之間的常數(shù)。根據(jù)本文要預(yù)測(cè)的數(shù)據(jù)及輸入和輸出節(jié)點(diǎn)的個(gè)數(shù),則取隱含層個(gè)數(shù)為10。

(4)傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù):

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù),那么整個(gè)網(wǎng)絡(luò)的輸出就會(huì)限制在0~1之間的連續(xù);而如果選的是Pureline函數(shù),那么整個(gè)網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的MATLAB仿真實(shí)驗(yàn)

(1)樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來源于中國(guó)歷年國(guó)內(nèi)生產(chǎn)總值統(tǒng)計(jì)表,為了讓樣本數(shù)據(jù)在同一數(shù)量級(jí)上,首先對(duì)BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理:將原樣本數(shù)據(jù)乘上,同時(shí)將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測(cè)試樣本集,1991~1999年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集,即1991~1998年訓(xùn)練樣本作為訓(xùn)練輸入;1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出;1992~2000年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測(cè)試樣本集,即1992~1999年的測(cè)試樣本作為測(cè)試輸入,2000年測(cè)試樣本數(shù)據(jù)作為測(cè)試輸出。

(2)確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù),如第3節(jié)所述,本文選取S函數(shù)(tansig)和線性函數(shù)(purelin)。

(3)設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

(4)設(shè)定BP的學(xué)習(xí)精度為0.001;BP的學(xué)習(xí)率為0.1。

(5)創(chuàng)建BP結(jié)構(gòu)如圖4所示;訓(xùn)練BP的結(jié)果圖5所示:

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計(jì)的網(wǎng)絡(luò)模型相符,且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時(shí),就打到了學(xué)習(xí)精度0.000997788,其學(xué)習(xí)速度比較快。

(6)測(cè)試BP神經(jīng)網(wǎng)絡(luò)

通過MATLAB對(duì)測(cè)試樣本數(shù)據(jù)進(jìn)行仿真,與實(shí)際的2000年我國(guó)三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見表1),說明BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是可行的。、

5總結(jié)

總之,在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中,BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類、數(shù)據(jù)壓縮等。通過本文可以體現(xiàn)出MATLAB語言在編程的高效、簡(jiǎn)潔和靈活。雖然BP在預(yù)測(cè)方面有很多的優(yōu)點(diǎn),但其還有一定的局限性,還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn):

[1]周開利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京:清華大學(xué)出版社,2005.7.

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京:機(jī)械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機(jī)械工業(yè)出版社,2003.1.