神經(jīng)網(wǎng)絡的反向傳播精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡的反向傳播主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞 BP神經(jīng)網(wǎng)絡 數(shù)據(jù)挖掘 最速下降法 函數(shù)逼近 模式識別
中圖分類號：TP391 文獻標識碼：A
1研究背景
BP神經(jīng)網(wǎng)絡是一種多層的前饋網(wǎng)絡而且它的學習算法是一種誤差逆向傳播算法。BP神經(jīng)網(wǎng)絡是目前研究最為成熟、應用最為廣泛的人工神經(jīng)網(wǎng)絡模型之一。由于其結(jié)構簡單、可操作性強、具有較好的自學習能力、能夠有效地解決非線性目標函數(shù)的逼近問題等優(yōu)點，因此被廣泛應用于自動控制、模式識別、圖像識別、信號處理、預測、函數(shù)擬合、系統(tǒng)仿真等學科和領域中。
2 BP神經(jīng)網(wǎng)絡原理
2.1概述
BP神經(jīng)網(wǎng)絡是一種反向傳播誤差算法然后訓練的一個多層前饋網(wǎng)絡，簡稱為BP算法，它應用在已被開發(fā)出來的神經(jīng)網(wǎng)絡中，到目前為止是應用最為廣泛的網(wǎng)絡模型之一。BP神經(jīng)網(wǎng)絡可以學習并且存儲非常多的輸入模式與輸出模式之間的映射關系，卻無需在學習和存儲前事先揭示并描述輸入輸出間的映射關系的一種數(shù)學方程。它使用最速下降法，通過對輸出誤差的反向傳播，獲得不斷調(diào)整網(wǎng)絡連接權系數(shù)和閾值的信息，最終使神經(jīng)網(wǎng)絡的平方誤差最小，達到期望要求。
2.2 BP神經(jīng)網(wǎng)絡結(jié)構
BP神經(jīng)網(wǎng)絡模型是一個三層網(wǎng)絡，它的拓撲結(jié)構可被劃分為：輸入層、輸出層、隱含層。其中輸入層與輸出層具有更重要的意義，因此它也可以為兩層網(wǎng)絡結(jié)構（把隱含層劃入輸入層或者把隱含層去掉）。每層都由許多簡單的能夠執(zhí)行并行運算的神經(jīng)元組成，這些神經(jīng)元與生物系統(tǒng)中的那些神經(jīng)元非常類似，但其并行性并沒有生物神經(jīng)元的并行性高。BP神經(jīng)網(wǎng)絡是一個前饋網(wǎng)絡，因此它具有前饋網(wǎng)絡所具有的特性：相鄰兩層之間的全部神經(jīng)元進行互相連接，而處于同一層的神經(jīng)元不能進行聯(lián)接。
2.3 BP算法原理
BP神經(jīng)網(wǎng)絡的基本原理是把一個輸入矢量經(jīng)過隱含層的一系列變換，然后得到一個輸出矢量，從而實現(xiàn)輸入數(shù)據(jù)與輸出數(shù)據(jù)間的一個映射關系。輸入信息的正向傳播，以及輸出誤差的反向傳播，構成了 BP網(wǎng)絡的信息循環(huán)。BP算法根據(jù)輸出誤差來修改各神經(jīng)元連接的連接權系數(shù)，其目的是使輸出誤差達到預計范圍內(nèi)。BP網(wǎng)絡需要實際輸出與期望輸出之間的誤差來確定是否要修改神經(jīng)元連接的連接權系數(shù)。其中，期望輸出便是該網(wǎng)絡意義上的“導師”。BP網(wǎng)絡具有對稱性的網(wǎng)絡結(jié)構，在輸出端的每一個處理單元基本上都具有一個相同的激勵函數(shù)。
BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層單元處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層得不到期望輸出，就轉(zhuǎn)為反向傳播，即：把誤差信號沿連接路徑返回，并通過修改各層神經(jīng)元之間的連接權值，使誤差信號最小。
具體的算法步驟可概括如下：
第一步，選取初始權值、閾值。
第二步，重復下述過程直至滿足性能要求為止：
（1）對于學習樣本P=1到N
①計算每層各節(jié)點j的輸出yj，netj和的值（正向過程）；
②對各層從M層到第二層，對每層各節(jié)點反向計算%]j（反向過程）；
（2）修改權值
具體推導過程見參考文獻4。
3基于BP神經(jīng)網(wǎng)絡設計的實例
3.1函數(shù)逼近
我們設計一個簡單的BP網(wǎng)絡，實現(xiàn)對非線性函數(shù)的逼近。通過改變該函數(shù)的參數(shù)以及BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，來觀察訓練時間以及訓練誤差的變化時間。將要逼近的非線性函數(shù)設為正弦函數(shù)，其頻率參數(shù)k可以調(diào)節(jié)。假設頻率參數(shù)k=2，繪制此函數(shù)的曲線。如圖1。
（1）網(wǎng)絡建立：用MATLAB編程建立BP網(wǎng)絡結(jié)構，為二層BP神經(jīng)網(wǎng)絡。隱層神經(jīng)元數(shù)目n 可以改變，暫時設為n=10，輸出層有一個神經(jīng)元。網(wǎng)絡訓練采用Levenberg-Marquardt算法trainlm。
分析：因為建立網(wǎng)絡時，權值和閾值的初始化是隨機的，所以網(wǎng)絡輸出結(jié)果很差，根本達不到函數(shù)逼近的目的，并且每次運行的結(jié)果也有所不同。
（2）網(wǎng)絡訓練：在MATLAB里應用train（）函數(shù)對網(wǎng)絡進行訓練之前，需要預先設置訓練參數(shù)。將訓練時間設置為50，訓練精度設置為0.01，其余參數(shù)用默認值。
（3）網(wǎng)絡測試：對于訓練好的網(wǎng)絡進行仿真，繪制網(wǎng)絡輸出曲線，并與原始非線性函數(shù)曲線相比較，結(jié)果如下圖2。
由此可看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓練后，BP網(wǎng)絡對非線性函數(shù)的逼近效果非常好。
（4）討論分析：改變非線性函數(shù)的頻率和BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，對于函數(shù)逼近的效果有一定的影響。網(wǎng)絡非線性程度越高，對BP網(wǎng)絡的要求越高，則相同的網(wǎng)絡逼近效果要差一些；隱性神經(jīng)元的數(shù)目對于網(wǎng)絡逼近效果也有一定的影響，一般來說隱形神經(jīng)元數(shù)目越多，則BP網(wǎng)絡逼近非線性函數(shù)的能力越強，同時網(wǎng)絡訓練所用的時間相對來說也要長一些。
參考文獻
[1] 閆志忠.BP神經(jīng)網(wǎng)絡模型的改進及其應用研究[D].吉林大學，2003.
[2] 李友坤.BP神經(jīng)網(wǎng)絡的研究分析及改進應用[D].安徽理工大學，2012.
[3] 吳昌友.神經(jīng)網(wǎng)絡的研究及應用[D].東北農(nóng)業(yè)大學， 2007.
第2篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞：BP神經(jīng)網(wǎng)絡；電力工程；異常數(shù)據(jù)識別技術
BP神經(jīng)網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡，信號從輸入層到隱含層，再到輸出層得到期望輸出。期望輸出同實際值做比較，若得不到所期望的值，則誤差反向傳播，調(diào)節(jié)網(wǎng)絡的權值和閾值。BP神經(jīng)網(wǎng)絡作為一種引入隱含層神經(jīng)元的采用多層感知器的神經(jīng)網(wǎng)絡模型，主要由輸入層、中間層和輸出層3 個部分組成。其中，中間層即隱含層，可以是一層或多層結(jié)構。
1 BP神經(jīng)網(wǎng)絡概述
BP神經(jīng)網(wǎng)絡是人工神經(jīng)網(wǎng)絡的分類中的多層前饋型神經(jīng)網(wǎng)絡。BP神經(jīng)網(wǎng)絡的主要特征為傳遞信號向前傳播，而誤差反向向后傳播。BP神經(jīng)網(wǎng)絡在工作時，信息從輸入層通過隱含層到達輸出層。輸出層達不到所期望的信號，將誤差反向傳播，從而根據(jù)誤差不斷調(diào)整BP神經(jīng)網(wǎng)絡的閾值和權重，從而使BP神經(jīng)網(wǎng)絡的輸出值不斷逼近期望值。
2系統(tǒng)設計
該異常數(shù)據(jù)識別系統(tǒng)利用神經(jīng)網(wǎng)絡對電力系統(tǒng)異常進行識別，實際上是利用神經(jīng)網(wǎng)絡可以以任意精度逼近任一非線性函數(shù)的特性以及通過學習歷史數(shù)據(jù)建模的特點。在各種類型的神經(jīng)網(wǎng)絡中，BP神經(jīng)網(wǎng)絡具有輸入延遲，適合于電力系統(tǒng)異常數(shù)據(jù)識別。根據(jù)電力系統(tǒng)運行的歷史數(shù)據(jù)，設定神經(jīng)網(wǎng)絡的輸入、輸出節(jié)點，以反映系統(tǒng)運行的內(nèi)在規(guī)律，實現(xiàn)識別數(shù)據(jù)異常的目的。所以，利用神經(jīng)網(wǎng)絡對電力系統(tǒng)異常數(shù)據(jù)進行識別，主要就是要設定神經(jīng)網(wǎng)絡的輸入、輸出節(jié)點使其能反映電力系統(tǒng)運行規(guī)律。
3訓練樣本
在BP神經(jīng)網(wǎng)絡模型中，在選擇樣本時，一定要盡可能的表達出系統(tǒng)中全部可能發(fā)生的情況所對應的狀態(tài)，這樣才能表現(xiàn)出來動力參數(shù)與實際測量數(shù)據(jù)一一對應的映射關系。將需要進行反分析的動力參數(shù)作為因素，要在每一個因素里面的各種組合中均要做試驗。假設在一組設計試驗中，有n個因素，并且它自身又有l(wèi)1 ，l2 ，......，ln個水平，那么在進行全面試驗時，至少需要做每個水平之積次試驗。當因素及其自身對應的水平數(shù)量不太多時，運用這種算法是比較準確的。但是，隨著因素及其對應的水平越來越多，需要做的試驗次數(shù)也要幾何級數(shù)般增長。因此，在BP神經(jīng)網(wǎng)絡的學習過程中，如果選擇合適、合理的方法選擇樣本就十分重要。
4 BP網(wǎng)絡模型與訓練算法
BP（BackPropagation，后向傳播）神經(jīng)網(wǎng)絡全稱又叫作誤差反向傳播（errorBackPropagation）網(wǎng)絡。它是一種采用BP算法訓練的多層前饋神經(jīng)網(wǎng)絡，每層網(wǎng)絡均包含一個或多個M-P神經(jīng)單元構成。M-P神經(jīng)單元結(jié)構，xi表示第i個輸入值，wi為該輸入值的權重，θ為該神經(jīng)元的閾值，y為該神經(jīng)元輸出值。其中，即神經(jīng)元將n個維度的輸入值加權相加后與神經(jīng)元的閾值進行比較，然后將比較值通過激活函數(shù)f處理后進行輸出。BP網(wǎng)絡通過不同網(wǎng)絡層間神經(jīng)元的全連接構成。在網(wǎng)絡訓練學習過程中，BP算法將輸入數(shù)據(jù)通過輸入層進行輸入，并經(jīng)過隱藏層計算后由輸出層進行輸出。接著輸出值與標記值進行比較，計算誤差（代價函數(shù)）。最后誤差再反向從輸出層向輸入層傳播，反向傳播過程使用梯度下降算法以目標的負梯度方向來對神經(jīng)網(wǎng)絡上的權重和閾值進行調(diào)整。
5神經(jīng)網(wǎng)絡識別實驗
考察5 種不同類型的神經(jīng)網(wǎng)絡，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根誤差與Perceptron的誤分類率等信息。可以看到，Perceptron神經(jīng)網(wǎng)絡表現(xiàn)不佳，均方根誤差在0.6~0.7 之間；誤分類率在0.1~0.2 之間。Perceptron神經(jīng)網(wǎng)絡對異常數(shù)據(jù)的檢測錯誤與誤分類率較高。隨著隱藏神經(jīng)元數(shù)量的增加，ARTMAP與RBF網(wǎng)絡的性能均會提高。在大多數(shù)情況下，均優(yōu)于Perceptron。BP與PBH網(wǎng)絡具有相似性能，且兩個神經(jīng)網(wǎng)絡始終比其他3 種類型的神經(jīng)網(wǎng)絡表現(xiàn)更優(yōu)。隨著隱藏神經(jīng)元數(shù)量的增加，兩種神經(jīng)網(wǎng)絡錯誤與誤分類率不會降低。
6狼群算法
狼群算法優(yōu)化BP神經(jīng)網(wǎng)絡。狼群算法是一種群智能算法，它通過模仿狼群捕獵的行為來處理優(yōu)化問題。在自然界中，狼在食物鏈中處于捕獵者。狼的外形神似狗和豺，動作迅速，嗅覺靈敏，有天生的捕獵能力。狼群算法最早于2007 年提出，后來有學者發(fā)現(xiàn)其中存在的問題，經(jīng)狼群算法優(yōu)化后提出了新型狼群算法（WCA），最后，2013 年根據(jù)自然界中狼群追捕獵物，捕食，以及分配食物的方式提出的基于狼群群體智能的算法（WPA）。該算法詳細的將狼群內(nèi)的種類分為頭狼、探狼、猛狼三種，并具有圍攻、召喚、奔襲、游走等行為。狼群算法同樣依據(jù)自然界中“勝者為王，適者生存”的更新機制。狼群算法的加入，形成了改進的BP神經(jīng)網(wǎng)絡，防止網(wǎng)絡陷入局部極值點，提高網(wǎng)絡效率。
7遺傳算法
遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡。算法主要包括三部分：初始化BP神經(jīng)網(wǎng)絡結(jié)構、遺傳算法優(yōu)化和BP神經(jīng)網(wǎng)絡識別。其中初始化BP神經(jīng)網(wǎng)絡結(jié)構包括：確定輸入層、隱含層和輸出層節(jié)點個數(shù)，以及初始化網(wǎng)絡的權值和閾值等參數(shù)。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡是將一個網(wǎng)絡中的所有權值和閾值看作種群中的一個個體，然后通過選擇、交叉和變異的操作得到最優(yōu)的個體，即最優(yōu)權值和閾值，并將該組權值閾值賦給BP神經(jīng)網(wǎng)絡作為初始的權值和閾值。最后的BP神經(jīng)網(wǎng)絡識別部分，是利用遺傳算法優(yōu)化的初始權值和閾值來訓練網(wǎng)絡，再利用訓練好的神經(jīng)網(wǎng)絡進行識別。
結(jié)束語
為實現(xiàn)電網(wǎng)工程建設中對異常數(shù)據(jù)的檢測，建立了分布分層的數(shù)據(jù)檢測系統(tǒng)。其是一種使用統(tǒng)計預處理與神經(jīng)網(wǎng)絡分類的異常數(shù)據(jù)檢測算法。通過對5 種不同的神經(jīng)網(wǎng)絡進行對比實驗，可得出結(jié)論：BP與PBH網(wǎng)絡的性能優(yōu)于Perceptron、模糊ARTMAP和RBF等3 種神經(jīng)網(wǎng)絡?？紤]到構建成本最終選取BP神經(jīng)網(wǎng)絡作為系統(tǒng)的神經(jīng)網(wǎng)絡分類器，在此基礎上還進行了系統(tǒng)測試。結(jié)果表明，系統(tǒng)能夠可靠地檢測到異常數(shù)據(jù)，其流量強度僅為背景強度的5%~10%，證明了該系統(tǒng)的有效性。
參考文獻
[1]李慧，陳愷妍.基于神經(jīng)網(wǎng)絡的電力計量故障診斷研究[J].計算機與數(shù)字工程，2020，48(05):1252-1257.
[2]多俊龍，王大眾，崇生生.在電力通信預警中優(yōu)化的BP神經(jīng)網(wǎng)絡模型研究[J].東北電力技術，2020，41(02):13-15+62.
[3]羅寧，高華，賀墨琳.基于神經(jīng)網(wǎng)絡的電力負荷預測方法研究[J].自動化與儀器儀表，2020(01):157-160.
第3篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞：BP神經(jīng)網(wǎng)絡 動量因子法 變步長法 學習速率
1.引言
人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，ANN）是通過對人腦神經(jīng)元建模、聯(lián)結(jié)模擬生物腦或世界系統(tǒng)的網(wǎng)絡模型，是一種具有學習、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。通常研究和使用的十種神經(jīng)網(wǎng)絡模型中，人們較多用的是Hopfield網(wǎng)絡、BP網(wǎng)絡、Kohonen網(wǎng)絡和ART網(wǎng)絡模型。其中的BP神經(jīng)網(wǎng)絡是基于反向傳播（BackPropagation）的網(wǎng)絡，也是神經(jīng)網(wǎng)絡領域中研究最多、應用最廣的網(wǎng)絡模型。它采用最小均方差的學習方式，可用于函數(shù)逼近及語言綜合、識別和自適應控制等。
2.標準BP神經(jīng)網(wǎng)絡算法
BP算法作為前饋網(wǎng)絡的主要學習算法，對神經(jīng)網(wǎng)絡的推廣應用起了舉足輕重的促進作用。標準的BP網(wǎng)絡，優(yōu)化計算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經(jīng)網(wǎng)絡訓練中，主要是針對一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價函數(shù)達到最小。其簡單的實現(xiàn)步驟為：（1）通過網(wǎng)絡輸入反向傳播；（2）通過網(wǎng)絡將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權值和偏置值。
標準的BP算法因具有簡單、易行、計算量小及并行性強等優(yōu)點，是目前神經(jīng)網(wǎng)絡訓練采用最多、最成熟的訓練算法。由于BP網(wǎng)絡中待尋優(yōu)的參數(shù)太多，往往導致算法收斂速度慢。對于復雜問題，訓練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標準的BP網(wǎng)絡在很大程度上實用性不強，尤其對于實時性很強的系統(tǒng)而言。
3.BP算法的改進
BP多層前饋網(wǎng)絡已成為神經(jīng)網(wǎng)絡的重要模型之一，但實際上的BP多層前饋網(wǎng)絡并不是利用標準的BP算法對網(wǎng)絡進行訓練的，而是對BP算法進行了啟發(fā)式改進。
（1）增加動量因子法
BP算法的神經(jīng)網(wǎng)絡的誤差曲面具有不同的區(qū)域有不同的誤差改變率的特點。假若開始訓練的學習速率較高，那么算法的收斂速度可能很快。但當?shù)M入的區(qū)域包含極小點時，此時算法發(fā)散，來回振蕩，收斂不到極小值點。如果用平均改變參數(shù)的方法進行軌跡的過濾，就可以對震蕩進行平滑并可產(chǎn)生穩(wěn)定的軌跡。當動量濾波器的參數(shù)得到了改變，獲取反向傳播的動量，使用了動量項，可以在保證算法較為穩(wěn)定的前提下，在網(wǎng)絡訓練進入局部最小值時產(chǎn)生一個繼續(xù)向前的正向斜率運動，使得搜索能夠跳出較淺的峰值；當網(wǎng)絡搜索位于誤差曲面平坦區(qū)的區(qū)域時，該方法能夠較快地提高訓練速度。
（2）變步長法
變步長法通過調(diào)整網(wǎng)絡訓練的學習率，故也稱為可變學習速率的方法。BP算法中對連接權值的調(diào)整，取決于兩個因子，即學習速率和梯度。其中通過調(diào)整學習速率提高算法收斂收率的方法，是當前認為最簡單、有效的方法。學習率不能隨意選取，選得太小，收斂會變慢；選得太大，可能調(diào)整過多，使得算法振蕩或發(fā)散。所以，在對學習率進行調(diào)整時，一般遵循的準則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學習率的值選取偏小，可以作為對學習率調(diào)整的參考；否則，學習率值調(diào)整過大，就應該對該值進行減小。增加可變速率參數(shù)后，得到改進的BP算法如下：
①如果整個訓練集上的均方誤差權值在更新后增加的，且該值超過了預設的某個百分數(shù)，如：1%～5%，則不對權值進行更新。學習速率被乘以一個大于零且小于1的因子，并且動量系數(shù)被設置為0。
②如果均方誤差在權值更新后變小了，則接受權值更新。學習速度將被乘以一個大于1的因子。假若學習率被設置為0，則恢復之原來的值。
③如果均方誤差的增長變小，則權值更新被接受，但學習速度保持不變。如果學習率過去被設置為0，則恢復到以前的值。
4.實驗結(jié)果
分別對目標誤差為0.001的網(wǎng)絡訓練。實驗結(jié)果如下：
（1）采用標準BP網(wǎng)對樣本進行訓練，迭代次數(shù)近5000次尚未收斂。
（2）采用增加動量法，迭代375次，學習過程收斂。
（3）采用變步長法，迭代1728次收斂。
由此可見，未改進的標準BP學習算法存在收斂速度慢的缺陷；改進后的BP學習算法都從不同程度上提高了算法的收斂速度，訓練的次數(shù)大大減小了。對BP算法采用啟發(fā)式改進措施后，明顯提高了學習速度。
第4篇：神經(jīng)網(wǎng)絡的反向傳播范文
【關鍵詞】噸煤單耗 因素 BP神經(jīng)網(wǎng)絡 MATLAB仿真
1 引言
噸煤單耗是煤炭加工企業(yè)組織生產(chǎn)考核指標中的一項非常重要考核內(nèi)容，它指的是輸送或破碎環(huán)節(jié)中每輸送或破碎一噸煤所消耗的電量。噸煤單耗與系統(tǒng)的運行時間、煤炭輸送量、原煤破碎量、線路損耗、系統(tǒng)故障時間以及電量結(jié)算日期等因素有著密切的關系。據(jù)統(tǒng)計，幾年前國內(nèi)多數(shù)煤炭加工企業(yè)對噸煤單耗的計算并未形成一種相對精確的預測模型。我們知道影響噸煤單耗的因素很多，而且這些因素之間并不是簡單的線性函數(shù)關系，基于此種現(xiàn)狀本文將影響噸煤單耗計算的主要因素作為BP神經(jīng)網(wǎng)絡的輸入，利用MATAB仿真軟件對網(wǎng)絡進行自學習式訓練，通過多次訓練建立了可靠的BP神經(jīng)網(wǎng)絡噸煤單耗預測模型，并將2011年、2012年部分實際生產(chǎn)數(shù)據(jù)與預測數(shù)據(jù)進行了對比驗證，分析結(jié)果表明該模型預測的噸煤單耗能夠滿足指導生產(chǎn)實踐、控制成本的要求。
2 BP神經(jīng)網(wǎng)絡預測模型的建立
2.1 BP神經(jīng)網(wǎng)絡的基本原理
在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權值調(diào)整問題的有效算法。直到誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權重調(diào)整問題。BP （Back Propagation）神經(jīng)網(wǎng)絡，即誤差反傳算法的學習過程是由信息的正向傳播和誤差的反向傳播兩個過程組成。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡學習訓練的過程，此過程一直進行到網(wǎng)絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數(shù)為止。本文就是利用其具有較強的非線性映射特性，來預測噸煤單耗的。
2.2 BP神經(jīng)網(wǎng)絡結(jié)構參數(shù)的設計
BP神經(jīng)網(wǎng)絡作為一種多層的前饋網(wǎng)絡，根據(jù)Kolmogorov定理，對于任意給定的一個連續(xù)函數(shù)，都可以用一個三層的前饋網(wǎng)絡以任意精度逼近，其輸入層隱含層各節(jié)點之間，隱含層和輸出層各節(jié)點之間用可調(diào)節(jié)的權值進行連接。本模型將選取一個三層的BP神經(jīng)網(wǎng)絡，從輸入層到隱含層和從隱含層到輸出層的激勵函數(shù)（反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)）分別采用S型函數(shù)和線性函數(shù)。
2.3 各層神經(jīng)元個數(shù)及參數(shù)的確定
2.3.1 網(wǎng)絡輸入層神經(jīng)元個數(shù)的確定
在BP神經(jīng)網(wǎng)絡模型的設計中，輸入和輸出節(jié)點的多少是由具體問題來決定的。在噸煤單耗計算過程中，輸入層神經(jīng)元應選取對噸煤單耗計算有重要影響的幾個因素：系統(tǒng)運行時間（h）、產(chǎn)量（t）、用電量（KW?h）、流程的效率（t/h）這樣本模型的輸入層共計有4個節(jié)點。
2.3.2 網(wǎng)絡輸出層和隱含層神經(jīng)元個數(shù)的確定
輸出層選取噸煤單耗、流程效率作為輸出層神經(jīng)元。
2.4 數(shù)據(jù)處理與訓練樣本的選擇
由于BP神經(jīng)網(wǎng)絡的泛化能力更多地體現(xiàn)在內(nèi)插功能上，對于外部數(shù)據(jù)的泛化能力很差，所以訓練樣本的選取對于能否通過訓練得到合理、精確的模型來說是至關重要的。因此本模型選取了2010年，2011年兩年內(nèi)具有典型性的21組數(shù)據(jù)經(jīng)過神經(jīng)網(wǎng)絡數(shù)據(jù)處理后，20組作為神經(jīng)網(wǎng)絡的訓練樣本，另外1組作為測試樣本。本文中BP神經(jīng)網(wǎng)絡的激勵函數(shù)為Sigmoid函數(shù)，這就要求網(wǎng)絡的輸入輸出量均應在[-1，1]之間。對于連續(xù)值變量，我們需要進行歸一化處理。本文所選的22組數(shù)據(jù)經(jīng)歸一處理后如表1所示（為公司數(shù)據(jù)保密此表只列出了歸一處理后的相應數(shù)據(jù)）：
3 BP神經(jīng)網(wǎng)絡訓練及預測分析
本模型采用MATLAB神經(jīng)網(wǎng)絡.m文件格式調(diào)用BP神經(jīng)網(wǎng)絡算法traingdm函數(shù)對20組歸一化后的數(shù)據(jù)進行BP網(wǎng)絡訓練，學習速率設置為0.04，訓練次數(shù)設置為10000次，目標誤差10-3。
4 結(jié)論
綜上所述，本模型能夠較好的實現(xiàn)基于實際生產(chǎn)數(shù)據(jù)來預測噸煤單耗以及流程效率的功能，同時數(shù)據(jù)也表明用BP神經(jīng)網(wǎng)絡實現(xiàn)這一功能切實可行。通過此模型的建立我們可以通過控制流程的效率來控制噸煤單耗，從而控制實際噸煤單耗在考核指標以內(nèi)，保證公司能夠順利完成全年的生產(chǎn)考核指標。
參考文獻
[1]著作：飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡理論與MATLAB7實現(xiàn)[M].北京：電子工業(yè)出版社，2006（99）.
作者簡介
李忠飛（1981-），通遼市奈曼旗人。研究生學歷。現(xiàn)為內(nèi)蒙古霍林河露天煤業(yè)股份有限公司煤炭加工公司維修一部工程師、控制理論與控制工程專業(yè)電修隊隊長。
第5篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞：人工神經(jīng)網(wǎng)絡 多層感知器 BP算法 異或運算
中圖分類號：TP391.4 文獻標識碼：A 文章編號：1007-9416（2013）03-0138-02
作為一門活躍的邊緣叉學科，神經(jīng)網(wǎng)絡的研究與應用正成為人工智能、認識科學、神經(jīng)生理學、非線性動力學等相關專業(yè)的熱點。近十幾年來，針對神經(jīng)網(wǎng)絡的學術研究大量涌現(xiàn)，上百種神經(jīng)網(wǎng)絡模型被提出，其應用涉及模式識別、聯(lián)想記憶、信號處理、自動控制、組合優(yōu)化、故障診斷及計算機視覺等眾多方面，取得了令人矚目的進展。
經(jīng)過近半個世紀的發(fā)展，神經(jīng)網(wǎng)絡理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領域取得了廣泛的成功。關于學習、聯(lián)想和記憶等具有智能特點過程的機理及其模擬方面的研究正受到越來越多的重視。
學習功能是神經(jīng)網(wǎng)絡最主要的特征之一。各種學習算法的研究，在人工神經(jīng)網(wǎng)絡理論與實踐發(fā)展過程中起著重要作用。當前，人工神經(jīng)網(wǎng)絡研究的許多課題都致力于學習算法的改進、更新和應用。
1958年，美國學者Frank Rosenblatt首次定義了一個具有單層計算單元的神經(jīng)網(wǎng)絡結(jié)構，取名為感知器（Perceptron）。經(jīng)過論證，單層感知器只能進行線性分類，對非線性樣本的劃分無法實現(xiàn)，例如異或問題在二維空間中就是一個非線性的樣本空間分類的問題，就需要用到多層感知器，即網(wǎng)絡應具有隱層，但對隱層神經(jīng)元的學習規(guī)則尚無所知。就感知器學習規(guī)則來說，其權值的調(diào)整取決于網(wǎng)絡期望輸出與實際輸出之差，而對各隱層節(jié)點來說，不存在期望輸出，因而該學習規(guī)則對隱層權值調(diào)整不適用。此時需要用到誤差反向傳播的BP學習規(guī)則。
BP（Back Propagation）網(wǎng)絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。BP網(wǎng)絡能學習和存貯大量的輸入―輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。它的學習規(guī)則是使用梯度法，通過反向傳播來不斷調(diào)整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小。BP神經(jīng)網(wǎng)絡模型拓撲結(jié)構包括輸入層（input layer）、隱層（hide layer）和輸出層（output layer）。
BP算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。正向傳播時，傳播方向為輸入層隱層輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。通過這兩個過程的交替進行，在權向量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權向量，使網(wǎng)絡誤差函數(shù)達到最小值，從而完成信息提取和記憶過程。
BP算法的學習目的是對網(wǎng)絡的連接權值進行調(diào)整，使得調(diào)整后的網(wǎng)絡對任一輸入都能達到所期望的輸出。學習過程由正向傳播與反向傳播組成。正向傳播用于對前向網(wǎng)絡進行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡計算后得出它的輸出結(jié)果；反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權值，以使網(wǎng)絡對于輸入信息經(jīng)過計算后得到的輸出能達到期望的誤差要求。
學習的方法是使用一組訓練樣例對網(wǎng)絡的連接權值進行訓練，每一個樣例中，都包括輸入及期望的輸出兩部分。在正向傳播算法中，首先將訓練樣例的輸入信息輸入到網(wǎng)絡中，輸入信息從輸入層經(jīng)過隱層節(jié)點逐層計算處理后，傳至輸出層。在計算處理過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層得到的結(jié)果不是所期望的輸出，那么就轉(zhuǎn)為反向傳播。
反向傳播把誤差信號沿路徑方向傳回，并按一定的原則對各層神經(jīng)元的權值進行修正，直到第一個隱層，這時再開始進行正向傳播，利用剛才的輸入信息進行正向網(wǎng)絡計算，如果網(wǎng)絡的輸出達到了誤差要求，則學習過程結(jié)束，如果達不到要求，則再進行反向傳播的連接權值調(diào)整。
這一過程不斷反復，直到網(wǎng)絡正向計算的輸出結(jié)果達到誤差要求的結(jié)果為止，這時學習過程結(jié)束。具體算法過程見圖1。一旦網(wǎng)絡進行訓練后，在用于求解實際問題時就只需要使用正向傳播，而不需要使用反向傳播了。
使用BP算法實現(xiàn)異或問題的具體學習過程按以下步驟順序進行：
（1）網(wǎng)絡狀態(tài)初始化：用較小的隨機數(shù)對網(wǎng)絡的權值（Xji）和（Pkj）以及偏置值（θj）和（γk）賦初值。
（2）輸入第一個模式。
（3）把學習模式的值作為輸入層單元i的輸出（Ii），用輸入層到中間層的權值（Xji）和中間層單元的偏置值（θj），求出對中間單元j的輸入Uj以及相應的輸出Hj：
Uj=?Ii +θj，
Hj=f（Uj）。
上式中的f（?）是Sigmoid函數(shù)。
（4）用中間層的輸出（Hj），中間層到輸入層的連接權值（Pkj）以及輸出層單元的偏置值（γk）求出對輸出層單元k的輸入Sk以及相應的輸出Ok：
Sk=?Hj+γk，
Ok=f（Sk）。
（5）根據(jù)學習模式的教師信號Tk和輸出層的輸出Ok的差，求出有關輸入層單元k的偏置值以及連接到其上權值的誤差（δk）：
δk=（Ok-Tk）?Ok?（1- Ok）。
（6）根據(jù)誤差δk，從中間層到輸入層的權值（Xkj）以及中間層的輸出（Hj），求出有關中間層j的偏置值以及連接到其上的權值的誤差（σj）：
σj =?Pkj?Hj?（1-Hj）。
（7）根據(jù)由第（5）步求出的δk以及Hj和常數(shù)α，對從中間層單元j到輸出層單元k的權值（Pkj）加以調(diào)整。另外，根據(jù)δk和常數(shù)β對輸出層單元k的偏置值γk加以調(diào)整：
Pkj=Pkj+αδk Hj，
γk=γk+βδk。
（8）根據(jù)誤差σj，輸入單元i的輸出（Ii）以及常數(shù)α對從輸入單元i到中間層單元j的連接權值（Xji）加以調(diào)整。根據(jù)誤差（σj）和常數(shù)β對中間層單元j的偏置值（θj）加以調(diào)整：
Xji=Xji+ασj Ii，
θj=θj+βσj。
（9）輸入下一個模式。
（10）若有學習模式，則返回（3）。
（11）更新學習次數(shù)。
（12）若學習次數(shù)小于規(guī)定的次數(shù)，則返回（2）。
程序運行過程及結(jié)果：
程序運行后，在提示下輸入“學習率”為0.999，輸入“誤差控制精度”為0.0001，輸入“循環(huán)的最大次數(shù)”為20000，程序執(zhí)行后，可以看到在result.txt中結(jié)果如圖2。
通過這個實例，使用多層感知器解決了單層感知器不能解決的異或問題，也從側(cè)面驗證了BP網(wǎng)絡通過若干簡單非線性處理單元的復合映射，可獲得復雜的非線性處理能力。但是從給入不同的學習率、誤差控制精度和學習次數(shù)得到了不同的結(jié)果，從中也暴露了BP算法的一些局限性。
（1）該學習算法的收斂速度慢，常常需要成千上萬次的迭代，而且隨著訓練樣例的增多，網(wǎng)絡性能會變差；
（2）網(wǎng)絡中隱節(jié)點個數(shù)的選取上無理論上的指導；
（3）從數(shù)學角度上看，BP算法是一種梯度最速下降法，這就有可能出現(xiàn)局部最小的問題。當出現(xiàn)局部最小時，從表面上看，符合誤差的要求，但這時所得到的解并不一定是問題的真正解。所以BP算法是不完備的。
參考文獻
[1]徐麗娜.神經(jīng)網(wǎng)絡控制（第三版）.電子工業(yè)出版社，2009.7.
[2]馬銳.人工神經(jīng)網(wǎng)絡原理.機械工業(yè)出版社，2010.09.
[3]張軍，詹志輝.計算智能.清華大學出版社，2009.11.
[4]楊建剛.人工神經(jīng)網(wǎng)絡實用教程，浙江大學出版社，2001.1.
[5]宋宜斌，王培進.多層前饋神經(jīng)網(wǎng)絡改進算法及其應用.計算機工程，2003.8.
第6篇：神經(jīng)網(wǎng)絡的反向傳播范文
【關鍵詞】BP神經(jīng)網(wǎng)絡；電網(wǎng)物資；需求預測
電網(wǎng)在電力系統(tǒng)中是聯(lián)系發(fā)電設備和用電設施的載體，它主要是由送電線路、變電所、配電所以及配電線路等環(huán)節(jié)組成。近幾年來，隨著我國國民經(jīng)濟的持續(xù)增長，我國的電力事業(yè)得到了飛速發(fā)展，電網(wǎng)電壓等級不斷提高，網(wǎng)絡規(guī)模不斷擴大，電網(wǎng)物資作為影響電網(wǎng)建設至關重要的因素，其管理工作也顯得越來越重要。需求預測的開展，能夠有效提高電力物資的保障能力，同時也能為長期的物資規(guī)劃提供數(shù)據(jù)支持，因此，電網(wǎng)建設項目物資需求預測研究有著重要意義和價值。
物資需求預測的主要預測方法包括：基于時間序列的移動平均法[1]、指數(shù)平滑法[2]、結(jié)合備件物資的特性提出的Croston法[3]以及用于預測需求不服從任何分布情況下的間歇性物資需求Bayesian法[4]等，這些方法都只能依靠物資本身需求數(shù)據(jù)來進行擬合預測，對于需求波動較大的物資預測精度較低。將人工神經(jīng)網(wǎng)絡方法引入需求預測成為一個新的研究趨勢[5，6]。
關于電網(wǎng)物資的需求預測，現(xiàn)有的研究集中于電力庫存物資的需求預測方面[7，8]。而目前電網(wǎng)企業(yè)的項目物資需求計劃管理主要采用的是提前儲備物資信息，工程、物資協(xié)同管理的模式[9]，至于電網(wǎng)建設項目物資的需求預測研究，還尚未開展。其主要原因是缺乏主要的數(shù)據(jù)支持，國家電網(wǎng)公司的企業(yè)資源計劃（ERP）系統(tǒng)于2010年全面正式上線，為電網(wǎng)建設物資的需求預測提供了一個難得的數(shù)據(jù)平臺，也為物資需求預測提供初步的數(shù)據(jù)支撐。同時，電網(wǎng)建設項目物資的標準化建設也為需求預測的開展提供了可能。基于此，本文依據(jù)電網(wǎng)建設項目里程碑計劃中的指標如電壓等級、線路長度、變電容量等，提出基于BP神經(jīng)網(wǎng)絡的電網(wǎng)建設項目物資需求預測模型，并通過實例數(shù)據(jù)測試模型性能。
1.電網(wǎng)建設項目物資需求特點分析
電網(wǎng)建設項目具有投資額大，建設周期長，受環(huán)境影響大的特點，每個項目的工程規(guī)模、啟動時間、緊急程度均不同，這給項目物資管理造成了一定的難度。同時，不同地域、不同電壓等級的電網(wǎng)工程所需的物資有著相當大的差異性，僅僅依靠物資的歷年數(shù)據(jù)進行遞推預測是不可靠的。不同的計劃期（年，季，月）內(nèi)的物資需求量之間沒有必然的聯(lián)系，因此需要通過影響因素來判斷物資的需求。BP神經(jīng)網(wǎng)絡是一種能學習和存貯大量的輸入-輸出模式映射關系的方法，它無需事前揭示或描述這種映射關系，因而適合解決諸如電網(wǎng)建設項目物資需求預測這類因果關系復雜的非確定性問題。
2.BP神經(jīng)網(wǎng)絡預測模型構建
BP神經(jīng)網(wǎng)絡是一種多層前饋網(wǎng)絡，它主要是通過誤差逆向傳播算法來進行訓練的。BP神經(jīng)網(wǎng)絡的學習算法是最速下降法，它通過反向傳播來不停調(diào)整網(wǎng)絡的權值和閾值，從而達到減小誤差至最優(yōu)的目的。
2.1 BP神經(jīng)網(wǎng)絡模型結(jié)構
BP神經(jīng)網(wǎng)絡是典型的多層結(jié)構網(wǎng)絡，本文主要應用BP神經(jīng)網(wǎng)絡算法構建單隱層網(wǎng)絡（又稱三層前饋網(wǎng)或三層感知器），所謂的三層網(wǎng)絡主要是由輸入層、隱含層以及輸出層組成，具體結(jié)構如圖1所示。輸入層、隱含層以及輸出層各層均由大量神經(jīng)元組成，且層與層以權值連接，但同層之間不允許傳遞信號，各層神經(jīng)元只能向高層輸出激活信號。
2.2 BP神經(jīng)網(wǎng)絡學習算法
BP神經(jīng)網(wǎng)絡是典型的有導師學習算法，其學習過程主要分為正向傳播和反向傳播兩種。正向傳播是用來計算前向網(wǎng)絡的，其將輸入信號通過隱含層傳遞至輸出層，經(jīng)網(wǎng)絡計算出輸出結(jié)果。在神經(jīng)網(wǎng)絡正向傳播過程中，網(wǎng)絡的權值固定不變，同層神經(jīng)元之間不能互相影響，同時，如果輸出層所得結(jié)果誤差超過期望值，則進入反向傳播階段；BP神經(jīng)網(wǎng)絡的反向傳播實際指的是誤差的反向傳播，其將誤差信號（即輸出結(jié)果與期望結(jié)果的差值）逐層逆向反饋，通過修改神經(jīng)元的連接權值和閾值，來使正向傳播所得輸出結(jié)果能更加接近期望輸出。下圖2為BP神經(jīng)網(wǎng)絡學習算法圖。
2.3 BP神經(jīng)網(wǎng)絡算法步驟
2.4 電網(wǎng)建設項目物資需求預測模型構建
本文以某省電力公司電磁式電流互感器的歷史需求數(shù)據(jù)為樣本，從ERP系統(tǒng)中調(diào)取59個已建項目的需求數(shù)據(jù)，從中篩選出電磁式電流互感器的需求量，從而運用MATLAB中的BP神經(jīng)網(wǎng)絡模型和軟件編程功能進行預測分析，模型參數(shù)設定為：
（1）輸入層神經(jīng)元數(shù)目設為3，分別為變電容量、線路長度和工程類型。其中，“變電容量”是指項目所建電網(wǎng)變電站的主變壓器的容量，其主要反映變壓器輸送電能的能力，這個容量就決定了線路的負載能夠有多大；線路長度是指項目所建電網(wǎng)的線路里程；工程類型則是作為一個名義變量，定義為三個類別：新建項目、改建項目以及擴建項目，同時將其分別以數(shù)字1、2、3代替進行演算分析。
（2）隱含層神經(jīng)元數(shù)目由Try Error Try法不斷調(diào)試直至找出最優(yōu)值為止，初始值參考上式（1）設為7。
（3）輸出層神經(jīng)元數(shù)目設為1，為電網(wǎng)物資預測數(shù)量。
構建BP神經(jīng)網(wǎng)絡模型時，模型隱藏層選用S 形曲線傳遞函數(shù)，輸出層采用線性傳遞函數(shù)。將樣本數(shù)據(jù)隨機分為三組，70%樣本用于訓練網(wǎng)絡，采用 Levenberg- Marquardt運算法則作為訓練法則；15%樣本進行網(wǎng)絡泛化能力的檢測，當泛化能力不再提高時終止網(wǎng)絡訓練；剩下的15%樣本用于測試網(wǎng)絡的性能。若網(wǎng)絡訓練結(jié)果誤差過大，則再次訓練網(wǎng)絡，或調(diào)整隱藏層神經(jīng)元個數(shù)，反復訓練網(wǎng)絡，直到獲得最佳結(jié)果為止，保存并輸出。
3.預測效果分析
采用BP算法訓練網(wǎng)絡時，設定顯示間隔次數(shù)為25，最大循環(huán)次數(shù)為3000，目標誤差為1×10-3，初始學習速率為0.5，學習速率增加的比率為1.2，學習速率減小的比率為0.7，動量常數(shù)為0.8，最大誤差比率為0.6。將歸一化后的學習樣本依次輸入BP網(wǎng)絡，按上述BP學習算法的步驟反復訓練，結(jié)果見圖3。
從圖3可以看出，電磁式電流互感器預測的最大絕對誤差為2臺，且主要分布于需求較少的項目中，對于需求較多的項目，預測值基本與實際值重合，精度較高，表明BP神經(jīng)網(wǎng)絡預測能夠進行有效預測。
由于ERP系統(tǒng)應用尚未普及，目前可獲取的項目數(shù)據(jù)還不夠完善（樣本數(shù)據(jù)皆來自省電力公司ERP系統(tǒng)），本文主要選取的是在電網(wǎng)工程中運用最為普遍的物資——電磁式電流互感器，因此數(shù)據(jù)量還較為豐富，也取得了較為滿意的預測效果。同時，諸如鋼絞線、接續(xù)金具、耐張線夾、T型線夾、懸垂線夾、聯(lián)結(jié)金具等物資由于應用較為廣泛，可用的項目樣本也足夠多，因此通過構建BP神經(jīng)網(wǎng)絡進行物資預測也取得了較好的預測效果。
隨著電網(wǎng)建設的不斷發(fā)展以及ERP系統(tǒng)的深入應用，未來可用的項目樣本將越來越多，而樣本集越豐富，建模所取得效果則越優(yōu)。盡管BP神經(jīng)網(wǎng)絡建模所預測到的電網(wǎng)建設項目物資需求量不一定是最優(yōu)值，但預測精度有了很大的提高。BP神經(jīng)網(wǎng)絡通過網(wǎng)絡訓練，將原本很復雜的預測模型簡化，同時不斷擴充新樣本，以適應不斷變化的環(huán)境，實現(xiàn)了對電網(wǎng)建設項目物資的動態(tài)預測。
4.結(jié)論
運用BP神經(jīng)網(wǎng)絡預測方法能很好地處理較為復雜的問題，約束條件也遠遠少于傳統(tǒng)的預測模型，同時，BP人工神經(jīng)網(wǎng)絡具有學習性和時變性的特點，能夠有效地實現(xiàn)動態(tài)建模與分析，從而有效地實現(xiàn)了電網(wǎng)物資需求預測。然而人工神經(jīng)網(wǎng)絡技術是一種數(shù)據(jù)挖掘技術，如何獲取和整理歷史數(shù)據(jù)至關重要，因此，在實際中應深入應用電力公司的ERP 系統(tǒng)，盡早完善電網(wǎng)需求物資數(shù)據(jù)庫，為BP神經(jīng)網(wǎng)絡預測模型構建提供數(shù)據(jù)支持。
參考文獻：
[1]Siddique F，Choudhary M.A..Decision Support System for Optimizing Spare Parts Forecasting for Training Aircrafts Source：Recent Advances in Applied Mathematics[J]. Proceedings of the 14th WSEAS International Conference on Applied Mathematics， vol.， no.，pp： 34-41，2009.
[2]Moon Seongmin，Hicks Christian， Simpson.The development of a hierarchical forecasting method for predicting spare parts demand in the South Korean Navy- A case study Andrew[J].International Journal of Production Economics， vol.140， no.2，pp：794-802， December 2012.
[3]Heinecke G.，Syntetos A.A.，Wang W..Forecasting- based SKU classification[J]. International Journal of Production Economics，2011.
[4]Kamath K Rajashree，T P M Pakkala.A Bayesian approach to dynamic in ventory model under an unknown demand distribution[J].Computers& Operations Reseach，2002.
[5]Amin-Naseri M.R.，Tabar B.R..Neural network approach to lumpy demand forecasting for spare parts in process industries[J].Computer and Communication Engineering，vol.， no.，pp：1378-1382， 13-15，May 2008.
[6]張冬，明新國，趙成雷等.基于BP神經(jīng)網(wǎng)絡和設備特性的工業(yè)設備備件需求預測[J].機械設計與研究，2010，26（1）：72-76.
[7]孫懷富.基于電子商務平臺的電力物資決策管理研究[D].北京：北京工業(yè)大學，2006.
[8]王志勇.大唐集團托克托發(fā)電廠物資管理研究[D].北京：華北電力大學，2010.
[9]鄔斌弢，張玉鑫.基于雙向協(xié)同的物資需求計劃管理在電網(wǎng)工程中的應用研究[J].華東電力，2012，40（5）：0913-0914.
基金項目：國家電網(wǎng)公司科技資助項目（豫電WZBKJ[2011]342號）。
作者簡介：
宋斌（1968-），男，河南開封人，高級工程師，河南省電力公司物資部計劃合同處處長，主要從事電力物資合同管理和供應鏈管理等研究。
宋秉虎（1970-），男，甘肅白銀人，高級工程師，研究方向：電力物資管理，供應鏈管理。
第7篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞：風速；短期預測；相似數(shù)據(jù)；小波分析；人工神經(jīng)網(wǎng)絡
1 引言
隨著風電場并網(wǎng)運行規(guī)模的增大，國內(nèi)外對于風力發(fā)電并網(wǎng)各種課題的研究越來越深入，但關于風電場發(fā)電功率預測的研究還達不到令人滿意的程度，預測誤差一般都在15%以上[1]。
采用的方法通常包括持續(xù)法、卡爾曼濾波法、隨機時間序列法、神經(jīng)網(wǎng)絡法。其中，人工神經(jīng)網(wǎng)絡法進行風速或風電功率預測應用得最廣。文獻[2-3]都利用小波―BP神經(jīng)網(wǎng)絡進行建模，但訓練樣本沒有相關性，預測精度偏低。文獻[4-5]利用改進的BP神經(jīng)網(wǎng)絡建模，雖然運行時間縮短，但是在數(shù)據(jù)相關性和數(shù)據(jù)去噪處理方面欠缺，導致精度不高。因此，本文建立了基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡建模。
2 基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡建模
2.1 相似數(shù)據(jù)選擇辦法
2.3 反向傳播（BP）神經(jīng)網(wǎng)絡
2.4 仿真實驗建模
3 算法對比分析
從圖4可得出，BP神經(jīng)網(wǎng)絡模型的平均相對誤差為20.77%，而本模型為10.21%。因此，采用本模型建模得到的相對誤差較傳統(tǒng)的BP神經(jīng)網(wǎng)絡模型預測精度有很大的提高。
4 結(jié)論
針對風力發(fā)電中風速預測問題，本文在BP神經(jīng)網(wǎng)絡理論的基礎上引入相似數(shù)據(jù)并結(jié)合小波分解進行短期風速預測，得到如下結(jié)論：
⑴相似數(shù)據(jù)的選取增強了數(shù)據(jù)的相關性，提高了模型預測精度。
⑵小波分解降低了信號的非平穩(wěn)性，使模型更好地擬合了風速信號的低頻和高頻特性，可進一步提高算法精度。
⑶通過對算法對比分析，表明本模型較傳統(tǒng)BP神經(jīng)網(wǎng)絡模型誤差小，充分地說明此方法在工程應用上具有可行性。
[參考文獻]
[1]楊秀媛，肖洋，陳樹勇.風電場風速和發(fā)電功率預測研究[J].中國電機工程學報，2005，25（11）：1-5.
[2]師洪濤，楊靜玲，丁茂生，王金梅.基于小波―BP神經(jīng)網(wǎng)絡的短期風電功率預測方法[J].電力系統(tǒng)自動化，2011，35（16）：44-48.
[3]厲衛(wèi)娜，蘇小林.基于小波- 神經(jīng)網(wǎng)絡的短期風電功率預測研究[J].電力學報，2011，26（6）：458-461.
[4]王德明，王莉，張廣明.基于遺傳BP神經(jīng)網(wǎng)絡的短期風速預測模型[J]. 浙江大學學報（工學版），2012，46（5）：837-841.
第8篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞:神經(jīng)網(wǎng)絡;計算機;智能信息;應用
中圖分類號:TP183
文獻標識碼:A
文章編號:16723198(2009)20028602
1神經(jīng)網(wǎng)絡的定義
一般情況下,人工神經(jīng)元網(wǎng)絡是作為信息處理單元來模仿大腦,執(zhí)行特定的任務或完成感興趣的功能。關于它的定義有很多種,而下面的HechtNielsen給出的神經(jīng)網(wǎng)絡定義最具有代表意義: 神經(jīng)網(wǎng)絡是一種并行的分布式信息處理結(jié)構,它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號――處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數(shù)學類型。在每一個處理單元中執(zhí)行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當前值和處理單元本身所存儲記憶的值。
2神經(jīng)網(wǎng)絡的基本屬性
(1)非線性: 人腦的思維是非線性的,故人工神經(jīng)網(wǎng)絡模擬人的思維也應是非線性的。
(2)非局域性: 非局域性是人的神經(jīng)系統(tǒng)的一個特性,人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡以大量的神經(jīng)元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現(xiàn)。
(3)非定常性: 神經(jīng)網(wǎng)絡是模擬人腦思維運動的動力學系統(tǒng),它應按不同時刻的外界刺激對自己的功能進行修改,故而它是一個時變的系統(tǒng)。
(4)非凸性:神經(jīng)網(wǎng)絡的非凸性即是指它有多個極值,也即系統(tǒng)具有不只一個的較穩(wěn)定的平衡狀態(tài)。這種屬性會使系統(tǒng)的演化多樣化。
3神經(jīng)網(wǎng)絡模型的分類
(1)按照網(wǎng)絡的結(jié)構區(qū)分,則有前向網(wǎng)絡和反饋網(wǎng)絡。
(2)按照學習方式區(qū)分,則有教師學習和無教師學習網(wǎng)絡。
(3)按照網(wǎng)絡性能區(qū)分,則有連續(xù)型和離散性網(wǎng)絡,隨機型和確定型網(wǎng)絡。
(4)按照突觸性質(zhì)區(qū)分,則有一階線性關聯(lián)網(wǎng)絡和高階非線性關聯(lián)網(wǎng)絡。
(5)按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分,則有神經(jīng)元層次模型,組合式模型,網(wǎng)絡層次模型,神經(jīng)系統(tǒng)層次模型和智能型模型。
通常人們較多地考慮神經(jīng)網(wǎng)絡的互連結(jié)構。一段而言,神經(jīng)網(wǎng)絡有分層網(wǎng)絡、層內(nèi)連接的分層網(wǎng)絡、反饋連接的分層網(wǎng)絡、互連網(wǎng)絡等4種互連結(jié)構。在人們提出的幾十種神經(jīng)網(wǎng)絡模型中,人們較多用的是Hopfield網(wǎng)絡、BP網(wǎng)絡、Kohonen網(wǎng)絡和AR雙自適應共振理論網(wǎng)絡。
Hopfield網(wǎng)絡是最典型的反饋網(wǎng)絡模型,它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡是由相同的神經(jīng)元構成的單層,并且不具學習功能的自聯(lián)想網(wǎng)絡。它需要對稱連接。這個網(wǎng)絡習以完成制約優(yōu)化和聯(lián)想記憶等功能。
BP網(wǎng)絡是誤差反向傳播(Back Propagation)網(wǎng)絡。它是一種多層前向網(wǎng)絡,采用最小均方差學習方式。這是一種最廣泛應用的網(wǎng)絡。它可用于語言綜合,識別和自適應控制等用途。BP網(wǎng)絡需有教師訓練。
Kohonen網(wǎng)絡是典型的自組織神經(jīng)網(wǎng)絡,這種網(wǎng)絡也稱為自組織特征映射網(wǎng)絡SOM。它的輸入層是單層單維神經(jīng)元;而輸出層是二維的神經(jīng)元,神經(jīng)元之間存在以“墨西哥帽”形式進行側(cè)向交互的作用。因而,在輸出層中,神經(jīng)元之間有近揚遠抑的反饋特性,從而使Kohonen網(wǎng)絡可以作為模式特征的檢測器。
ART網(wǎng)絡也是一種自組織網(wǎng)絡模型。這是一種無教師學習網(wǎng)絡。它能夠較好地協(xié)調(diào)適應性,穩(wěn)定性和復雜性的要求。在ART網(wǎng)絡中,通常需要兩個功能互補的子系統(tǒng)相互作用.這兩個子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡主要用于模式識別,它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。
4誤差反向傳播的前饋網(wǎng)絡(BP網(wǎng)絡)
學習是神經(jīng)網(wǎng)絡一種最重要也最令人注目的特點。自從40年代Hebb提出的學習規(guī)則以來,人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應用最多的有效算法。
(1)神經(jīng)網(wǎng)絡的學習機理和機構:在神經(jīng)網(wǎng)絡中,對外部環(huán)境提供的模式樣本進行學習訓練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進行學習。感知器的學習是神經(jīng)網(wǎng)絡最典型的學習。這種學習系統(tǒng)分成三個部分:輸入部,訓練部和輸出部。
輸入部接收外來的輸入樣本X,由訓練部進行網(wǎng)絡的權值W調(diào)整,然后由輸出部輸出結(jié)果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進行比較,產(chǎn)生的誤差去控制修改權值W。
(2)神經(jīng)網(wǎng)絡學習的梯度算法:從感知器的學習算法可知,學習的目的是在于修改網(wǎng)絡中的權值,使到網(wǎng)絡對于所輸入的模式樣本能正確分類。當學習結(jié)束時,也即神經(jīng)網(wǎng)絡能正確分類時,顯然權值就反映了同類輸人模式樣本的共同特征。換句話講,權值就是存儲了的輸人模式。由于權值是分散存在的,故神經(jīng)網(wǎng)絡自然而然就有分布存儲的特點。
感知器學習算法相當簡單,當函數(shù)不是線性可分時求不出結(jié)果,而且不能推廣到一般前饋網(wǎng)絡中,為此出現(xiàn)了另一種算法-梯度算法((LMS)。梯度算法把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù),例如非對稱Sigmoid函數(shù)為f (x) = l/(1 + e-x ),或?qū)ΨQSigmoid函數(shù)f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學習算法進了一大步。
(3)反向傳播學習的BP算法:感知機學習算法是一種單層網(wǎng)絡的學習算法。在多層網(wǎng)絡中,它只能改變最后權值。因此,感知機學習算法不能用于多層神經(jīng)網(wǎng)絡的學習。1986年,Rumelhart提出了反向傳播學習算法,即BP算法。這種算法可以對網(wǎng)絡中各層的權值進行修正,故適用于多層網(wǎng)絡的學習。
它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態(tài)則影響輸入輸出之間的關系。這也是說,改變隱含層的權值,可以改變整個多層神經(jīng)網(wǎng)絡的性能。
第9篇：神經(jīng)網(wǎng)絡的反向傳播范文
關鍵詞:BP神經(jīng)網(wǎng)絡;電力負荷;短期預測
中圖分類號:TP183 文獻標識碼:A文章編號:1007-9599 (2010) 09-0000-02
Power Load Short-term Forecasting Based on BP Neural Network
Wang Jing,Yang Xiao
(School of Economics&Management,North China Electric Power University,Beijing102206,China)
Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.
Keywords:BP Neural Network;Power Load;Short-term Forecast
一、引言
目前,全國供電緊張,部分嚴重地區(qū)經(jīng)常缺電,造成許多發(fā)電設備不能及時檢修,處于超負荷的運轉(zhuǎn)狀態(tài)。會導致機組老化加速,出現(xiàn)不可預見的事故,造成人員、財產(chǎn)的傷亡。因此對未來電網(wǎng)內(nèi)負荷變化趨勢的預測,是電網(wǎng)調(diào)度部門和設計部門所必須具備的基本信息之一。
電力系統(tǒng)負荷預測是電力生產(chǎn)部門的重要工作,通過精確的預測電力負荷,可以經(jīng)濟的調(diào)度發(fā)電機組,合理安排機組啟停、機組檢修計劃,降低發(fā)電成本,提高經(jīng)濟效益。負荷預測對電力系統(tǒng)控制、運行和計劃都有著重要的意義。電力系統(tǒng)負荷變化受多方面的影響,包括不確定性因素引起的隨機波動和周期性變化規(guī)律。并且,由于受天氣、節(jié)假日等特殊情況影響,又使負荷變化出現(xiàn)差異。神經(jīng)網(wǎng)絡具有較強非線性的映射功能,用神經(jīng)網(wǎng)絡來預測電力負荷越來越引起人們的關注。
二、BP網(wǎng)絡理論
(一)BP網(wǎng)絡結(jié)構
BP神經(jīng)網(wǎng)絡全稱為Back-Propagation Network,即反向傳播網(wǎng)絡,是一種多層前饋神經(jīng)網(wǎng)絡,結(jié)構圖如圖1所示,根據(jù)圖示可以知道BP神經(jīng)網(wǎng)絡是一種有三層或三層以上的神經(jīng)網(wǎng)絡,包括輸入層、中間層(隱層)和輸出層。前后層之間實現(xiàn)全連接,各層之間的神經(jīng)元不進行連接。當學習樣本輸入后,神經(jīng)元的激活之經(jīng)由各層從輸入層向輸出層傳遞。之后,根據(jù)減少目標輸出與實際輸出誤差的原則,從輸出層反向經(jīng)過各層至輸入層,逐級修正各連接的權值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進行,網(wǎng)絡對輸入模式響應的正確率也不斷上升。
BP神經(jīng)網(wǎng)絡傳遞函數(shù)不同于感知器模型傳遞函數(shù),BP神經(jīng)網(wǎng)絡要求其必須是可微的,所以感知器網(wǎng)絡中所用到的硬閾值傳遞函數(shù)在BP神經(jīng)網(wǎng)絡中并不適應。BP神經(jīng)網(wǎng)絡中常用的傳遞函數(shù)有正切函數(shù)、Sigmoid型的對數(shù)或線性函數(shù)。由于這些函數(shù)均是可微的,所以BP神經(jīng)網(wǎng)絡所劃分的區(qū)域是一個非線性的超平面組成的區(qū)域,是一個比較平滑的曲面,它比線性劃分更加的精確。另外,網(wǎng)絡才有嚴格的梯度下降法進行學習,權值修正的解析式分非常明確。
(二)BP網(wǎng)絡算法
(1)初始化。給沒給連接權值 、 、閾值 與 賦予區(qū)間 內(nèi)的隨機值
(2)確定輸入P和目標輸出T。選取一組輸入樣本 和目標輸出樣本 提供給網(wǎng)絡。
(3)用輸入樣本 、連接權 和閾值 計算中間層各單元的輸入 ,然后用 通過傳遞函數(shù)計算中間層各單元的輸出 。
(4)利用中間層的輸出 、連接權 和閾值 計算輸出層各單元的輸出 ,然后通過傳遞函數(shù)計算輸出層各單元的響應 。
(5)利用目標向量 和網(wǎng)絡的實際輸出 ,計算輸出層各單元的一般化誤差 。
(6)利用連接權 、輸出層的一般化誤差 和中間層的輸出 計算中間層各單元的一般化誤差 。
(7)利用輸出層各單元的一般化誤差 與中間呈個單元的輸出 來修正連接權 和閾值 。
(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權 和閾值 ,計算方法同(7)。
(9)達到誤差精度要求或最大訓練步數(shù),輸出結(jié)果,否則返回(3)
三、實證研究
(一)神經(jīng)網(wǎng)絡結(jié)構設計
本文以南方某缺電城市的整點有功負荷值,在預測的前一天中,每隔2小時對電力負荷進行一次測量,這樣,可以得到12組負荷數(shù)據(jù)。此外電力負荷還和環(huán)境因素有關,文章選取預測日最高氣溫、最低氣溫和降雨量氣象特征作為網(wǎng)絡輸入變量。所以設計的網(wǎng)絡結(jié)構為:15個輸入層節(jié)點和12個輸出向量,根據(jù)Kolmogorov定理可知,網(wǎng)絡中間層的神經(jīng)元可以去31個。
(二)輸入數(shù)據(jù)歸一化處理
獲得輸入變量后,為了防止神經(jīng)元飽和現(xiàn)象,在BP神經(jīng)網(wǎng)絡輸入層進行歸一化,文章才有如下公式進行變換。
(三)實證分析
中間層神經(jīng)元傳遞函數(shù)和輸出層傳遞函數(shù)分別采用S型正切函數(shù)tansig和S型對數(shù)函數(shù)logsig,因為這連個函數(shù)輸出區(qū)間為[0,1],滿足網(wǎng)絡設計的需求。
利用以下代碼創(chuàng)建一個滿足上述要求的BP神經(jīng)網(wǎng)絡。
threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];
netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)
其中變量threshold用于規(guī)定輸入向量的最大值和最小值,規(guī)定了網(wǎng)絡輸入向量的最大值為1,最小值為0,。“trainlm”是為網(wǎng)絡設定的訓練函數(shù),采用的是Levenberg-Marquardt算法進行網(wǎng)絡學習。該方法明顯優(yōu)于共軛梯度法及變學習效率的BP算法,LM算法可大大提高學習速度,縮短訓練時間。
使用該地區(qū)2007年8月11日到20日的負荷和氣象數(shù)據(jù)作為輸入向量,8月12日至8月21日負荷數(shù)據(jù)作為目標向量,對網(wǎng)絡進行訓練,再用8月20日負荷數(shù)據(jù)和21日的氣象特征數(shù)據(jù)來預測21日用電負荷,檢驗預測誤差是否能帶到要求。
利用MATLAB進行仿真,經(jīng)過79次訓練后達到誤差要求結(jié)果。如圖2
網(wǎng)絡訓練參數(shù)的設定見下表
從圖3和圖4中可以看出運用BP神經(jīng)網(wǎng)絡方法很好的預測了負荷走勢,并且預測誤差較小,負荷工程預測的要求。四、結(jié)論
在進行電力負荷預測時,必須考慮氣象因素的影響。在不同的地區(qū)氣象因素對電力負荷的影響不同,因此本文在設計神經(jīng)網(wǎng)絡結(jié)構時,結(jié)合該地實際情況考慮氣象因素。本文研究了BP神經(jīng)網(wǎng)絡在電力負荷短期預測中的應用,根據(jù)上述的預測結(jié)果可以說明BP神經(jīng)網(wǎng)絡對電力負荷進行短期預測是目前一種比較可行的方法。
參考文獻
[1]蔣平,鞠平.應用人工神經(jīng)網(wǎng)絡進行中期電力負荷預報[J].電力系統(tǒng)自動化,1995,6(19):15-17
[2]蘇寧.MATLAB軟件在電力負荷預測中的應用[J].華北電力技術,2007(8):16-19
[3]康重慶,夏清,張伯明.電力系統(tǒng)負荷預測研究綜述與發(fā)展方向的探討[J].電力系統(tǒng)自動化,2OO4,28(17):1-11
[4]姜勇.電力系統(tǒng)短期負荷預測的模糊神經(jīng)網(wǎng)絡方法[J].繼電器,2002,36(2):11-13
[5]田景文,高美娟.人工神經(jīng)網(wǎng)絡算法研究及應用[M].北京:北京理工大學出版社,2006
