神經(jīng)網(wǎng)絡(luò)學習方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)學習方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

（黑龍江民族職業(yè)學院，黑龍江 哈爾濱 150066）

摘　要：盈余預(yù)測具有引導(dǎo)投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內(nèi)對公司未來盈利進行預(yù)測的研究還相當少。提出了以決策樹作為基分類器，采用集成學習方法，利用上市某公司2001至2005年的財務(wù)數(shù)據(jù)對該上市公司在2006年的盈利狀況進行預(yù)測研究。首先，采用有放回的隨機抽樣技術(shù)分別從訓練樣本和測試樣本中產(chǎn)生50個訓練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓練子集分別進行訓練，得到50個基決策樹分類器；通過采用Bagging方法，構(gòu)建決策樹集成模型。所得到的集成模型在測試集上的分類準確率達到96%以上，通過比較由不同數(shù)目的基分類器構(gòu)成的集成模 型和單個分類器的預(yù)測準確率，證明了該集成模型的預(yù)測準確率高且穩(wěn)定。

關(guān)鍵詞 ：神經(jīng)網(wǎng)絡(luò)；集成學習；盈利預(yù)測

中圖分類號：F275文獻標志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數(shù)據(jù)挖掘與決策支持。

1 引言

公司的財務(wù)狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務(wù)報表數(shù)據(jù)和其它一些宏觀經(jīng)濟數(shù)據(jù)（如GDP、CPI、利率等）及早準確預(yù)測公司未來的盈利狀況的話，那么就可以更有效地對公司進行管理和指導(dǎo)投資者的投資行為。但是，一個公司的財務(wù)報表往往只反映了公司在過去的財政年度內(nèi)的經(jīng)營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務(wù)狀況與其未來盈利之間的關(guān)系并沒有那么明顯，它受到很多因素的影響，要構(gòu)建一個精確的模型反映它們之間的關(guān)系是很困難的。針對此情況，本文提出采用決策樹集成方法，構(gòu)建模型來刻畫公司財務(wù)狀況與其未來盈利之間的關(guān)系，利用上市公司已有的財務(wù)數(shù)據(jù)，并結(jié)合主要的宏觀經(jīng)濟變量來預(yù)測公司未來的盈利狀況，這必將是公司財務(wù)處理的一個新發(fā)展。

數(shù)據(jù)挖掘技術(shù)越來越多地被用于預(yù)測研究。集成學習方法作為數(shù)據(jù)挖掘技術(shù)中一種較新的方法，由于其在提高預(yù)測的準確性上的優(yōu)點，正被越來越多的研究者使用。

盡管許多領(lǐng)域都應(yīng)用集成學習方法來進行研究，但在對公司未來盈利的預(yù)測研究上還很少，在國內(nèi)尚未見到任何報導(dǎo)。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進行了研究，但是他們只是將盈利狀況分為兩種情況來進行研究。本文通過利用集成學習方法，考慮宏觀經(jīng)濟對公司盈利可能造成的影響，提出將宏觀經(jīng)濟變量納入變量體系，同時，為了使結(jié)果更有指導(dǎo)意義，將上市公司的每股收益（EPS）指標將公司盈利的情況劃分為三類，即EPS為負，EPS大于均值及EPS介于二者之間，對其進行預(yù)測研究。

2 研究方法

2.1神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經(jīng)網(wǎng)絡(luò)具有非線性，自學習能力、自適應(yīng)性強和容錯性高等優(yōu)點，因而被廣泛用于各種非線性預(yù)測問題。

所有神經(jīng)網(wǎng)絡(luò)都有一個輸入層和輸出層，一個網(wǎng)絡(luò)結(jié)構(gòu)可以包含一個或多個隱含層。神經(jīng)網(wǎng)絡(luò)的學習是通過調(diào)整連接權(quán)重和偏差實現(xiàn)的。Cybenko等人證明了如果神經(jīng)網(wǎng)絡(luò)利用一個有界的，連續(xù)的，非遞減的激活函數(shù)時，只要不對隱含層的神經(jīng)元數(shù)進行限制，一個三層網(wǎng)絡(luò)（包含一個隱含層）就能夠?qū)W習任意一個在輸入和輸出空間的連續(xù)映射[2]。在實際應(yīng)用中用的最多的是BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差后向傳播算法（BP算法）的多層感知器網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般采用Log-Sigmoid或Tangent Sigmoid等可微函數(shù)。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經(jīng)元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據(jù)此修正各層權(quán)重，直到輸出結(jié)果滿足預(yù)先設(shè)定的精度要求或達到算法設(shè)定的最大循環(huán)次數(shù)。

2.2神經(jīng)網(wǎng)絡(luò)集成

如何根據(jù)觀測數(shù)據(jù)學習得到精確估計是機器學習領(lǐng)域中人們非常關(guān)注的一個問題，機器學習的一個重要目標就是對新的測試樣本盡可能給出最精確的估計。構(gòu)造一個高精度估計是一件相當困難的事情，然而產(chǎn)生多個只比隨機猜測好的粗糙估計卻很容易。傳統(tǒng)的機器學習方法是在一個由各種可能的函數(shù)構(gòu)成的空間中尋找最接近實際分類函數(shù)的分類器。常用的單個分類器模型主要有決策樹、人工神經(jīng)網(wǎng)絡(luò)等。

集成學習（ensemble learning）的基本思想是在對新的實例進行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結(jié)果按某種方式來進行組合，決定最終的分類，以取得比單個分類器更好的結(jié)果。如果把單個分類器比作一個決策者的話，集成學習方法就相當于多個決策者共同進行一項決策。

盡管單個神經(jīng)網(wǎng)絡(luò)在處理非線性問題上表現(xiàn)良好，但是用單個神經(jīng)網(wǎng)絡(luò)來進行預(yù)測，一個不足的地方就是結(jié)果的穩(wěn)定性差。因為神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果受網(wǎng)絡(luò)各層之間的初始權(quán)重影響很大。為了克服這一不足，本文利用集成學習的思想，采用以BP神經(jīng)網(wǎng)絡(luò)作為基分類器的神經(jīng)網(wǎng)絡(luò)集成方法來對公司未來盈利狀況進行預(yù)測。

以神經(jīng)網(wǎng)絡(luò)作為基分類器構(gòu)建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現(xiàn)，而且不容易產(chǎn)生過擬合現(xiàn)象。對一個已知的有n個數(shù)據(jù)元素的數(shù)據(jù)集，Bagging法的原理是[1]：對每次循環(huán)（=1，2，…，），采用有放回的隨機抽樣方法從數(shù)據(jù)集中抽取m個數(shù)據(jù)形成訓練集（mn），分類器模型從中學習。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統(tǒng)計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數(shù)據(jù)樣本來自天軟數(shù)據(jù)庫。在剔除了財務(wù)變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經(jīng)營能力，資本結(jié)構(gòu)，盈利能力，現(xiàn)金流，每股指標等方面的29個財務(wù)變量作為初始變量。此外，為了研究宏觀經(jīng)濟環(huán)境對公司未來盈利的影響，相應(yīng)的選擇了2001年至2006年的三個宏觀經(jīng)濟變量：國內(nèi)生產(chǎn)總值增長率（GDP），居民消費價格指數(shù)增長率（CPI）及一年期金融機構(gòu)貸款基準利率。這幾個變量都與公司的盈利狀況有著密切的關(guān)系。國內(nèi)生產(chǎn)總值反映了整個國家的經(jīng)濟狀況，而居民消費價格指數(shù)是反映居民購買并用于消費的商品和服務(wù)項目價格水平的變動趨勢和變動幅度的相對數(shù)，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機構(gòu)貸款基準利率會影響公司的營運成本，會對公司的利潤產(chǎn)生直接的影響。所有變量見附表。

為了預(yù)測未來公司的盈利狀況，本文將數(shù)據(jù)樣本分為訓練樣本和測試樣本。其中，訓練樣本由2001年至2005年的公司樣本數(shù)據(jù)用有放回的隨機抽樣方法得到，每個訓練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數(shù)據(jù)樣本，包含400個觀測。

3.2指標選擇

對于初始變量表，變量之間存在著相關(guān)性。雖然神經(jīng)網(wǎng)絡(luò)對變量間的相關(guān)性具有較強的容忍度，但是，變量太多會增加網(wǎng)絡(luò)的復(fù)雜度，還有可能使網(wǎng)絡(luò)過適應(yīng)，從而使得網(wǎng)絡(luò)在測試樣本上的表現(xiàn)很差，而且并不是變量越多，神經(jīng)網(wǎng)絡(luò)的預(yù)測精度就越大，所以適當選擇具有代表性的指標變量既可以達到與用所有變量相同的預(yù)測精度，又能降低網(wǎng)絡(luò)的復(fù)雜度，避免使網(wǎng)絡(luò)陷入過適應(yīng)，提高網(wǎng)絡(luò)的訓練速度。

然而，運用神經(jīng)網(wǎng)絡(luò)方法，對輸入變量的選取目前并沒有一個公認的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數(shù)據(jù)挖掘軟件包選項面板中的建模欄中的特征選擇節(jié)點來對變量進行篩選。通過構(gòu)建一個帶有特征選擇節(jié)點的流，可以為每一訓練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓練樣本進行訓練，得到兩種神經(jīng)網(wǎng)絡(luò)模型，分別對測試樣本進行分類，并分別構(gòu)建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數(shù)據(jù)樣本進行訓練得到單個神經(jīng)網(wǎng)絡(luò)模型，用該模型對測試樣本進行預(yù)測。如何產(chǎn)生不同的分類模型是影響集成模型準確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的訓練數(shù)據(jù)，不同的訓練算法常用來產(chǎn)生分類模型。本文采用不同的訓練數(shù)據(jù)和不同的網(wǎng)絡(luò)結(jié)構(gòu)這兩種方式結(jié)合得到基神經(jīng)網(wǎng)絡(luò)。

按照Bagging方法的要求，本文采用有放回隨機抽樣方法，從訓練樣本中隨機抽取了15個子訓練集，并用相同的方法從測試集中抽取了400個樣本數(shù)據(jù)組成測試集。每個子訓練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節(jié)點在每個訓練集上選出的變量分別在這15個子樣本上進行訓練得到子分類器，然后用這些子分類器對測試樣本進行分類。采用多數(shù)投票法對子分類器進行集成，得到集成方法在測試集上的預(yù)測結(jié)果。

3.4 結(jié)果分析

為了比較集成模型與單個神經(jīng)網(wǎng)絡(luò)預(yù)測準確率的差異，按照單個神經(jīng)網(wǎng)絡(luò)模型預(yù)測準確率按升序進行排序，分別計算了由7個、9個、11個、13個、15個基神經(jīng)網(wǎng)絡(luò)模型構(gòu)成的集成模型的預(yù)測準確率，集成模型，不論是由用全部變量進行訓練得到的基神經(jīng)網(wǎng)絡(luò)構(gòu)建還是由用篩選出的變量進行訓練得到的構(gòu)建，都顯示出了很高的準確率，而且得到的預(yù)測準確率相當穩(wěn)定。

4 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)集成的方法，以上市公司過去的財務(wù)數(shù)據(jù)和宏觀經(jīng)濟數(shù)據(jù)為樣本，對上市公司的未來盈利狀況進行預(yù)測。研究結(jié)果表明，相比于單個神經(jīng)網(wǎng)絡(luò)模型，盡管選用7個預(yù)測精度最差的單個神經(jīng)網(wǎng)絡(luò)作為基神經(jīng)網(wǎng)絡(luò)，其集成網(wǎng)絡(luò)的預(yù)測準確率仍然很高，因而集成方法得到的結(jié)果更穩(wěn)定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰(zhàn)性的問題。本文的研究結(jié)果還表明，采用神經(jīng)網(wǎng)絡(luò)集成方法來研究未來盈利狀況是可行的。進一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預(yù)測更為準確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關(guān)，因此，如何合理選取量化一些有關(guān)公司治理的指標變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法。除了Bagging方法，還有其他產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法，比如Boosting方法。不同的方法會得到不同的結(jié)果，從而通過比較不同的結(jié)果，可以得到一個用來研究此類問題的最好的方法。

參考文獻：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機械工業(yè)出版社，2006．

第2篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

【關(guān)鍵詞】雙目視覺;神經(jīng)網(wǎng)絡(luò);攝像機標定

1.引言

雙目測距技術(shù)在非接觸式測量，機器人視覺等領(lǐng)域都有廣泛引用。本文研究的是被動式遠距離目標的距離測量系統(tǒng)中系統(tǒng)的標定技術(shù)研究，雙目測距系統(tǒng)標定方法研究對計算機視覺技術(shù)發(fā)展有重要意義。攝像機標定的目的在于確定攝像機的位置，以確定物體在空間坐標系與成像平面之間相應(yīng)的位置關(guān)系。

這些位置關(guān)系以及攝像機光學和幾何參數(shù)在一些場所并不需要一一解出，而只需要構(gòu)建二維成像平面上像點坐標與三維空間坐標投影點之間的一種映射關(guān)系。而神經(jīng)網(wǎng)絡(luò)有非常強的非線性映射能功能，因此我們可以通過采用神經(jīng)網(wǎng)絡(luò)對攝像機進行標定。

2.基于神經(jīng)網(wǎng)絡(luò)的攝像機的標定方法

2.1 神經(jīng)網(wǎng)絡(luò)、雙目視覺神經(jīng)網(wǎng)絡(luò)攝像機標定

人工神經(jīng)網(wǎng)絡(luò)也稱神經(jīng)網(wǎng)絡(luò)，是一門新興技術(shù)，用以處理一些難以用標準數(shù)學模型描述的系統(tǒng)，模擬人類大腦的一些機理，實現(xiàn)某些特定功能。它具有很強的自學習及自適應(yīng)能力，而其中可自由設(shè)定隱層節(jié)點的多層前饋神經(jīng)網(wǎng)絡(luò)，可以完成任意精度近似任意連續(xù)函數(shù)[1，2]。

由于網(wǎng)絡(luò)由相連的非線性單元組成，因此就具有了學習非線性過程的能力。與攝像機標定工作機制相似，神經(jīng)網(wǎng)絡(luò)可以從一些已知數(shù)據(jù)通過計算得到未知參數(shù)。而神經(jīng)網(wǎng)絡(luò)標定的畸變模型有任意性，可以避免傳統(tǒng)標定方法非線性標定可能無解、標定精度低等多種問題。本文通過運用神經(jīng)網(wǎng)絡(luò)學維平面圖像像點與三維空間物點坐標之間的關(guān)系，提出了改進神經(jīng)網(wǎng)絡(luò)雙目攝像機的標定方法。

本文雙目視覺神經(jīng)網(wǎng)絡(luò)攝像機標定具有的優(yōu)點是不用假設(shè)初始值，也不用建立精確的標定模型，只要輸入三維空間中物體在兩個圖像上的像點坐標，神經(jīng)網(wǎng)絡(luò)便可輸出物體在的三維空間的世界坐標。進行多次的神經(jīng)網(wǎng)絡(luò)學習、訓練，最后可得到相對理想的輸入、輸出非線性映射關(guān)系。

2.2 改進的RBF神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)（Radial Basis Function， RBF）神經(jīng)網(wǎng)絡(luò)是一種三層前向神經(jīng)網(wǎng)絡(luò)，它結(jié)構(gòu)簡單，訓練簡潔，學習收斂速度快，能夠以任意精度逼近任意連續(xù)函數(shù)，廣泛應(yīng)用于眾多領(lǐng)域[3，4]。RBF網(wǎng)絡(luò)模擬了人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種局部逼近網(wǎng)絡(luò)。并且RBF神經(jīng)網(wǎng)絡(luò)在逼近能力、分類能力及學習速度等多方面都優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，

遺傳算法是模擬生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬生物在自然進化過程中形成的一種自適應(yīng)全局優(yōu)化搜索最優(yōu)解的方法[5]。

本文提出了一種基于改進的RBF神經(jīng)網(wǎng)絡(luò)的攝像機標定方法，引入了遺傳算法，優(yōu)化了徑向基函數(shù)網(wǎng)絡(luò)的學習算法。

2.2.1 RBF網(wǎng)絡(luò)的結(jié)構(gòu)

RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，三層分別是輸入層，隱藏層和輸出層。輸入層由信號源節(jié)點組成;輸出層是對輸入作出響應(yīng);隱藏層中節(jié)點數(shù)由需要而定，其中的徑向基函數(shù)是局部響應(yīng)函數(shù)。

從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間是線性的。RBF網(wǎng)絡(luò)是局部逼近網(wǎng)絡(luò)，三層組成（m個輸入、h個隱節(jié)點、n個輸出），常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為：

（1）

式中：是歐式范數(shù);X是輸入樣本，;是高斯函數(shù)的中心，也是網(wǎng)絡(luò)隱含層節(jié)點的中心;為高斯函數(shù)的方差;i是隱含層節(jié)點數(shù)。

RBF網(wǎng)絡(luò)的結(jié)構(gòu)輸出為：

（2）

式中：wij是隱含層到輸出層的連接權(quán)值;yj是第j個輸出節(jié)點的實際輸出。

假設(shè)d是樣本的期望輸出值，則基函數(shù)的方差為：

（3）

式中：P是樣本總數(shù)。

RBF網(wǎng)絡(luò)學習方法求解需要的參數(shù)：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。RBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和。本文采用的是自組織選取中心法。

2.2.2 優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)

本文加入遺傳算法用以優(yōu)化已有的神經(jīng)網(wǎng)絡(luò)，用全局搜索找到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，確定較理想非線性映射關(guān)系，進而達到雙目視覺的標定。采用實數(shù)編碼、最佳保留（elitist model）選擇機制，交叉概率采用自適應(yīng)方式，再對數(shù)據(jù)做歸一化處理。

2.3 整體算法步驟

用遺傳算法對神經(jīng)網(wǎng)路的參數(shù)進行優(yōu)化，得到權(quán)值與偏差值范圍。再用RBF網(wǎng)絡(luò)在局部搜索得出最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)標定系統(tǒng)。

1）將多組對應(yīng)的雙目視覺系統(tǒng)圖像像點坐標作為輸入的訓練樣本，組成群體;

2）采用梯度下降法學習樣本網(wǎng)絡(luò)個體基函數(shù)的中心、方差;

3）采用最小二乘法學習隱含層到輸出層的線性權(quán)值;

4）采用遺傳算法優(yōu)化隱含層中節(jié)點數(shù);

5）通過循環(huán)交替學習、訓練，得到相對理想的RBF網(wǎng)絡(luò)標定系統(tǒng)。

3.實驗說明

分別采用線性標定、標準BP網(wǎng)絡(luò)、和改進的RBF網(wǎng)絡(luò)做雙目視覺標定，后兩種做非線性函數(shù)逼近，對測試結(jié)果進行比較。得出結(jié)果：較其他兩種，改進的RBF網(wǎng)絡(luò)測試誤差最小。

表1 測試結(jié)果比較

隱節(jié)點數(shù) 訓練誤差 測試誤差

線性標定 * * 0.2945

標準BP 26 0.0935 0.0356

改進RBF 13 0.0576 0.0123

4.結(jié)論

在不考慮鏡像畸變及環(huán)境等因素的形象下，將基于改進的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于雙目視覺攝像機標定方法中，提高了測量精度，減少了因傳統(tǒng)標定方法建立的模型不完善而帶來的誤差，為雙目視覺測量應(yīng)用于精密測量提供了一種新的有效方法。標定后的測量系統(tǒng)在雙目視覺空間具有很高的測量精度。

參考文獻

[1]閻平凡，張長水.人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算[M].清華大學出版社，2000：410-420.

[2]錢光耀，楊入超，趙光興.基于人工神經(jīng)網(wǎng)絡(luò)的壓力傳感器三維數(shù)據(jù)融合[J].傳感器與微系統(tǒng)，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]楊耀華，李昕，江芳澤.基于OLS算法的RBF神經(jīng)網(wǎng)絡(luò)高速公路事件探測[J].系統(tǒng)仿真學報，2003，15（5）：709-712.

第3篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

關(guān)鍵詞：超聲波測距，RBF網(wǎng)絡(luò)，非線行誤差校正

1、引言

超聲波測距具有信息處理簡單、快速和價格低，易于實時控制等許多優(yōu)勢，它被廣泛的應(yīng)用在各種距離測試的設(shè)備中。但超聲波傳感器在實際應(yīng)用中也有一定的局限性。在超聲波測距中，由于超聲波傳感器本身的結(jié)構(gòu)和受外界溫度等因素的干擾，其輸入輸出特性呈明顯的非線性，靠硬件或軟件補償修正的方法對提高其測距精度的效果不大。所以，本文提出了基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)實現(xiàn)超聲波傳感器的建模，對超聲波測距進行溫度補償和非線性誤差校正的方法。

2、用 RBF神經(jīng)網(wǎng)絡(luò)改善超聲波測距的精度

2.1神經(jīng)網(wǎng)絡(luò)實現(xiàn)非線性誤差校正的原理

設(shè)超聲波傳感器要測量的實際距離為 d，實際距離d決定t2-t1，環(huán)境溫度為T，超聲波傳感器測量輸出的結(jié)果為h，經(jīng)RBF網(wǎng)絡(luò)校正后的距離為Dr，則超聲波傳感器測距系統(tǒng)可以表示為 h=f(d，T)，由于傳感器產(chǎn)生的非線性誤差和溫度的影響，使得 f(d，T)呈現(xiàn)非線性特性。校正的目的是根據(jù)測的 h求未知的 d，即 d＝g(h，T)，也就是需要建立超聲波傳感器的模型其原理可以表示為圖 1所示。

超聲波傳感器輸出 Dr通過一個補償模型，該模型的特性函數(shù)為Dr=g(h，T) ，其中Dr為非線性補償后的輸出， g(h，T)顯然是一個非線性函數(shù)。通常非線性函數(shù)的表達式很難準確求解，但可以利用神經(jīng)網(wǎng)絡(luò)能很好地逼近非線性函數(shù)的特點，通過建立神經(jīng)網(wǎng)絡(luò)模型來逼近該非線性函數(shù)。本文選取RBF神經(jīng)網(wǎng)絡(luò)模型。

2.2 RBF 神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)。它對于每個輸入輸出數(shù)據(jù)對 , 只有少量的權(quán)值需要進行調(diào)整。它采用一組正交歸一化的基函數(shù) ―― 徑向基函數(shù)的線性組合來逼近任意函數(shù)。

常用徑向基函數(shù)有高斯函數(shù)、多二次函數(shù)、薄板樣條函數(shù)等。由于輸入矢量直接映射到隱層空間 , RBF的中心確定后 , 這種非線性映射關(guān)系也就確定 ,因此 RBF的學習算法首先要確定徑向基函數(shù)的中心 ,本文徑向基函數(shù)的中心采用高斯函數(shù)（Radbas(n)=e-n2）,其隱含層的輸入輸出模型如圖2。

對于本文的超聲波傳感器逆模型的RBF網(wǎng)絡(luò)模型，輸入為h和T，訓練后的實際輸出為Dr，期望輸出為d。超聲波傳感器非線性校正逆模型采用RBF網(wǎng)絡(luò)，輸入層2個節(jié)點，輸出層1個節(jié)點，擴展系數(shù)為0.5（實驗結(jié)果表明擴展常數(shù)為 0.5 時對應(yīng)隱含層神經(jīng)元個數(shù)適中，故擴展常數(shù)選為 0.5），通過測量獲取了50組數(shù)據(jù)集作訓練樣本，將輸入量作歸一化處理后，按照上述的RBF神經(jīng)網(wǎng)絡(luò)的學習方法學習。神經(jīng)網(wǎng)絡(luò)的訓練和仿真是在Matlab 6.5環(huán)境下，通過神經(jīng)網(wǎng)絡(luò)工具箱，編制相應(yīng)的程序而實現(xiàn)。

在matlab上應(yīng)用 RBF神經(jīng)網(wǎng)絡(luò)進行仿真溫度補償和非線性誤差校正后，系統(tǒng)的測距精度大大提高，表 1所示為未經(jīng)神經(jīng)網(wǎng)絡(luò)處理和神經(jīng)網(wǎng)絡(luò)處理后的測距比較。

比較結(jié)果表明，神經(jīng)網(wǎng)絡(luò)處理后的結(jié)果與實際距離很接近，精度大大提高了。

3、結(jié)束語

實際應(yīng)用中，超聲波測距易受溫度等多種因素的影響，利用RBF神經(jīng)網(wǎng)絡(luò)良好的非線性逼近特性、自適應(yīng)能力學習能力，可優(yōu)化超聲波的輸出特性，而且網(wǎng)絡(luò)結(jié)構(gòu)簡單，便于單片機實現(xiàn)或固化在硬件中。仿真結(jié)果表明，利用RBF 神經(jīng)網(wǎng)絡(luò)能很好地逼近非線性函數(shù)，實現(xiàn)了超聲波傳感器建模，對傳感器進行非線性誤差校正，效果相當明顯，大大提高了超聲波測距的精度，使其測距誤差控制在毫米級以內(nèi)，這是采用其它校正方法是無法達到的。

參考文獻：

[1]譚超，許澤宏，李維一，付小紅，王?。谛〔ㄉ窠?jīng)網(wǎng)絡(luò)建立虛擬儀器非線性較正型[J]．微計算機信息，2005．12（1）P157-159．

[2]田社平．基于神經(jīng)網(wǎng)絡(luò)模型的傳感器非線性校正．（英文） 光學精密工程．2006

[3]Binchini M，F(xiàn)rasconi P，Gori M. Learning without local minima in radial basis function networks.IEEE Trans. on Neural Networks, 1995，6(3)：749～755）

[4] Xianzhong Dai， Ming Yin， Qin Wang． Artificial neural networks inversion based dynamic compensator of sensor.IEEE，2004，10：258－261

第4篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

[關(guān)鍵詞] 機器學習 遺傳算法 人工神經(jīng)網(wǎng)絡(luò) 支持向量機

當前人工智能研究的主要障礙和發(fā)展方向之一就是機器學習。包括學習的計算理論和構(gòu)造學習系統(tǒng)。機器學習與計算機科學、心理學、認知科學等都有著密切的聯(lián)系，涉獵的面比較廣，有許多理論及技術(shù)上的問題尚處于研究之中。

一、什么是機器學習

機器學習就是要使計算機能模擬人的學習行為，自動地通過學習獲取知識和技能，重新組織已有的知識結(jié)構(gòu)，不斷改善自身的性能，實現(xiàn)自我完善。即機器學習研究的就是如何使機器通過識別和利用現(xiàn)有知識來獲取新知識和新技能。它是人工智能的核心，是使計算機具有智能的根本途徑。該門科學起源于心理學、生理學、生物學、醫(yī)學等科學，研究發(fā)展過程中涉及到數(shù)學、物理學、計算機科學等領(lǐng)域。機器學習主要圍繞學習機理、學習方法、面向任務(wù)這三個方面進行研究，其應(yīng)用幾乎遍及自然科學的各個領(lǐng)域。其中最多的是模式識別、通訊、控制、信號處理等方面。

二、機器學習系統(tǒng)

學習是建立理論、形成假設(shè)和進行歸納推理的過程。為使計算機系統(tǒng)具有某種程度的學習能力，使它能夠通過學習獲取新知識，以改善性能，提高智能水平，需要建立相應(yīng)的學習系統(tǒng)。學習系統(tǒng)一般由環(huán)境、學習環(huán)節(jié)、知識庫、執(zhí)行與評價組成，整個過程包括信息的存儲、知識的處理兩大部分。機器學習系統(tǒng)模型如圖1所示。

圖1 機器學習模型

框架圖中的箭頭表示知識的流向；環(huán)境是指外部信息源；學習環(huán)節(jié)是指系統(tǒng)通過對環(huán)境的搜索獲取外部信息，然后經(jīng)過分析、綜合、類比、歸納等思維過程獲得知識并將獲得知識存入知識庫；知識庫用于存儲由學習得到的知識，在存儲時要進行適當?shù)慕M織，使它既便于應(yīng)用又便于維護；執(zhí)行部分用于處理系統(tǒng)面臨的現(xiàn)實問題，即應(yīng)用學習到的知識求解問題。另外從執(zhí)行到學習必須有反饋信息，學習將根據(jù)反饋信息決定是否要進一步從環(huán)境中搜索信息進行學習，以修改、完善知識庫中的知識。這是機器學習系統(tǒng)的一個重要特征。機器學習系統(tǒng)是對現(xiàn)有知識的擴展和改進。

三、機器學習的主要策略

學習是一項復(fù)雜的智能活動，學習過程與推理過程緊密相連。按照學習中使用的推理的多少，機器學習所采用的策略主要可分為機械學習、通過傳授學習、類比學習和通過實例學習等。學習中所用的推理越多，系統(tǒng)的能力越強。本文主要介紹以下三種機器學習方法，即遺傳算法、人工神經(jīng)網(wǎng)絡(luò)模型及支持向量機。

1、遺傳算法

遺傳算法是一類借鑒生物界的進化規(guī)律（適者生存，優(yōu)勝劣汰遺傳機制）演化而來的隨機化搜索方法。其主要特點是直接對結(jié)構(gòu)對象進行操作，不存在求導(dǎo)和函數(shù)連續(xù)性的限定；具有隱并行性和更好的全局尋優(yōu)能力；采用概率化的尋優(yōu)方法，能自動獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)的調(diào)整搜索方向，不需要確定的規(guī)則。

由于遺傳算法的整體搜索策略和優(yōu)化搜索方法，在計算時是不依賴于梯度信息和其他輔助信息，而只需要影響搜索方向的目標函數(shù)和相應(yīng)的適應(yīng)度函數(shù)，所以遺傳算法提供了一種求解復(fù)雜問題的通用框架，它不依賴于問題的具體領(lǐng)域，對問題的種類有很強的魯棒性，所以廣泛應(yīng)用于自動控制、計算科學、工程設(shè)計、智能故障診斷、管理科學和社會科學等領(lǐng)域，適用于解決復(fù)雜的非線性和多維空間尋優(yōu)問題。

2、人工神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)基本模型是在現(xiàn)代神經(jīng)科學的基礎(chǔ)上提出和發(fā)展起來的，旨在反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學模型（見圖3）。

圖3 神經(jīng)網(wǎng)絡(luò)基本模型

一個人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元節(jié)點經(jīng)廣泛互連而組成的復(fù)雜網(wǎng)絡(luò)拓撲，用于人類進行知識和信息表示、存儲和計算行為。神經(jīng)元模型如圖4所示。

每一個細胞處于兩種狀態(tài)。突觸聯(lián)接有強度。多輸入單輸出。實質(zhì)上傳播的是脈沖信號，信號的強弱與脈沖頻率成正比。

在神經(jīng)網(wǎng)絡(luò)中，大量神經(jīng)元的互連結(jié)構(gòu)及各連接權(quán)值的分布就表示了學習所得到的特定要領(lǐng)和知識。在網(wǎng)絡(luò)的使用過程中，對于特定的輸入模式，神經(jīng)網(wǎng)絡(luò)通過向前計算，產(chǎn)生一個輸出模式，并得到節(jié)點代表的邏輯概念， 通過對輸出信號的比較與分析可以得到特定解。神經(jīng)元之間具有一定的冗余性，并且允許輸入模式偏離學習樣本，因此神經(jīng)網(wǎng)絡(luò)的計算行為具有良好的并行分布、容錯和抗噪能力。

神經(jīng)網(wǎng)絡(luò)模型包括前饋型網(wǎng)絡(luò)、反饋型網(wǎng)絡(luò)、自組織競爭人工神經(jīng)網(wǎng)絡(luò)等。

圖4神經(jīng)元模型

（1）前饋型網(wǎng)絡(luò)(BP)

前饋型網(wǎng)絡(luò)，最初稱之為感知器（包括單層感知器和多層感知器），是應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元，上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。多層感知器也被稱為BP網(wǎng)絡(luò)。多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。

（2）反饋型網(wǎng)絡(luò)(Hopfield)

反饋型網(wǎng)絡(luò),它是一種動態(tài)反饋系統(tǒng)，所有計算單元之間都有聯(lián)接。比前饋網(wǎng)絡(luò)具有更強的計算能力。

（3）自組織競爭人工神經(jīng)網(wǎng)絡(luò)

在實際的神經(jīng)網(wǎng)絡(luò)中，存在一種側(cè)抑制的現(xiàn)象。即一個細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。這種側(cè)抑制在脊髓和海馬中存在，在人眼的視網(wǎng)膜中也存在。

自組織映射模型是由Kohonen提出來的。模型是以實際神經(jīng)細胞中的一種特征敏感的細胞為模型的。各個細胞分別對各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細胞，則，功能相近的細胞聚在一起，靠得比較近。功能不同的離得比較遠。開始是無序的，當輸入樣本出現(xiàn)后各個細胞反映不同，強者依照“勝者為王”的原則，加強自己的同時對周圍細胞進行壓抑。使其對該種樣本更加敏感，也同時對其他種類的樣本更加不敏感。此過程的反復(fù)過程中，各種不同輸入樣本將會分別映射到不同的細胞上。

人工神經(jīng)網(wǎng)絡(luò)以其具有自學習、自組織、較好的容錯性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。 但不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設(shè)計方法，經(jīng)驗參數(shù)太多。

3、支持向量機（SVM）

支持向量機是一種基于統(tǒng)計的學習方法，它是對結(jié)構(gòu)風險最小化歸納原則的近似。它的理論基礎(chǔ)是Vapnik創(chuàng)建的統(tǒng)計學習理論。

SVM就是首先通過用內(nèi)積函數(shù)K(xi，xj)定義的非線性變換將輸入空間變換到一個高維空間，在這個空間中求（廣義）最優(yōu)分類面。SVM分類函數(shù)形式上類似于一個神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應(yīng)一個支持向量。

由于統(tǒng)計學習理論和支持向量建立了一套較好的有限樣本下機器學習的理論框架和通用方法，既有嚴格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點等實際問題，因此成為20世紀90年代末發(fā)展最快的研究方向之一，其核心思想就是學習機器要與有限的訓練本相適應(yīng)。

學習是人類智能的主要標志和獲得智慧的基本手段，機器學習的研究就是希望計算機能像人類那樣具有從現(xiàn)實世界獲取知識的能力，同時進一步發(fā)現(xiàn)人類學習的機理和揭示人腦的奧秘。機器學習涉及到連接理論、認知理論、行為科學、神經(jīng)科學等多門科學。因此，對于機器學習的研究，只有采用計算機科學、控制論、人工智能、認知科學、神經(jīng)科學、心理學等多學科交叉的方法，才可望取得機器學習研究的更大進展。

機器學習是一個十分活躍、充滿生命力的研究領(lǐng)域，同時也是一個比較困難、爭議頗多的研究領(lǐng)域，雖然取得了一些令人矚目的成就，但還存在許多尚未解決的問題。目前人工智能研究的主要障礙和發(fā)展方向之一就是機器學習，因此，機器學習有著廣闊的研究前景。

參考文獻:

[1] 張景繪，動力學系統(tǒng)建模［M］.北京：國防工業(yè)出版社，2000.

[2] 楊義勇等，機械系統(tǒng)動力學［M］.北京：清華大學出版社，2009.

第5篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

關(guān)鍵詞：自主學習；神經(jīng)網(wǎng)絡(luò)；姿B識別；機器人

中圖分類號：TB

文獻標識碼：A

doi：10.19311/ki.16723198.2017.01.092

1引言

1.1機器人在現(xiàn)代社會中的重要性

隨著城鄉(xiāng)居民消費結(jié)構(gòu)的持續(xù)升級，以及智慧中國戰(zhàn)略的不斷推進，智能機器人在家庭、農(nóng)業(yè)、工業(yè)等生活的方方面面都有著極其廣泛的應(yīng)用。隨著社會的不斷發(fā)展，社會分工越來越細，與此同時工作也變得越來越單調(diào)。另外，社會上有些工作風險較高，若讓人去做，不僅效率不高，而且更會產(chǎn)生生命危險。在這樣高風險的作業(yè)領(lǐng)域，對機器人的需求越來越高。在這一背景下，各種各樣的機器人被研制了出來，用它們代替人來完成枯燥、單調(diào)、高風險的工作。這極大的提高了勞動生產(chǎn)率和生產(chǎn)質(zhì)量，創(chuàng)造出了更多的社會財富。

同時，社會服務(wù)也對機器人產(chǎn)生了大量的需求。從公共服務(wù)方面來說，目前我國老齡人口已超過總?cè)丝诘?0%，人口老齡化問題已成為中國需要面臨的重大課題。此外，我國殘疾人口占總?cè)丝诘谋戎匾参痪邮澜巛^高國家之列。機器人的運用，可以為他們提供大量的護理服務(wù)，提高他們的生活質(zhì)量。在醫(yī)療服務(wù)方面機器人也有很大的優(yōu)勢，手術(shù)機器人憑借其操作的精度及可長期工作等特性廣泛應(yīng)用于手術(shù)操作中?？偠灾?，機器人已成為我們的社會不可取代的一部分。

1.2當前機器人領(lǐng)域的現(xiàn)狀及弊端

目前機器人正處于快速發(fā)展的階段，但目前市場上的機器人仍存在著許多弊端。傳統(tǒng)機器人需要設(shè)計者針對具體的任務(wù)進行手工編程，為了使機器人在環(huán)境改變時也能完成任務(wù)，設(shè)計者就需要盡量將各種情況考慮在內(nèi)。但是這樣的機器人存在一些問題：一方面程序員無法窮盡所有的可能情況，另一方面環(huán)境的復(fù)雜性也無形中加大了機器人可能出故障的概率，這使得機器人缺乏良好的環(huán)境自適應(yīng)能力，給機器人的廣泛應(yīng)用帶來了很大的限制。

基于無法動態(tài)適應(yīng)具體任務(wù)目標這個問題，市場上出現(xiàn)了很多自主學習的機器人，比如有些作品使用了強化學習的算法，這種算法通過進行試錯來尋求最優(yōu)行動策略，從而有效解決了基于行為控制的機器人缺乏對動態(tài)環(huán)境適應(yīng)能力這一問題。但同時這些該作品也存在出現(xiàn)了一些弊端。這一技術(shù)需要執(zhí)行一些分層檢索及優(yōu)化的工作，因為機器人需要進行大量重復(fù)性實驗來獲得最優(yōu)解，而任務(wù)變得復(fù)雜時該技術(shù)的性能就會變得很差，提高了學習的難度。

基于目前機器人存在的限制與不足，本文提出了基于神經(jīng)網(wǎng)絡(luò)的學習方法，使機器人環(huán)境適應(yīng)能力提高。

2多任務(wù)學習機器人介紹

2.1機械結(jié)構(gòu)

本文所設(shè)計的多任務(wù)學習機器人的機械結(jié)構(gòu)主要由攝像頭和仿生機械臂組成。為了使機器人能執(zhí)行與人類一樣非常細膩的動作，并能在某些應(yīng)用中代替人，本文設(shè)計的機械臂擁有與人相似的機械結(jié)構(gòu)。

如圖1所示，該機械臂具有著與人體骨骼結(jié)構(gòu)相似的關(guān)節(jié)，通過這些關(guān)節(jié)，機械臂可以完成人手臂的旋轉(zhuǎn)、升降等動作。為了方便控制機械臂的運動狀態(tài)，每一個關(guān)節(jié)都有相應(yīng)的姿態(tài)參數(shù)。而根據(jù)不同關(guān)節(jié)的靈活程度不同，對應(yīng)的參數(shù)數(shù)量也會存在差異。當機械手模仿人體動作時，可以通過設(shè)定對應(yīng)機械手關(guān)節(jié)的姿態(tài)參數(shù)來完成，這樣，人體的姿態(tài)與機械手關(guān)節(jié)的姿態(tài)參數(shù)之間就存在著一一對應(yīng)的關(guān)系。我們所搭建的神經(jīng)網(wǎng)絡(luò)的目的，就是為了找到這樣的對應(yīng)關(guān)系，為機器人學習人的動作奠定基礎(chǔ)。本文設(shè)計中的攝像頭主要用于捕捉人體手臂姿態(tài)，并對采集到的視頻流中的手臂姿態(tài)進行學習。通過將攝像頭固定到一定位置，作為機器人的“眼睛”，機器人便可將人的動作記錄下來，轉(zhuǎn)化為視頻信息。高速攝像頭將人的連貫動作存儲成一幀幀的圖片，作為神經(jīng)網(wǎng)絡(luò)訓練的原始輸入信息。

2.2神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)，是人們利用仿生學觀點，模擬人腦的結(jié)構(gòu)及智能行為所構(gòu)建的網(wǎng)絡(luò)，它能模擬生物神經(jīng)系統(tǒng)對真實世界做出交互反應(yīng)。神經(jīng)元的基本模型也叫“M-P神經(jīng)元模型”。該模型中，神經(jīng)元接收來自n個神經(jīng)元的信號（x1，x2，…），通過帶權(quán)重（w1，w2，…）的連接傳遞，將獲得的總輸入值與閾值q比較，通過激活函數(shù)f（x）最終得到該單元的輸入y。

y=f（∑ni=1wixi-θ）

神經(jīng)網(wǎng)絡(luò)就是一個個這樣的網(wǎng)絡(luò)單元按一定的結(jié)構(gòu)次序排列而成的。兩層神經(jīng)元形成的網(wǎng)絡(luò)可以容易地實現(xiàn)與、或、非這樣的基本邏輯運算，多層神經(jīng)網(wǎng)絡(luò)可以處理更加復(fù)雜的運算。神經(jīng)網(wǎng)絡(luò)的學習過程，就是根據(jù)獲得的訓練數(shù)據(jù)對自身的權(quán)重和閾值進行一定的調(diào)整，使神經(jīng)網(wǎng)絡(luò)輸出的值與我們所給的輸出值相差達到最小的過程。

為了達到這樣的學習過程，就需要合適的算法。誤差逆?zhèn)鞑ニ惴ǎê喎Q“BP算法”）是目前最成功的算法之一。在訓練開始時，隨機產(chǎn)生權(quán)重值wi，輸入訓練集（xi，yi）和學習率η，神經(jīng)網(wǎng)絡(luò)根據(jù)對應(yīng)權(quán)重和輸入值計算出輸出y，。BP算法以y與y之間差值的差值作為反饋，調(diào)整各個神經(jīng)元的閾值和權(quán)重，進而更新神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)的誤差減小。其中，學習率η起著“控制神經(jīng)網(wǎng)絡(luò)學習速度”的作用，若學習率過小，神經(jīng)網(wǎng)絡(luò)變化相對遲緩，影響學習效率；而若學習率過大，則容易陷入局部最優(yōu)解，影響最終結(jié)果。因此，給予足夠的訓練數(shù)據(jù)和適宜的學習率，神經(jīng)網(wǎng)絡(luò)就會快速調(diào)整到穩(wěn)定而準確的狀態(tài)。

利用神經(jīng)網(wǎng)絡(luò)，我們可以對攝像機獲得的人體手臂各個關(guān)節(jié)的姿勢進行學習，所獲得的神經(jīng)網(wǎng)絡(luò)便表征了人體姿態(tài)與機械臂關(guān)節(jié)參數(shù)的映射關(guān)系。

2.3學習機器人原理

本文所用神經(jīng)網(wǎng)絡(luò)的作用是將輸入的動作信息轉(zhuǎn)化為機器人的姿態(tài)參數(shù)，以神經(jīng)網(wǎng)絡(luò)作為核心算法，機器人就可以在一定的學習訓練后，具備識別人體關(guān)節(jié)姿態(tài)的能力，從而使機器人做出與人體輸入動作一致的動作，具體的學習過程如下：

為了獲得比較完備的訓練數(shù)據(jù)，選擇盡可能多的人采集手臂各關(guān)節(jié)姿態(tài)數(shù)據(jù)，提高神經(jīng)網(wǎng)絡(luò)的魯棒性；使人于攝像頭采集姿態(tài)的最佳角度，做各種各樣的動作，以覆蓋盡可能多的關(guān)節(jié)姿態(tài)參數(shù)范圍；針對高速攝像頭采集獲得的圖像數(shù)據(jù)的某一幀，手工采用測量工具標定該圖像中人體每個關(guān)節(jié)的角度數(shù)據(jù)，以這些圖像數(shù)據(jù)和標定獲得的角度數(shù)據(jù)作為訓練原始數(shù)據(jù)。

以采集的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，選擇一定的學習速率，采用誤差逆?zhèn)鞑ィ˙P）算法，完成訓練后，得到一個能夠根據(jù)圖像數(shù)據(jù)輸出關(guān)節(jié)姿態(tài)參數(shù)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)訓練完畢之后，為了檢測其準確性，需要對其進行測試。測試過程與實際使用過程類似。測試方法如下：使用攝像頭采集人體手臂的幾組圖像數(shù)據(jù)，將這幾組圖像數(shù)據(jù)分別作為神經(jīng)網(wǎng)絡(luò)的輸入，觀察神經(jīng)網(wǎng)絡(luò)能否正確輸出與人體手臂關(guān)節(jié)相對應(yīng)的角度數(shù)據(jù)。如果機器人的動作有較大的偏差，則證明訓練失敗，需要重新檢查訓練數(shù)據(jù)，對攝像頭捕捉關(guān)節(jié)的位置進行調(diào)整，或提高攝像頭的性能，以便使攝像頭獲得更精確的信息。另外，根據(jù)神經(jīng)網(wǎng)絡(luò)測試的結(jié)果，適當調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型學習過程中的參數(shù)如學習速率，樣本容量等。

神經(jīng)網(wǎng)絡(luò)訓練與測試完畢后，我們就獲得了一個輸入為一系列包含手臂各個關(guān)節(jié)的圖像數(shù)據(jù)、能夠識別人體關(guān)節(jié)各個姿態(tài)，并輸出各個關(guān)節(jié)姿態(tài)角度的神經(jīng)網(wǎng)絡(luò)。利用這個訓練并測試完成的神經(jīng)W絡(luò)，多任務(wù)學習機器人即可以根據(jù)人演示的動作，準確地模仿人的姿態(tài)，完成特定的任務(wù)，具體過程如下：

（1）針對某一環(huán)境下的任務(wù)要求，人體做任務(wù)動作，攝像頭捕捉這個過程中的圖像信息。

（2）每一時刻的圖像信息輸入神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)輸出各個關(guān)節(jié)的角度值。

（3）各個關(guān)節(jié)角度值輸入到機械臂相關(guān)關(guān)節(jié)控制單元，實現(xiàn)對機器人姿態(tài)的控制。

（4）每個時刻分別重復(fù)這個過程，就實現(xiàn)了機器人控制參數(shù)流的輸出，機器人即可完成一系列動作。

由于神經(jīng)網(wǎng)絡(luò)的可復(fù)用性，機器人可以隨時模仿各種各樣的動作，實現(xiàn)了多任務(wù)學習的設(shè)計要求。實際的應(yīng)用過程中，可以通過設(shè)計多個存儲單元，分別存儲多個動作的控制參數(shù)流序列，實現(xiàn)常用動作的記憶與切換功能。

3總結(jié)

本文所設(shè)計的機器人主要由攝像頭及仿生機械臂組成，機器人以攝像頭接收使用者的動作，首先通過訓練過程，對神經(jīng)網(wǎng)絡(luò)進行訓練。神經(jīng)網(wǎng)絡(luò)訓練完畢后，在使用過程中，人體演示機器人做相應(yīng)動作，機器人就可根據(jù)神經(jīng)網(wǎng)絡(luò)識別的結(jié)果反饋來操控機器人，完成指定動作。應(yīng)用這一方法，可以有效提高機器人的環(huán)境應(yīng)變能力，通過對某一新動作的學習，可以高效提取新動作的參數(shù)信息，根據(jù)這些信息輸出對機器人的控制量，從而達到理想的效果。本作品解決了傳統(tǒng)機器人功能單一的缺點，可以使得機器人能執(zhí)行多種動作，使機器人“身兼數(shù)職”，也提高了機器人的靈活性與便捷性。

參考文獻

[1]李揚.智能服務(wù)機器人引領(lǐng)智慧變革[J].高科技與產(chǎn)業(yè)化，2016，（5）：6971.

第6篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

doi:10.11772/j.issn.10019081.2013.07.1942

摘 要:

針對極限學習機(ELM)算法隨機選擇輸入層權(quán)值的問題，借鑒第2類型可拓神經(jīng)網(wǎng)絡(luò)(ENN2)聚類的思想，提出了一種基于可拓聚類的ELM(ECELM)神經(jīng)網(wǎng)絡(luò)。該神經(jīng)網(wǎng)絡(luò)是以隱含層神經(jīng)元的徑向基中心向量作為輸入層權(quán)值，采用可拓聚類算法動態(tài)調(diào)整隱含層節(jié)點數(shù)目和徑向基中心，并根據(jù)所確定的輸入層權(quán)值，利用MoorePenrose廣義逆快速完成輸出層權(quán)值的求解。同時，對標準的Friedman#1回歸數(shù)據(jù)集和Wine分類數(shù)據(jù)集進行測試，結(jié)果表明，ECELM提供了一種簡便的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)學習方法，并且比基于可拓理論的徑向基函數(shù)(ERBF)、ELM神經(jīng)網(wǎng)絡(luò)具有更高的建模精度和更快的學習速度，為復(fù)雜過程的建模提供了新思路。

關(guān)鍵詞:可拓聚類；極限學習機；徑向基函數(shù)；回歸；分類

中圖分類號: TP18文獻標志碼:A

英文標題

Extension clusteringbased extreme learning machine neural network 

英文作者名

LUO Genghe*

英文地址(

Department of Mechanical Engineering, Xian Aeronautical University, Xian Shaanxi 710077, China英文摘要)

Abstract:

During the construction process of Extreme Learning Machine (ELM), its input weights are randomly generated, and these parameters are nonoptimized and contain no prior knowledge of the inputs. To solve these problems, combining the clustering method of Extension Neural Network type 2 (ENN2), an extension clustering based extreme learning machine (ECELM) neural network was proposed. In ECELM neural network, the radial basis function centers of hidden neurons were firstly taken as the input weights, then extension clustering method was used to adaptively adjust the hidden neurons number and center vectors, and this welladjusted information was trained by MoorePenrose generalized inverse to obtain the output weights. Meanwhile, the effectiveness of this network was tested by the Friedman#1 dataset and the Wine dataset. The results indicate that ECELM provides a simple and convenient way to train the structure and parameters of neural network, and it is of higher modeling accuracy and faster learning speed than Extension theory based Radial Basis Function (ERBF) or ELM, which will provide a new way to apply the ECELM to complex process modeling.

第7篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

關(guān)鍵詞：SOM神經(jīng)網(wǎng)絡(luò);負荷特性曲線;聚類分析

中圖分類號：TM7 文獻標識碼：A 文章編號：1007-0079（2014）33-0204-03

在國家提出建設(shè)堅強智能電網(wǎng)的背景下，提高電力營銷服務(wù)水平和智能用電技術(shù)已成為電網(wǎng)企業(yè)關(guān)注的焦點。電力營銷服務(wù)水平與智能用電技術(shù)的提升離不開在對電力用戶用電行為特征的準確、全面、及時地掌握，而從海量負荷數(shù)據(jù)中提取用戶日負荷特征曲線并進行深入分析成為研究用戶用電行為特征的一種有效方式。

從研究對象層面來看，以往相關(guān)研究側(cè)重專線用戶（負荷數(shù)據(jù)來源為SCADA系統(tǒng)）和專變用戶，并以傳統(tǒng)意義上的行業(yè)分類作為提取負荷特征曲線時聚類的依據(jù)。從研究方法層面來看，電力用戶日負荷特征曲線的提取多使用聚類算法，主要有統(tǒng)計方法、機器學習方法、人工神經(jīng)網(wǎng)絡(luò)方法和面向數(shù)據(jù)庫的方法。人工神經(jīng)網(wǎng)絡(luò)因具有大規(guī)模的并行協(xié)同處理能力、較強的容錯能力、聯(lián)想能力、學習能力和自適應(yīng)能力，故能夠較好地適應(yīng)海量數(shù)據(jù)背景下的數(shù)據(jù)挖掘。應(yīng)用較多的典型的神經(jīng)網(wǎng)絡(luò)模型包括BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)。[1-3]BP網(wǎng)絡(luò)屬于有監(jiān)督學習的神經(jīng)網(wǎng)絡(luò)，需要提供聚類對象類別數(shù)量的先驗知識，而公變用戶缺乏傳統(tǒng)意義上類似專變用戶的行業(yè)分類，故不適合采用BP網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)都屬于無監(jiān)督學習的神經(jīng)網(wǎng)絡(luò)，在解決聚類問題上有其各自的優(yōu)缺點。

本文提出采用SOM神經(jīng)網(wǎng)絡(luò)[4-6]聚類算法提取公變用戶日負荷特征曲線，用MATLAB軟件進行仿真，輸出可視化聚類結(jié)果，并對聚類結(jié)果進行分析，驗證了采用SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取出的公變用戶日負荷特征曲線能夠較好地顯示不同類型公變用戶用電行為特征上的差異，具備良好的聚類效果，同時為電網(wǎng)企業(yè)優(yōu)化電力營銷服務(wù)提供參考和指導(dǎo)。

一、SOM神經(jīng)網(wǎng)絡(luò)

SOM（Self-Organizing Map，自組織映射）神經(jīng)網(wǎng)絡(luò)是較為廣泛應(yīng)用于聚類的神經(jīng)網(wǎng)絡(luò)。它是由Cohonen提出的一種無監(jiān)督學習的競爭型神經(jīng)網(wǎng)絡(luò)模型，通過不斷縮小獲勝神經(jīng)元的鄰域來達到聚類的目的。主要功能是將輸入的高維空間數(shù)據(jù)映射到一個較低的維度，通常是一維或者二維輸出，同時保持數(shù)據(jù)原有的拓撲邏輯關(guān)系。

SOM神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層兩層組成，輸入層中的每一個神經(jīng)元通過權(quán)與輸出層中的每一個神經(jīng)元相連，如圖1所示。輸入層的神經(jīng)元以一維的形式排列，輸入神經(jīng)元的個數(shù)由輸入矢量中的分量個數(shù)決定，輸出層的神經(jīng)元一般以一維或者二維的形式排列，計輸入層的神經(jīng)元數(shù)量為m，輸出層神經(jīng)元數(shù)量為c。輸入的樣本總數(shù)為n，第i個輸入樣本用矢量表示為，每個輸出神經(jīng)元的輸出值記為，。與第j個輸出神經(jīng)元相連的權(quán)用矢量表示為：。

Kohonen算法是無教師示教的聚類方法，它能將任意維輸入模式在輸入層映射成一維或二維離散圖形，并保持其拓撲結(jié)構(gòu)不變，即在無教師示教的情況下，通過對輸入模式的自組織學習，在輸出層將聚類結(jié)果表示出來。此外，網(wǎng)絡(luò)通過對輸入模式的反復(fù)學習，可以使連接權(quán)矢量空間分布密度與輸入模式的概率分布趨于一致，即連接權(quán)矢量空間分布能反映輸入模式的統(tǒng)計特性。該算法往往在完成極高維數(shù)、超大量數(shù)據(jù)和高度非線性問題的聚類，模式表征和數(shù)據(jù)壓縮，分類等任務(wù)時是一個很有效、很簡便，且快速、穩(wěn)健、泛化性好的算法。

Kohonen的學習算法如下：

（1）初始化：將整個輸入向量存儲在矩陣p中，對權(quán)值w進行初始化，權(quán)值向量的每一維的取值范圍同輸入向量每一維的取值范圍。

（2）選擇一個輸入向量，提供給網(wǎng)絡(luò)輸入層。

（3）按照下式計算輸出層每一個神經(jīng)元 j 的權(quán)值與輸入向量之差：，其中，。

（4）按照“勝者為王”的原則，對每一個神經(jīng)元j，以minDist中的最小值所對應(yīng)的神經(jīng)元 k作為勝者，對它和它的鄰域內(nèi)的神經(jīng)元的權(quán)值進行調(diào)整，假設(shè)當前處于學習的第l步，權(quán)值的修正按照下式進行：

其中，lr表示學習速率，br表示鄰域調(diào)整率;表示獲勝神經(jīng)元的鄰域，即：。

（5）選擇另一個輸入向量，返回（3），直到所有的輸入向量全部提供給網(wǎng)絡(luò)。

（6）返回（2），直到達到最大訓練步數(shù)。

二、MATLAB仿真算例

1.MATLAB仿真實現(xiàn)

對于日負荷特征曲線的提取，負荷曲線的采樣點越多，曲線越精細，越容易進行分類，研究數(shù)據(jù)來自于電力用戶用電信息采集系統(tǒng)，從中提取公變用戶每15分鐘采集一次的有功功率構(gòu)成其日負荷曲線，一天共96個采樣點。從某省電力用戶用電信息采集系統(tǒng)中隨機抽取1000臺公用變壓器，選取其2012年7月10日（工作日，該省全年負荷最高日）作為典型日進行日負荷特征曲線提取和分析。每臺公變?nèi)肇摵汕€由96個有功采樣點組成。由于每臺公變額定容量大小不等，為了有效聚類，首先需要對負荷數(shù)據(jù)進行歸一化處理。

本文采用聚類SOM神經(jīng)網(wǎng)絡(luò)，在MATLAB環(huán)境下，對這些數(shù)據(jù)進行聚類仿真。聚類SOM神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)步驟如下：（1）準備數(shù)據(jù)源。首先從原始數(shù)據(jù)庫讀取相關(guān)數(shù)據(jù)（輸入樣本總數(shù)70，每一個樣本有96個采集時點）作為輸入矢量，并將其以二維數(shù)組70×96形式輸入。（2）確定參數(shù)。輸入神經(jīng)元個數(shù)為采集時點的個數(shù)96;輸出神經(jīng)元以二維數(shù)組3×3形式呈現(xiàn)。（3）運用rand（ ）函數(shù)產(chǎn)生[0，1）之間的隨機數(shù)作為權(quán)值。（4）調(diào)用SOM創(chuàng)建函數(shù)newsom（ ），創(chuàng)建自組織映射網(wǎng)絡(luò)net=newsom（ ）。（5）對迭代次數(shù)net.trainParam.epochs賦值2000;對net.trainParam.show賦值20，表示每20次顯示一下誤差變化情況。（6）運用網(wǎng)絡(luò)訓練函數(shù)train（ ）訓練上述初始化后的網(wǎng)絡(luò)net=train（ ）。（7）調(diào)用plot（ ）畫輸入點; plotsom（ ）作訓練后的權(quán)值點及其與相鄰權(quán)值點的連線。

2.仿真結(jié)果分析

經(jīng)MATLAB仿真運行后得到聚類結(jié)果圖2所示：

圖2所示為SOM神經(jīng)網(wǎng)絡(luò)聚類結(jié)果，將樣本公變用戶分為7個類別，為便于后文描述，不妨按照行優(yōu)先的順序為各激活的優(yōu)勝神經(jīng)元標識聚類編號，依次分別為為：公變用戶第一類（包含13個樣本用戶）、公變用戶第二類（包含12個樣本用戶）、公變用戶第三類（包含5個樣本用戶）、公變用戶第四類（包含10個樣本用戶）、公變用戶第五類（包含10個樣本用戶）、公變用戶第六類（包含10個樣本用戶）、公變用戶第七類（包含10個樣本用戶）。

每個競爭層神經(jīng)元與各輸入神經(jīng)元之間的連接權(quán)構(gòu)成的向量代表了該優(yōu)勝神經(jīng)元所標識類別的聚類中心即日負荷特征曲線，競爭層神經(jīng)元鄰域權(quán)值距離如圖3所示，顏色越深表示領(lǐng)域神經(jīng)元間的權(quán)值距離越遠，即鄰域神經(jīng)元的聚類中心距離越遠、提取的日負荷特征曲線差異越大。

圖4所示為通過SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取的七大類公變用戶日負荷特征曲線。日負荷特征曲線較為明顯地反映了不同類型公變用戶在該典型日的用電行為。

第一類公變?nèi)肇摵商卣髑€呈現(xiàn)出明顯的午高峰和晚高峰特征，且晚高峰明顯高于午高峰。推測此類為城鎮(zhèn)居民生活的典型日負荷特征曲線，可能由于部分居民上班因素造成晚高峰高于午高峰;第二類公變?nèi)肇摵商卣髑€走勢同全網(wǎng)負荷基本一致，呈現(xiàn)出明顯午高峰和晚高峰，但午高峰一枝獨秀，可能該公變下的用戶類型較多，包括居民用戶和一般工商業(yè)用戶，由于各類用電特征比例與全網(wǎng)比例類似，形成具有全網(wǎng)負荷特征的曲線;第七類公變?nèi)肇摵商卣髑€與前六種主要集中在白天用電不同，主要在天黑時間段內(nèi)（晚上7點左右至第二天早上6點）用電，推測這類用戶主要集中在市政工程類。

三、總結(jié)與展望

本文將SOM神經(jīng)網(wǎng)絡(luò)聚類算法應(yīng)用到電力用戶日負荷特征曲線提取的研究中，選取某省公變用戶作為分析樣本，通過MATLAB仿真計算將樣本公變用戶分為七個類別，以優(yōu)勝神經(jīng)元與輸入神經(jīng)元之間連接權(quán)向量作為聚類中心即該類別用戶的日負荷特征曲線。根據(jù)提取出的日負荷特征曲線，結(jié)合電力用戶用電信息采集系統(tǒng)中的營銷檔案分析了不同類別公變用戶的用電特征與習慣。分析表明，采用SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取日負荷特征曲線具有良好的效果，提取出的日負荷特征曲線能夠較好反映該類型用戶的用電行為與特征，為電力企業(yè)了解用戶用電習慣、細分電力市場、調(diào)整定價策略和實施需求側(cè)管理提供了有益參考。

下一步研究將考慮采用電力用戶全年負荷數(shù)據(jù)進行聚類分析，驗證小樣本下的聚類結(jié)果、發(fā)現(xiàn)新的用戶類型;同時改進SOM神經(jīng)網(wǎng)絡(luò)算法，使其適應(yīng)海量數(shù)據(jù)下的負荷曲線聚類分析，并通過調(diào)整競爭層神經(jīng)元個數(shù)與抑制權(quán)值使訓練結(jié)果更加穩(wěn)定，得到更好的聚類效果。

參考文獻：

[1]馬玉梅，馬志超.基于人工神經(jīng)網(wǎng)絡(luò)的手寫阿拉伯數(shù)字識別[J].中央民族大學學報（自然科學版），2007，（4）.

[2]劉小波，李亞玲，趙景濤，等.基于KOHONEN神經(jīng)網(wǎng)絡(luò)的電壓控制分區(qū)[J].浙江電力，2007，（3）.

[3]莫禮平.基于Kohonen神經(jīng)網(wǎng)絡(luò)的故障診斷方法[J].成都大學學報（自然科學版），2007，（1）.

[4]李培強，李欣然，陳輝華，等.基于模糊聚類的電力負荷特性的分類與綜合[J].中國電機工程學報，2005，（24）.

第8篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

中圖分類號：G642

1 背 景

電子信息科學與技術(shù)是以物理和數(shù)學為基礎(chǔ)，研究通過電學形式表達和操控信息的基本規(guī)律以及運用這些基本規(guī)律實現(xiàn)各種電子系統(tǒng)的方法。在進入電子時代和信息社會的今天，電子信息科學技術(shù)已滲透各個領(lǐng)域。隨著電子信息技術(shù)日新月異，電子信息教學領(lǐng)域也面臨著全新的挑戰(zhàn)，需要培養(yǎng)具有全方位視野和超強能力的新一代工程師及領(lǐng)導(dǎo)者。本著這一目標，清華大學電子系自2008年開始著手進行課程改革，通過改革課程體系將原有課程重新整合，從學科范式的角度整理出電子工程本科教育的知識體系結(jié)構(gòu)，從而梳理出新的本科課程體系，形成電子信息領(lǐng)域?qū)W科地圖[1-2]。

2016年AlphaGo戰(zhàn)勝李世石的事實，讓人工智能技術(shù)再一次向世人展示了自己的潛力。人工智能無論在傳統(tǒng)的制造加工行業(yè)，還是在新興的互聯(lián)網(wǎng)行業(yè)，都成為國內(nèi)外各大企業(yè)爭相研究開發(fā)的目標，在學術(shù)界也是如此。2016年底，Gartner全球峰會2017十大技術(shù)趨勢報告[3]，預(yù)測2017年十大技術(shù)趨勢：人工智能與機器學習、智能應(yīng)用、智能事物、虛擬和增強現(xiàn)實、數(shù)字化雙生、區(qū)塊鏈和已分配分類賬、對話式系統(tǒng)、格網(wǎng)應(yīng)用和服務(wù)架構(gòu)、數(shù)字化技術(shù)平臺、自適應(yīng)安全架構(gòu)。Gartner預(yù)計2017年全球?qū)⒂谐^60%的大型企業(yè)開始采用人工智能技術(shù)。

在2016年開設(shè)的媒體與認知課程內(nèi)容中，我們參考國內(nèi)外諸多名校相關(guān)課程的理論及項目內(nèi)容，結(jié)合電子工程系在該領(lǐng)域研究的基礎(chǔ)優(yōu)勢和創(chuàng)新性成果，建設(shè)了一套媒體認知人工智能技術(shù)教學課程內(nèi)容及平臺，以期學生獲得人工智能技術(shù)中深度學習技術(shù)的基礎(chǔ)理論和開發(fā)能力。課程通過提供人工智能技術(shù)領(lǐng)域高層次專業(yè)人才必需的基本技能、專業(yè)知識及思維方式，力爭培養(yǎng)具有國際一流科研創(chuàng)新能力的人工智能方向的專業(yè)技術(shù)人才。

2 人工智能技術(shù)教學內(nèi)容

美國MIT大學的Statistical Learning Theory and Applications課程[4]，致力于從統(tǒng)計學習和正則化理論的角度介紹機器學習的基礎(chǔ)和最新進展。除了經(jīng)典的機器學習方法，如支持向量機、流形學習、有監(jiān)督學習等之外，還重點介紹深度學習計算的理論框架并要求學生以項目形式給出基于機器學習和深度神經(jīng)網(wǎng)?j的解決方案。

美國CMU大學的Deep Learning課程[5]通過一系列研討會和課程實驗介紹深度學習這一主題，涵蓋深度學習的基礎(chǔ)知識和基礎(chǔ)理論及應(yīng)用領(lǐng)域，以及大量數(shù)據(jù)學習的最新問題。通過若干實驗題目，學生可以對深度神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用加深理解。

美國Stanford大學的Deep Learning for Natural Language Processing課程[6]深入介紹應(yīng)用于自然語言理解的深度學習前沿研究，討論包括循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶模型、遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等非常新穎的模型。通過上機實驗，學生將學習使用神經(jīng)網(wǎng)絡(luò)工作的技巧來解決實際問題，包括實施、訓練、調(diào)試、可視化和提出自己的神經(jīng)網(wǎng)絡(luò)模型，最終的實驗項目涉及復(fù)雜的循環(huán)神經(jīng)網(wǎng)絡(luò)并將應(yīng)用于大規(guī)模自然語言理解的問題。

媒體認知課程參考了上述著名課程的理論內(nèi)容和項目特色。我們結(jié)合電子工程系在人工智能領(lǐng)域研究的基礎(chǔ)、優(yōu)勢和創(chuàng)新性成果，設(shè)計開發(fā)了一套以人工智能技術(shù)為基礎(chǔ)的前沿探索型媒體認知教學課程內(nèi)容及實驗平臺，試圖構(gòu)建具有國際水準的人工智能技術(shù)教學課程內(nèi)容。

3 深度學習技術(shù)發(fā)展概況

傳統(tǒng)的人工智能系統(tǒng)一般采用機器學習技術(shù)，這類技術(shù)在處理原始形式的自然數(shù)據(jù)的能力上受到限制，一般困難集中在如何將原始數(shù)據(jù)變換為合適的內(nèi)部表示或特征向量。深度學習（deep learning）近年來受到人工智能行業(yè)的廣泛關(guān)注，是一種表征學習（representation-learning）方法，由于擁有可以逼近任意非線性函數(shù)的特性，深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）及其衍生的各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有能力取代傳統(tǒng)模型，在語音、圖像、文本、視頻等各種媒體的內(nèi)容識別系統(tǒng)中發(fā)揮作用。

著名的人工智能科學家Yann LeCun于2015年在Nature上發(fā)表文章[7]指出，深度學習允許多個處理層組成的計算模型學習如何表征具有多級抽象層面的數(shù)據(jù)。這些方法已經(jīng)大大提高語音識別、視覺識別、目標檢測以及諸如藥物發(fā)現(xiàn)、基因?qū)W等許多領(lǐng)域的最新技術(shù)水平。深度學習通過使用反向傳播算法發(fā)現(xiàn)大數(shù)據(jù)集中的復(fù)雜結(jié)構(gòu)，以指示機器如何改變其內(nèi)部參數(shù)，這些內(nèi)部參數(shù)是從深度神經(jīng)網(wǎng)絡(luò)上一層的表示中計算每層中的表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來突破性的進展，而遞歸網(wǎng)絡(luò)則對文本、語音等順序數(shù)據(jù)提供解決方案。

遞歸網(wǎng)絡(luò)可被視作較深的前饋網(wǎng)絡(luò)，其中所有層共享相同的權(quán)重。遞歸網(wǎng)絡(luò)的問題在于難以在長期的時間內(nèi)學習并存儲信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網(wǎng)絡(luò)被提出，主要特點在于其存儲器單元在下一個加權(quán)值為1的時間段內(nèi)與自身連接，因此能夠在復(fù)制自身狀態(tài)的同時累加外部信號，此外這種自我連接被另一個單元通過學習決定何時清除此類信息。長短期記憶模型被證明在語音識別和機器翻譯應(yīng)用系統(tǒng)中比傳統(tǒng)的遞歸網(wǎng)絡(luò)更加有效。

4 基于深度學習的語音識別教學項目

在對上述課程及配套項目進行詳細研究的基礎(chǔ)上，結(jié)合現(xiàn)有科研及平臺，我們構(gòu)建了一種基于深度學習的連續(xù)語音識別項目平臺，包括兩個主要項目：深度神經(jīng)網(wǎng)絡(luò)語音識別項目及長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識別項目。

4.1 深度神經(jīng)網(wǎng)絡(luò)語音識別項目

典型的深度神經(jīng)網(wǎng)絡(luò)語音識別模型[8-9]核心是對聲學特征進行多層變換，并將特征提取和聲學建模在同一網(wǎng)絡(luò)中進行優(yōu)化。神經(jīng)網(wǎng)絡(luò)可以通過非線性激活函數(shù)來擬合任何非線性函數(shù)，可以使用神經(jīng)網(wǎng)絡(luò)取代原有聲學模型中的高斯混合模型，用來計算每一幀的特征與每個音素的相似程度。深度神經(jīng)網(wǎng)絡(luò)原理的結(jié)構(gòu)示意圖如圖1所示。

圖1代表了一個擁有3個隱含層的深度神經(jīng)網(wǎng)絡(luò)。相鄰兩層中，每層的每一個節(jié)點都與另外一層的所有節(jié)點單向連接。數(shù)據(jù)由輸入層輸入，逐層向下一層傳播。對于節(jié)點間的連接權(quán)重，采用BP算法。BP算法對于給定的輸入輸出訓練數(shù)據(jù)，首先通過正向傳播由輸入得到輸出，之后通過實際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據(jù)激活函數(shù)與連接權(quán)重反向傳播殘差，計算出每一個節(jié)點與理想值之間的殘差，最后根據(jù)每個節(jié)點的殘差修正節(jié)點間連接的權(quán)重，通過對權(quán)重的調(diào)整實現(xiàn)訓練，從而更加靠近理論輸出結(jié)果。

將DNN實際利用到語音識別的聲學模型時，其結(jié)構(gòu)示意圖如圖2所示。深度神經(jīng)網(wǎng)絡(luò)的輸入層輸入從每一幀音頻中提取出的特征，通過網(wǎng)絡(luò)的正向傳播，在輸出?郵涑齙鼻爸《雜Σ煌?音素的相似程度，從而作為HMM的發(fā)射概率進行語音識別?？紤]到DNN沒有記憶特性，而語音信號即使是在音素層級上，其前后也有相當大的聯(lián)系。為了提高DNN在處理前后高度關(guān)聯(lián)的語音信號中的表現(xiàn)，一般選擇同時將當前幀的前后部分幀作為網(wǎng)絡(luò)的輸入，從而提高對當前幀識別的正確率。

4.2 長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識別項目

長短期記憶模型應(yīng)用于語音識別中聲學模型的思路和深度神經(jīng)網(wǎng)絡(luò)類似[10-11]，取代高斯混合模型用于計算輸入幀與各音素的匹配程度。原理為首先根據(jù)輸入門判斷輸入的數(shù)據(jù)可以進入記憶細胞的比例，同時遺忘門決定記憶細胞遺忘的比例；之后由記憶細胞殘存的記憶部分和新輸入的部分求和，作為記憶細胞的新記憶值；將新的記憶值根據(jù)輸出門的控制得到記憶細胞的輸出，并通過遞歸投影層降維，降維之后的結(jié)果一方面作為3個控制門的反饋，另一方面作為網(wǎng)絡(luò)的輸出；非遞歸投影層則僅僅作為最終輸出的補充，而不會影響控制門。將長短期記憶模型實際利用到語音識別的聲學模型時，其結(jié)構(gòu)示意圖如圖3所示。

與深度神經(jīng)網(wǎng)絡(luò)不同，長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)因為有記憶特性，所以不需要額外的多幀輸入，只需要輸入當前幀。然而，考慮到語音前后的關(guān)聯(lián)性，一般會將輸入的語音幀進行時間偏移，使得對t時刻幀的特征計算得到的輸出結(jié)果是基于已知未來部分幀的特征之后進行的，從而提高準確度。

第9篇：神經(jīng)網(wǎng)絡(luò)學習方法范文

關(guān)鍵詞:故障診斷;神經(jīng)網(wǎng)絡(luò);徑向基函數(shù);地鐵列車

中圖分類號:TM621文獻標識碼:A文章編號:1007-9599 (2010) 11-0000-02

The RBFNN Application in Fault Diagnosis for the Subway Train

Zhou Qiaolian1,Deng Yabo2,Chen Jianxiao2

(1.Shanghai Shentong Rail Transit Research and Consulting Co,Ltd,Shanghai2011031,China;2.Zhuzhou CSR Times Electric Co,Ltd,Zhuzhou4120012,China)

Abstract:The means is proposed in this paper about subway train malfunction diagnosing system applying RBFNN.Subway train running information is collected and preprocessed,which is used as training sample to build RBFNN.After RBFNN learned well,collected real-time information is inputted into the neural network,and then malfunction and coming malfunction is output correctly.

Keywords:Malfunction diagnosing;Neural network;Radial Basis

Function;Subway train

一、引言

我國城市軌道交通的高速發(fā)展,迫切需要保障地鐵機車的運營安全。目前對地鐵列車的故障診斷等方面還沒有理想的解決方案。本文提出了一種方法,試圖借助徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)來解決地鐵列車的故障診斷的技術(shù)難題。

二、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function Neural Network,以下簡稱RBFNN)是一類特殊的三層前饋神經(jīng)網(wǎng)絡(luò)。

圖1是RBFNN的基本結(jié)構(gòu)。它可以實現(xiàn)由輸入向量到輸出向量的映射。

三、故障診斷應(yīng)用

(一)建立神經(jīng)網(wǎng)絡(luò)

要把RBFNN運用到地鐵列車的故障診斷中去,必須先利用訓練樣本建立好RBFNN。

1.數(shù)據(jù)分類:地鐵列車的數(shù)據(jù)信息非常豐富,首先需要根據(jù)地鐵列車的特點,將各類數(shù)據(jù)按功能單元分類,如中央控制單元的數(shù)據(jù)包括地鐵列車狀態(tài)、通信狀態(tài)、網(wǎng)絡(luò)命令、數(shù)字輸入輸出信號和模擬輸入信號等,牽引單元的數(shù)據(jù)包括牽引工作狀態(tài)、輸入指令、電機轉(zhuǎn)速、電機轉(zhuǎn)矩、電機電流、網(wǎng)壓、電機溫度、級位信號和載荷信號等,制動單元的數(shù)據(jù)包括輪徑、載荷信號、速度信號、制動級位、傳感器狀態(tài)等,門控單元的數(shù)據(jù)包括車門打開狀態(tài)、車門開關(guān)反饋、門速度反饋、門防夾狀態(tài)、門切除狀態(tài)等。

2.生成樣本數(shù)據(jù):針對地鐵列車的典型故障和臨界故障等情況,通過模擬產(chǎn)生n類故障方式,收集來自傳感器的檢測數(shù)據(jù)、表征地鐵列車狀態(tài)及車載設(shè)備的模擬量、數(shù)字量以及地鐵列車總線上的相關(guān)數(shù)據(jù)等信息。然后按照上述的分類方法,對數(shù)據(jù)信息按照功能單元(中央控制單元、牽引單元、制動單元、門控單元等)分類和綜合(系統(tǒng)級),形成建立各徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)所需的訓練樣本向量,如中央控制單元的訓練樣本向量為,牽引單元的訓練樣本向量為,制動單元的訓練樣本向量為,門控單元的訓練樣本向量為,系統(tǒng)級的訓練樣本向量為。

3.建立RBFNN的基本結(jié)構(gòu)。通過上述訓練樣本可以確定各神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點個數(shù)為n,輸出層的節(jié)點個數(shù)為。

(二)訓練神經(jīng)網(wǎng)絡(luò)

訓練時,隱含層神經(jīng)元學習采用無監(jiān)督學習的聚類算法;輸出層神經(jīng)元采用有監(jiān)督的最小二乘法學習方法。下面以中央控制單元RBFNN的建立為例作具體說明。

對于中央控制單元,在模擬產(chǎn)生n類故障后,得到的訓練樣本的狀態(tài)向量,包括地鐵列車狀態(tài)、通信狀態(tài)、網(wǎng)絡(luò)命令、數(shù)字輸入輸出信號和模擬輸入信號等,該訓練樣本將作為神經(jīng)網(wǎng)絡(luò)的輸入。

針對隱含層神經(jīng)元的學習算法的具體步驟如下:

1.從狀態(tài)向量中選取一組樣本作為隱含層的各神經(jīng)元中心,為隱含層神經(jīng)元數(shù)。

2.然后對所有狀態(tài)向量進行歸類,輸入的狀態(tài)向量若滿足條件

(1)

則將其歸于第類向量;

3.歸類完畢后,再求出隱含層每個神經(jīng)元的新中心和寬度,即

對輸出層神經(jīng)元的學習的算法如下:記某故障診斷結(jié)果為,則對第個故障診斷結(jié)果有:

式中,表示隱含層第神經(jīng)元到輸出層第個故障診斷結(jié)果的權(quán)值,表示距的距離,是選取的高斯函數(shù),

式中是隱含層第個神經(jīng)元的輸出中間向量,為高斯函數(shù)的寬度。

定義故障診斷輸出的誤差函數(shù)為

式中,為輸出層第個神經(jīng)元的期望故障診斷值,為其實際故障診斷輸出值。將式(4)代入上式可得

求解使故障診斷誤差函數(shù)最小時的一組權(quán)系數(shù),可令

則得到一系列方程組,

求解上述方程組即可得到最優(yōu)權(quán)系數(shù)。

最優(yōu)權(quán)系數(shù)確定后,中央控制單元RBFNN就訓練完畢。

通過相同的方法建立并訓練牽引單元、制動單元、門控單元和系統(tǒng)級等的RBFNN。

(三)故障診斷

當?shù)罔F列車的單元或系統(tǒng)發(fā)生故障或?qū)⒁l(fā)生故障時,采集的實時數(shù)據(jù)經(jīng)過分類和綜合處理后,輸入訓練好的各RBFNN,其穩(wěn)態(tài)輸出即為已經(jīng)發(fā)生的故障種類或?qū)⒁l(fā)生的故障。

故障診斷系統(tǒng)原理見下圖2所示。

四、系統(tǒng)實現(xiàn)

為實現(xiàn)基于RBFNN的地鐵列車故障診斷方法,需構(gòu)建一個三層系統(tǒng),包括應(yīng)用層的上位機、采集數(shù)據(jù)的下位機和底層的傳感器等。

底層傳感器主要為現(xiàn)有地鐵列車沒有而故障診斷系統(tǒng)需要額外加裝的傳感器,如加速度傳感器等。

下位機包含采集轉(zhuǎn)換模塊、模擬量采集模塊、數(shù)字量采集模塊和總線接口模塊等。采集轉(zhuǎn)換模塊主要采集加裝的傳感器反饋的相關(guān)數(shù)據(jù)信息,如加速度、振動等數(shù)據(jù)。模擬量采集模塊主要采集表征地鐵列車運行狀態(tài)的一些模擬量,如電壓、電流、溫度等。數(shù)字量采集模塊主要采集表征地鐵列車運行狀態(tài)的數(shù)字量,如開關(guān)閉合狀態(tài)、隔離裝置狀態(tài)等?？偩€接口模塊主要采集地鐵列車總線上的數(shù)據(jù)。針對不同的地鐵列車總線(如MVB,MTB等),通過相應(yīng)的接口和協(xié)議,采集需要的地鐵列車相關(guān)數(shù)據(jù)。下位機將數(shù)據(jù)集中后再匯總給上位機。

上位機是完成故障診斷的核心部分,主要負責接收、處理并存儲下位機匯總的地鐵列車狀態(tài)數(shù)據(jù)。首先完成對采集到的地鐵列車相關(guān)數(shù)據(jù)的分類處理。訓練階段,把分類處理好后的數(shù)據(jù)作為各RBFNN的訓練樣本,然后利用訓練樣本生成地鐵列車故障診斷所需的各RBFNN。應(yīng)用階段則不斷采集地鐵列車的實時數(shù)據(jù)信息。當?shù)罔F列車發(fā)生故障或?qū)⒁l(fā)生故障時,上位機會依據(jù)各RBFNN診斷模塊的輸出作出相應(yīng)的判斷和預(yù)警。

系統(tǒng)結(jié)構(gòu)圖如圖2所示。

五、結(jié)束語

本文從人工智能的角度,提出了一種基于RBFNN的地鐵列車故障診斷方法。通過軟件編程,建立并應(yīng)用了故障診斷所需要的RBFNN。從應(yīng)用效果看,基本能達到預(yù)期目的。

參考文獻:

[1]W.F.Gabriel,Using Spectral Estimation Techniques in Adaptive Processing Antenna Systems”,IEEE Trans,Antenn.Propagat,1986

[2]靳蕃.神經(jīng)計算智能基礎(chǔ)原理、方法.西南交通大學出版社,2000

注:

1該課題屬于國家863計劃課題《軌道交通運營安全的關(guān)鍵裝備監(jiān)控預(yù)警及應(yīng)急技術(shù)》的子課題,863項目課題編號:2007AA11Z247

作者介紹:

周巧蓮,女(1966-)漢族、上海、高級工程師。