導(dǎo)語：如何才能寫好一篇bp神經(jīng)網(wǎng)絡(luò)，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

1、bp（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。

2、BP神經(jīng)網(wǎng)絡(luò)算法是在BP神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過任意選定一組權(quán)值，將給定的目標(biāo)輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。

（來源：文章屋網(wǎng) ）

篇2

關(guān)鍵字神經(jīng)網(wǎng)絡(luò)，BP模型，預(yù)測

1引言

在系統(tǒng)建模、辨識和預(yù)測中，對于線性系統(tǒng)，在頻域，傳遞函數(shù)矩陣可以很好地表達(dá)系統(tǒng)的黑箱式輸入輸出模型；在時域，Box-Jenkins方法、回歸分析方法、ARMA模型等，通過各種參數(shù)估計方法也可以給出描述。對于非線性時間序列預(yù)測系統(tǒng)，雙線性模型、門限自回歸模型、ARCH模型都需要在對數(shù)據(jù)的內(nèi)在規(guī)律知道不多的情況下對序列間關(guān)系進行假定。可以說傳統(tǒng)的非線性系統(tǒng)預(yù)測，在理論研究和實際應(yīng)用方面，都存在極大的困難。相比之下，神經(jīng)網(wǎng)絡(luò)可以在不了解輸入或輸出變量間關(guān)系的前提下完成非線性建模[4，6]。神經(jīng)元、神經(jīng)網(wǎng)絡(luò)都有非線性、非局域性、非定常性、非凸性和混沌等特性，與各種預(yù)測方法有機結(jié)合具有很好的發(fā)展前景，也給預(yù)測系統(tǒng)帶來了新的方向與突破。建模算法和預(yù)測系統(tǒng)的穩(wěn)定性、動態(tài)性等研究成為當(dāng)今熱點問題。目前在系統(tǒng)建模與預(yù)測中，應(yīng)用最多的是靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)，這主要是因為這種網(wǎng)絡(luò)具有通過學(xué)習(xí)逼近任意非線性映射的能力。利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)建立系統(tǒng)的輸入/輸出模型，本質(zhì)上就是基于網(wǎng)絡(luò)逼近能力，通過學(xué)習(xí)獲知系統(tǒng)差分方程中的非線性函數(shù)。但在實際應(yīng)用中，需要建模和預(yù)測的多為非線性動態(tài)系統(tǒng)，利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)必須事先給定模型的階次，即預(yù)先確定系統(tǒng)的模型，這一點非常難做到。近來，有關(guān)基于動態(tài)網(wǎng)絡(luò)的建模和預(yù)測的研究，代表了神經(jīng)網(wǎng)絡(luò)建模和預(yù)測新的發(fā)展方向。

2BP神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法?，F(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。如圖1所示，BP神經(jīng)網(wǎng)絡(luò)包括以下單元：①處理單元(神經(jīng)元)（圖中用圓圈表示），即神經(jīng)網(wǎng)絡(luò)的基本組成部分。輸入層的處理單元只是將輸入值轉(zhuǎn)入相鄰的聯(lián)接權(quán)重，隱層和輸出層的處理單元將它們的輸入值求和并根據(jù)轉(zhuǎn)移函數(shù)計算輸出值。②聯(lián)接權(quán)重(圖中如V,W)。它將神經(jīng)網(wǎng)絡(luò)中的處理單元聯(lián)系起來，其值隨各處理單元的聯(lián)接程度而變化。③層。神經(jīng)網(wǎng)絡(luò)一般具有輸入層x、隱層y和輸出層o。④閾值。其值可為恒值或可變值，它可使網(wǎng)絡(luò)能更自由地獲取所要描述的函數(shù)關(guān)系。⑤轉(zhuǎn)移函數(shù)F。它是將輸入的數(shù)據(jù)轉(zhuǎn)化為輸出的處理單元，通常為非線性函數(shù)。

2.1基本算法

BP算法主要包含4步，分為向前傳播和向后傳播兩個階段：

1）向前傳播階段

（1）從樣本集中取一個樣本（Xp，Yp），將Xp輸入網(wǎng)絡(luò)；

（2）計算相應(yīng)的實際輸出Op

在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運行時的執(zhí)行過程。

2）向后傳播階段

（1）計算實際輸出Op與相應(yīng)的理想輸出Yp的差；

（2）按極小化誤差的方式調(diào)整權(quán)矩陣。

這兩個階段的工作受到精度要求的控制，在這里取作為網(wǎng)絡(luò)關(guān)于第p個樣本的誤差測度，而將網(wǎng)絡(luò)關(guān)于整個樣本集的誤差測度定義為。圖2是基本BP算法的流程圖。

2.2動態(tài)BP神經(jīng)網(wǎng)絡(luò)預(yù)測算法

在經(jīng)典的BP算法以及其他的訓(xùn)練算法中都有很多變量，這些訓(xùn)練算法可以確定一個ANN結(jié)構(gòu)，它們只訓(xùn)練固定結(jié)構(gòu)的ANN權(quán)值（包括聯(lián)接權(quán)值和結(jié)點轉(zhuǎn)換函數(shù)）。在自動設(shè)計ANN結(jié)構(gòu)方面，也已有較多的嘗試，比如構(gòu)造性算法和剪枝算法。前一種是先隨機化網(wǎng)絡(luò)，然后在訓(xùn)練過程中有必要地增加新的層和結(jié)點；而剪枝法則正好相反。文獻[2]中提出了演化神經(jīng)網(wǎng)絡(luò)的理念，并把EP算法與BP進行了組合演化；也有很多學(xué)者把遺傳算法和BP進行結(jié)合，但這些算法都以時間復(fù)雜度以及空間復(fù)雜度的增加為代價。根據(jù)Kolmogorov定理,對于任意給定的L2型連續(xù)函數(shù)f:[0,1]nRm,f可以精確地用一個三層前向神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，因而可以只考慮演化網(wǎng)絡(luò)的權(quán)值和結(jié)點數(shù)而不影響演化結(jié)果。基于此，在BP原有算法的基礎(chǔ)上，增加結(jié)點數(shù)演化因子，然后記錄每層因子各異時演化出的結(jié)構(gòu)，最后選取最優(yōu)的因子及其網(wǎng)絡(luò)結(jié)構(gòu)，這樣就可以避免由于增加或剪枝得到的局部最優(yōu)。根據(jù)實驗得知，不同的預(yù)測精度也影響網(wǎng)絡(luò)層神經(jīng)元的結(jié)點數(shù)，所以可根據(jù)要求動態(tài)地建立預(yù)測系統(tǒng)。具體步驟如下：

（1）將輸入向量和目標(biāo)向量進行歸一化處理。

（2）讀取輸入向量、目標(biāo)向量，記錄輸入維數(shù)m、輸出層結(jié)點數(shù)n。

（3）當(dāng)訓(xùn)練集確定之后，輸入層結(jié)點數(shù)和輸出層結(jié)點數(shù)隨之而確定，首先遇到的一個十分重要而又困難的問題是如何優(yōu)化隱層結(jié)點數(shù)和隱層數(shù)。實驗表明，如果隱層結(jié)點數(shù)過少，網(wǎng)絡(luò)不能具有必要的學(xué)習(xí)能力和信息處理能力。反之，若過多，不僅會大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性（這一點對硬件實現(xiàn)的網(wǎng)絡(luò)尤其重要），網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點，而且會使網(wǎng)絡(luò)的學(xué)習(xí)速度變得很慢。隱層結(jié)點數(shù)的選擇問題一直受到神經(jīng)網(wǎng)絡(luò)研究工作者的高度重視。Gorman指出隱層結(jié)點數(shù)s與模式數(shù)N的關(guān)系是：s＝log2N；Kolmogorov定理表明，隱層結(jié)點數(shù)s＝2n＋1（n為輸入層結(jié)點數(shù)）；而根據(jù)文獻[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。

（4）設(shè)置結(jié)點數(shù)演化因子a。為了快速建立網(wǎng)絡(luò)，可以對其向量初始化，并從小到大排序[4，7]。

（5）建立BP神經(jīng)網(wǎng)絡(luò)。隱含層傳遞函數(shù)用tansig，輸出層用logsig，訓(xùn)練函數(shù)采用動態(tài)自適應(yīng)BP算法，并制訂停止準(zhǔn)則：目標(biāo)誤差精度以及訓(xùn)練代數(shù)。

（6）初始化網(wǎng)絡(luò)。

（7）訓(xùn)練網(wǎng)絡(luò)直到滿足停止判斷準(zhǔn)則。

（8）用測試向量對網(wǎng)絡(luò)進行預(yù)測，并記錄誤差和逼近曲線，評估其網(wǎng)絡(luò)的適應(yīng)性。其適應(yīng)度函數(shù)采取規(guī)則化均方誤差函數(shù)。

（9）轉(zhuǎn)到（5），選取下一個演化因子，動態(tài)增加隱含層結(jié)點數(shù)，直到最后得到最佳預(yù)測網(wǎng)絡(luò)。

3基于神經(jīng)網(wǎng)絡(luò)的預(yù)測原理[4]

3.1正向建模

正向建模是指訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)表達(dá)系統(tǒng)正向動態(tài)的過程，這一過程建立的神經(jīng)網(wǎng)絡(luò)模型稱為正向模型，其結(jié)構(gòu)如圖3所示。其中，神經(jīng)網(wǎng)絡(luò)與待辨識的系統(tǒng)并聯(lián)，兩者的輸出誤差用做網(wǎng)絡(luò)的訓(xùn)練信號。顯然，這是一個典型的有導(dǎo)師學(xué)習(xí)問題，實際系統(tǒng)作為教師，向神經(jīng)網(wǎng)絡(luò)提供算法所需要的期望輸出。當(dāng)系統(tǒng)是被控對象或傳統(tǒng)控制器時，神經(jīng)網(wǎng)絡(luò)多采用多層前向網(wǎng)絡(luò)的形式，可直接選用BP網(wǎng)絡(luò)或它的各種變形。而當(dāng)系統(tǒng)為性能評價器時，則可選擇再勵學(xué)習(xí)算法，這時網(wǎng)絡(luò)既可以采用具有全局逼近能力的網(wǎng)絡(luò)（如多層感知器），也可選用具有局部逼近能力的網(wǎng)絡(luò)（如小腦模型控制器等）。3.2逆向建模

建立動態(tài)系統(tǒng)的逆模型，在神經(jīng)網(wǎng)絡(luò)中起著關(guān)鍵作用，并且得到了廣泛的應(yīng)用。其中，比較簡單的是直接逆建模法，也稱為廣義逆學(xué)習(xí)。其結(jié)構(gòu)如圖4所示，擬預(yù)報的系統(tǒng)輸出作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)輸出與系統(tǒng)輸入比較，相應(yīng)的輸入誤差用于訓(xùn)練，因而網(wǎng)絡(luò)將通過學(xué)習(xí)建立系統(tǒng)的逆模型。但是，如果所辨識的非線性系統(tǒng)是不可逆的，利用上述方法將得到一個不正確的逆模型。因此，在建立系統(tǒng)時，可逆性應(yīng)該先有所保證。

4應(yīng)用實例分析

以我國西南某地震常發(fā)地區(qū)的地震資料作為樣本來源，實現(xiàn)基于動態(tài)神經(jīng)網(wǎng)絡(luò)的地震預(yù)報。根據(jù)資料，提取出7個預(yù)報因子和實際發(fā)生的震級M作為輸入和目標(biāo)向量。預(yù)報因子為半年內(nèi)M>=3的地震累計頻度、半年內(nèi)能量釋放積累值、b值、異常地震群個數(shù)、地震條帶個數(shù)、是否處于活動期內(nèi)以及相關(guān)地震區(qū)地震級。在訓(xùn)練前，對數(shù)據(jù)進行歸一化處理。由于輸入樣本為7維的輸入向量，一般情況下輸入層設(shè)7個神經(jīng)元。根據(jù)實際情況，輸出層神經(jīng)元個數(shù)為1。隱含層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)，輸出層也可以動態(tài)選擇傳遞函數(shù)。實例數(shù)據(jù)來自文獻[4]，將數(shù)據(jù)集分為訓(xùn)練集、測試集和確定集。表1中的7×7數(shù)組表示歸一化后的訓(xùn)練向量，第一個7表示預(yù)報因子數(shù)，第二個7表示樣本數(shù)。

表1歸一化后的訓(xùn)練向量

在不同神經(jīng)元數(shù)情況下，對網(wǎng)絡(luò)進行訓(xùn)練和仿真，得到如圖5所示的一組預(yù)測誤差曲線。其中，曲線A表示隱層結(jié)點數(shù)為6時的預(yù)測誤差曲線，曲線B表示隱含層結(jié)點數(shù)為3時的預(yù)測誤差曲線，曲線C表示隱含層結(jié)點數(shù)為5時的預(yù)測誤差曲線，曲線D表示隱含層結(jié)點數(shù)為4時的預(yù)測誤差曲線。將五種情況下的誤差進行對比，曲線C表示的網(wǎng)絡(luò)預(yù)測性能最好，其隱含層神經(jīng)元數(shù)為5，圖中曲線E表示的是隱含層結(jié)點數(shù)為15時的預(yù)測誤差曲線（文獻[4]中的最好結(jié)果）。同時也證明，在設(shè)計BP網(wǎng)絡(luò)時，不能無限制地增加層神經(jīng)元的個數(shù)。若過多，不僅會大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點，而且會使網(wǎng)絡(luò)的學(xué)習(xí)速度、預(yù)測速度變得很慢。

5結(jié)論

本文針對基本的BP神經(jīng)網(wǎng)絡(luò)，提出了可動態(tài)改變神經(jīng)元數(shù)（與精度相關(guān)）的BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法，可以根據(jù)實際情況建立預(yù)測系統(tǒng)。用此種方法可以建立最好的神經(jīng)網(wǎng)絡(luò)，不會有多余的神經(jīng)元，也不會讓網(wǎng)絡(luò)在學(xué)習(xí)過程中過早陷于局部極小點。

參考文獻

[1]YaoX,LiuY.FastEvolutionaryProgramming.inEvolutionaryProgrammingⅤ:Proc.5thAnnu.Conf.EvolutionaryProgram,L.Fogel,P.AngelineandT.Bäck,Eds.Cambridge,MA:MITPress,1996,451-460

[2]XinYao,YongLiu,ANewEvolutionarySystemforEvolvingArtificialNeuralNetworksIEEETRANSACTIONSONNEURALNETWORKS,VOL8,NO.31997，694-714

[3]潘正君，康立山，陳毓屏.演化計算[M].北京:清華大學(xué)出版社，1998

[4]飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與實現(xiàn).北京:電子工業(yè)出版社，2005

[5]蔡曉芬，方建斌.演化神經(jīng)網(wǎng)絡(luò)算法.江漢大學(xué)學(xué)報，第33卷第3期，2005.9

篇3

[關(guān)鍵詞]數(shù)據(jù)挖掘 BP神經(jīng)網(wǎng)絡(luò) CPI預(yù)測

一、引言

目前，隨著居民收入的快速增長，中國居民消費能力不斷升級，尤其是近期我國居民消費價格總水平出現(xiàn)了明顯上漲，其中糧食、豬肉等食品價格屢創(chuàng)新高。對于相關(guān)部門來說，應(yīng)努力做到關(guān)注國際形勢的同時，根據(jù)市場價格的變化情況進行科學(xué)分析，最終制定合理的綜合性措施。應(yīng)用現(xiàn)代技術(shù)對CPI進行預(yù)測在當(dāng)前來說是很有意義的，國內(nèi)很多專家學(xué)者在這方面都做了研究。以往學(xué)者對CPI的預(yù)測更多的是運用計量經(jīng)濟學(xué)方法，而通過數(shù)據(jù)挖掘方法進行CPI預(yù)測的研究不多，值得我們進一步探討。

BP神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用最廣泛的人工神經(jīng)預(yù)測網(wǎng)絡(luò)，它獨有的容錯性和泛化能力能較好地進行預(yù)測。本文選用SPSS公司的Clementine來進行BP網(wǎng)絡(luò)模型的實現(xiàn)，Clementine中的工具箱使BP網(wǎng)絡(luò)的建立、訓(xùn)練以及預(yù)測都變得非常簡單，而且訓(xùn)練過程及效果非常直觀，使神經(jīng)網(wǎng)絡(luò)應(yīng)用于實際具有更大的可行性。

二、BP神經(jīng)網(wǎng)絡(luò)概述

BP網(wǎng)絡(luò)是在1974年由Worbos提出，1986年Rumelhart和McCelland等人對具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播（Error Back Proragation）算法進行了詳盡的分析，實現(xiàn)了Minsky關(guān)于多層前饋網(wǎng)絡(luò)的設(shè)想。

BP算法基本思想：學(xué)習(xí)過程由信號的正向傳播與誤差的逆向傳播兩個過程組成，正向傳播時，模式作用于輸入層，經(jīng)隱層處理后，傳向輸出層。若輸出層未能得到期望的輸出，則轉(zhuǎn)入誤差的逆向傳播階段，將輸出誤差按某種形式通過隱層向輸入層逐層返回，并分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，以作為修改各單元權(quán)值的依據(jù)，這種信號正向傳播與誤差逆向傳播的各層權(quán)矩陣的修改過程是周而復(fù)始地進行的。權(quán)值不斷修改的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)過程。此過程一直進行到網(wǎng)絡(luò)輸出的誤差逐漸減少到可接受的程度或達(dá)到設(shè)定的學(xué)習(xí)次數(shù)為止。BP神經(jīng)網(wǎng)絡(luò)在進行設(shè)計時，主要考慮以下因素。

1.網(wǎng)絡(luò)層數(shù)。一般BP網(wǎng)絡(luò)由一個輸入層，一個輸出層，及若干隱含層構(gòu)成。實際應(yīng)用中，通常利用一個隱含層就基本上能滿足大部分應(yīng)用問題的需求，因為兩層的神經(jīng)網(wǎng)絡(luò)可以逼近任何非線性函數(shù)。而盲目地增加隱含層層數(shù)，往往會使學(xué)習(xí)速度變慢，同時增加了結(jié)構(gòu)的復(fù)雜性。

2.輸入層節(jié)點數(shù)。輸入層節(jié)點數(shù)由影響輸出變量的變量個數(shù)來決定，一般來說有幾個變量對輸出變量的結(jié)果有影響就選擇幾個輸入層節(jié)點。輸入網(wǎng)絡(luò)的節(jié)點過少，會使得網(wǎng)絡(luò)不能很好地獲得輸入與輸出數(shù)據(jù)的非線性關(guān)系，如果過多，就會增加過度適應(yīng)的危險和增大了訓(xùn)練集的大小。

3.輸出層節(jié)點數(shù)。輸出層節(jié)點數(shù)取決于輸出數(shù)據(jù)類型和表示該類型所需的具體數(shù)據(jù)。

4.隱層節(jié)點數(shù)。一個具有無限隱層節(jié)點的兩層BP網(wǎng)絡(luò)可以逼近任何非線性函數(shù)，但對于輸入與輸出均為有限個的網(wǎng)絡(luò)，并不需要無限個隱層節(jié)點，這就涉及到如何選擇隱層節(jié)點數(shù)的問題，而這一問題的復(fù)雜性，使得至今為止，尚未找到一個很好的解析式，隱層節(jié)點數(shù)往往根據(jù)前人設(shè)計所得的經(jīng)驗和自己進行試驗來確定，也可從1、2、3開始。一般認(rèn)為，隱層節(jié)點數(shù)與數(shù)據(jù)、尋找的模式以及網(wǎng)絡(luò)的類型都有直接的關(guān)系。另外，隱層節(jié)點數(shù)太多會導(dǎo)致學(xué)習(xí)時間過長；而隱層節(jié)點數(shù)太少，容錯性差，識別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面的因素進行設(shè)計。

隱層節(jié)點數(shù)的初始值可由（1）式來確定：

式中：m、n分別為輸入層結(jié)點數(shù)與輸出層結(jié)點數(shù)，l為隱層節(jié)點數(shù)。

5.傳遞函數(shù)。BP神經(jīng)網(wǎng)絡(luò)中的傳遞函數(shù)通常采用S（sigmoid）型函數(shù)，即

上式中x為前面組合函數(shù)的結(jié)果，一般取進入單元的輸入加權(quán)和。

三、BP網(wǎng)絡(luò)在CPI預(yù)測中的應(yīng)用實例

我國的CPI由食品、煙酒及用品、衣著、家庭設(shè)備用品及服務(wù)、醫(yī)療保健及個人用品、交通和通信、娛樂教育文化用品及服務(wù)、居住等類構(gòu)成。CPI具有較強的非線性特性，要對其進行較為準(zhǔn)確的預(yù)測，就應(yīng)該采用能捕捉非線性變化規(guī)律的方法。筆者將BP神經(jīng)網(wǎng)絡(luò)引入到CPI預(yù)測中來，用歷史數(shù)據(jù)預(yù)測未來CPI相對增長率，彌補傳統(tǒng)預(yù)測方法的不足。顯然，CPI相對增長率與類別各自的增長率有關(guān)，在本文中正是從這類別對CPI的影響來進行模型的構(gòu)建。

1.數(shù)據(jù)讀取

本實例選取國家統(tǒng)計局的統(tǒng)計數(shù)據(jù)進行研究，同時采用Access作為數(shù)據(jù)庫平臺，前八個字段為當(dāng)月CPI構(gòu)成的類別指數(shù)，第九個字段為下月CPI，取部分記錄顯示，見表1：

表1 居民消費價格指數(shù)表

2.數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理對于數(shù)據(jù)挖掘是一個重要的問題，因為現(xiàn)實中的數(shù)據(jù)多半是不完整的、有噪聲的和不一致的。數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約。數(shù)據(jù)清理可以去掉數(shù)據(jù)中的臟數(shù)據(jù)，糾正不一致，包括空值處理、規(guī)范化數(shù)據(jù)格式、拆分?jǐn)?shù)據(jù)等。數(shù)據(jù)集成將數(shù)據(jù)由多個源合并成一致的數(shù)據(jù)存儲。數(shù)據(jù)歸約可以通過聚集、刪除冗余特性或聚類等方法來壓縮數(shù)據(jù)。本文中數(shù)據(jù)預(yù)處理主要是對各輸入指標(biāo)進行歸一化處理，以便進行BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)建。即將數(shù)值限定在［0，1］區(qū)間內(nèi)，歸一化公式為：

該步驟在Clementine中通過Field Ops部分的Derive組件實現(xiàn)。

3.模型構(gòu)建及應(yīng)用分析

本研究采用只含一隱層的BP網(wǎng)絡(luò)，選取輸入層節(jié)點數(shù)為8（分別為某個月的8個類別各自的相對增長率）；輸出層節(jié)點數(shù)為1（為下個月的居民消費價格指數(shù)的相對增長率），同時根據(jù)前述經(jīng)驗公式，選取隱層節(jié)點數(shù)為3，而傳遞函數(shù)則選取默認(rèn)的S型函數(shù)。在本模型中，還需設(shè)置以下參數(shù)，動量因子0.8，初始學(xué)習(xí)速率0.4，最大訓(xùn)練步數(shù)300。以上參數(shù)的選取以及模型的構(gòu)建均在Clementine中實現(xiàn)，流程如圖1所示。

在本模型中，隨機抽取數(shù)據(jù)的70％作為訓(xùn)練樣本，30％作為驗證樣本，來進行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練過程見圖2。

圖1 模型流程圖

圖2 模型訓(xùn)練過程

從圖2中可以看到該模型的準(zhǔn)確度較高，誤差在允許的范圍內(nèi)波動，故將該模型應(yīng)用于CPI預(yù)測是切實可行的。緊接著，將上文構(gòu)建出的神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于2007年10月CPI預(yù)測中，因前半部分流程同圖1，故從居民消費指數(shù)節(jié)點開始截取，流程如圖3所示。

圖3 預(yù)測過程

表2 2007年10月CPI預(yù)測結(jié)果

通過模型應(yīng)用，預(yù)測結(jié)果如表2所示。從表2的$N-下月居民消費價格指數(shù)歸一值字段中可以看到，2007年10月，居民消費價格指數(shù)歸一值為0.968，通過公式（3）逆推算出當(dāng)月CPI原值為106.25。該值在一定程度上反應(yīng)了近期宏觀政策制定的效果，從近期政策面及各方面反應(yīng)來看，該預(yù)測結(jié)果基本符合該月的真實情況。總的來說，該模型的性能比較良好，可以達(dá)到對CPI進行預(yù)測的目的。

四、結(jié)論

通過上文我們能夠看到，BP神經(jīng)網(wǎng)絡(luò)在CPI預(yù)測中具有較高的精度，在已知上月類別指數(shù)的情況下，通過該模型能夠很快地計算出較準(zhǔn)確的當(dāng)月CPI指數(shù)，這能夠給相關(guān)部門進行綜合性措施的制定提供較大的幫助，同時能夠提供較為科學(xué)的依據(jù)。本文初步嘗試采用CPI近幾年數(shù)據(jù)建立BP神經(jīng)網(wǎng)絡(luò)模型，旨在提出一種進行CPI預(yù)測的新思路。但由于CPI指數(shù)近幾年來才按現(xiàn)行的標(biāo)準(zhǔn)進行統(tǒng)計，數(shù)據(jù)量有限，加上政策的制定對CPI的直接影響，所以在應(yīng)用該模型進行預(yù)測時可能會出現(xiàn)一些大的誤差，但總體來說，該模型已基本能夠?qū)PI進行預(yù)測。當(dāng)然，在應(yīng)用該模型時，應(yīng)隨著新數(shù)據(jù)的進一步加入調(diào)整模型的各項參數(shù)，以使模型訓(xùn)練及預(yù)測能夠達(dá)到最理想的效果。

參考文獻：

［1］黃章樹，王前輝.基于數(shù)據(jù)挖掘的電信增值業(yè)務(wù)營銷策略研究［J］.福州大學(xué)學(xué)報（社科版），2005，（4）.

［2］黃章樹，王鳳英.基于決策樹技術(shù)的福州市居民出行特征分析［J］.重慶工商大學(xué)學(xué)報（自然科學(xué)版），2007，（3）.

篇4

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò) 管道缺陷 缺陷分類

目前，通過圖像處理的方式進行模式識別已成為新的研究熱點，并廣泛應(yīng)用于識別汽車車牌、手寫漢字、水位線、水稻品質(zhì)及各種工業(yè)產(chǎn)品等領(lǐng)域。在城市管道檢測技術(shù)方面，現(xiàn)多采用由管道機器人對待測管道進行內(nèi)部信息采集，再由人工進行實時的觀測并進行判斷。但是，由人工對管道內(nèi)部問題進行判斷，其判斷的主觀性與遺漏的可能性都是難以避免的。針對這一情況，通過人工智能算法―BP神經(jīng)網(wǎng)絡(luò)對已獲取的圖像信息進行處理，從而得到管道內(nèi)部的缺陷類型，不僅降低了系統(tǒng)操作人員的勞動強度，而且從整體上提高了缺陷分類軟件的易用性和可移植性。

監(jiān)控中視頻處理的過程如圖1所示，本項目將在圖像處理技術(shù)的基礎(chǔ)上通過BP神經(jīng)網(wǎng)絡(luò)著重對分類識別的部分進行研究，以達(dá)到機器智能檢測的目的。

1 圖像的預(yù)處理

1.1 管道內(nèi)部缺陷樣本的采集

建立管道內(nèi)部缺陷庫，是進行管道內(nèi)部缺陷識別的必要條件。同時也是對識別方法進行客觀測試，估計其性能，評價其優(yōu)缺點的根本依據(jù)。采集樣本時應(yīng)符合大多數(shù)管道問題的實際情況，反映各種管道材料、直徑、形狀的特征等。

較差的學(xué)習(xí)樣本不但會導(dǎo)致網(wǎng)絡(luò)的錯誤映射關(guān)系，而且還可能會使該網(wǎng)絡(luò)的學(xué)習(xí)過程不收斂， 因此采集學(xué)習(xí)樣本對于BP神經(jīng)網(wǎng)絡(luò)系統(tǒng)的學(xué)習(xí)和訓(xùn)練尤為重要。本實驗采集學(xué)習(xí)樣本的原則為：

1.1.1 代表性

所用樣本需要起到以點帶面的作用，應(yīng)當(dāng)體現(xiàn)出輸入輸出關(guān)系，如選用特征突出的樣本，只有通過具有代表性的學(xué)習(xí)樣本所訓(xùn)練出來的BP神經(jīng)網(wǎng)絡(luò)才能很好的映射輸入輸出的關(guān)系。

1.1.2 廣泛性

所用樣本應(yīng)能提供該BP網(wǎng)絡(luò)各種情況下的輸入，廣泛的樣本可使訓(xùn)練出來的BP網(wǎng)絡(luò)具有良好的適應(yīng)力，這對于管道內(nèi)部缺陷識別與分類來說是非常重要的。

1.1.3 緊湊性

若學(xué)習(xí)樣本含有較多的無效成分會導(dǎo)致學(xué)習(xí)過程難以收斂，從而導(dǎo)致訓(xùn)練出來的網(wǎng)絡(luò)會產(chǎn)生錯誤的映射，使網(wǎng)絡(luò)輸出過多偏向無效學(xué)習(xí)成分所形成的錯誤的映射關(guān)系。

1.2 歸一化處理

管道缺陷種類繁雜，缺陷特征各不相同，即使是常見缺陷也會因大小和分布的不同而有所差異，所以在進行缺陷識別前需要對其進行歸一化處理。缺陷的歸一化處理可分為線性和非線性兩種。進行歸一化處理是為了是消除由于管道自身缺陷而帶來的識別問題，從而進一步的為提取特征和分類器識別打下良好的基礎(chǔ)。

通過線性歸一化的方式將其歸一化為統(tǒng)一大小的圖像，歸一化后的圖像可以表示為：

其中，width和height分別表示未歸一化時原圖像的寬與高，W與H則表示規(guī)一化后圖像所對應(yīng)的寬和高，A（水平）、B（垂直）分別表示原圖像的左上角與規(guī)一化后矩形框左上角的距離。

線性歸一化算法較為簡單，即將圖像按一定比例線性調(diào)整為同一尺寸，可以保有原圖像的形狀與特征（幾乎無失真），但是無法改變圖像的亮度與清晰度等屬性；非線性歸一化是按照管道內(nèi)部的特征分布來處理、調(diào)整清晰度，削弱那些偏亮、偏暗的區(qū)域，或是像素密集的區(qū)域，壓縮像素分散的區(qū)域。

1.3 平滑去噪處理

各N噪聲可能存在于樣本圖像中，如高斯噪聲、白噪聲等。圖像的平滑化，即消除樣本圖像中的噪聲成分，是圖像增強技術(shù)中的一種。該操作可達(dá)到兩個目的：

（1）按特定的需要突出圖像中的特定信息；

（2）消除視頻圖像在輸入時混入的噪聲，以適應(yīng)計算機的處理。

圖像平滑化處理的要求有：

（1）不能損壞圖像的邊緣輪廓及線條等重要信息；

（2）使圖像清晰。

平滑處理的方法分為：

（1）空間域法（時域），其中空間域法又分為線性和非線性濾波器；

（2）頻域法一般需要對圖像進行一次正向的數(shù)學(xué)變換（通常離散傅立葉變換，也可以為拉氏變換或Z變換）和一次反向的數(shù)學(xué)逆變換。

2 BP神經(jīng)網(wǎng)絡(luò)的運用

許多學(xué)者對BP神經(jīng)網(wǎng)絡(luò)的算法及結(jié)構(gòu)進行過優(yōu)化，有人提出：神經(jīng)網(wǎng)絡(luò)好比是一種自適應(yīng)機器，神經(jīng)網(wǎng)絡(luò)是一個由若干簡單處理單元所共同組成的大型分布式處理器，因此具有存儲經(jīng)驗知識（記憶性）和使之可用（有用性）的特性。神經(jīng)網(wǎng)絡(luò)與人腦的相似之處有兩個：

（1）所獲取的知識都由外界環(huán)境學(xué)習(xí)而來；

（2）突觸權(quán)值（神經(jīng)元間的相互連接強度）用于儲存所獲取的知識。

2.1 BP神經(jīng)網(wǎng)絡(luò)的簡介

人工神經(jīng)網(wǎng)絡(luò)是根據(jù)模仿動物神經(jīng)網(wǎng)絡(luò)的行為特征，進行分布式并行處理算法的一種數(shù)學(xué)模型。這種網(wǎng)絡(luò)在處理信息時是通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系所實現(xiàn)的。而BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)模型是由Rumelhart和Mccdknd為首的科學(xué)家小組提出是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。其憑借著強大的聯(lián)想能力、容錯能力以及自組織能力，成為現(xiàn)階段應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一 。BP神經(jīng)網(wǎng)絡(luò)最大特點僅依靠樣本輸入、輸出數(shù)據(jù)，不借助系統(tǒng)的基本物理定律，就能實現(xiàn)由Rn空間（n個輸入節(jié)點）到Rm空間（m個輸出節(jié)點）的高度非線性映射。

2.2 BP網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)是一種反饋前向型的神經(jīng)網(wǎng)絡(luò)，也是一種典型的多層前向型網(wǎng)絡(luò)，通過網(wǎng)絡(luò)內(nèi)各層之間的權(quán)值與結(jié)構(gòu)表示出復(fù)雜的非線性1/0映射關(guān)系，BP神經(jīng)網(wǎng)絡(luò)同時具有較好的自我學(xué)習(xí)功能，能夠通過誤差的反饋算法，比照已有的樣本進行重復(fù)訓(xùn)練，調(diào)整網(wǎng)絡(luò)內(nèi)各層間的權(quán)值，直到該網(wǎng)絡(luò)的1/0關(guān)系在某個訓(xùn)練指標(biāo)下與樣本最為接近。一個典型的BP神經(jīng)網(wǎng)絡(luò)應(yīng)包含輸入層、中間層（也稱隱層）和輸出層，不同層之間相互連接，層內(nèi)神經(jīng)元之間無連接。其中隱含層可以為一層或多層。每一層都由互不連接的若干個神經(jīng)元組成。相鄰兩層的每一個神經(jīng)元之間的關(guān)系由權(quán)值所決定，權(quán)值的大小直觀地反映了兩個神經(jīng)元間的連接強弱，整個BP網(wǎng)絡(luò)的計算流程是由輸入層-中間層-輸出層單向前進，因而屬于前向型網(wǎng)絡(luò)。

2.3 BP網(wǎng)絡(luò)原理

典型的BP網(wǎng)絡(luò)分為三層，即輸入層、隱含層和輸出層。其算法主要由以下四部分組成，即模式順傳播――誤差逆?zhèn)鞑エD―記憶訓(xùn)練――學(xué)習(xí)收斂。

2.3.1 模式順傳播

2.3.2 誤差的逆?zhèn)鞑?/p>

根據(jù)輸出層產(chǎn)生的誤差，經(jīng)中間層向輸入層傳播，在這個過程中，按照梯度下降原則對各層的權(quán)值和閾值進行誤差校正。

所以，按照梯度下降原則，可得到輸出層各單元的閾值調(diào)整量為：

（1）中間層到輸入層計算：

權(quán)值調(diào)整量計算：

按照梯度下降原則，可得到連接權(quán)值的調(diào)整量為：

閾值調(diào)整量計算：

按照梯度下降原則，可得到輸出層各單元的閾值調(diào)整量為：

以上的推導(dǎo)為標(biāo)準(zhǔn)差逆?zhèn)鬟f的算法，其中各連接權(quán)值的改變量分別與各個學(xué)習(xí)模式所對應(yīng)的誤差Ek成比例變化。而相對于全局誤差

的連接權(quán)調(diào)整，需要在完成m個學(xué)習(xí)模式后統(tǒng)一進行，這是累積誤差逆?zhèn)鬟f的算法。一般來講，當(dāng)樣本較少時，累積誤差傳遞算法要比標(biāo)準(zhǔn)誤差傳遞算法速度快。

2.3.3 記憶訓(xùn)練

給出一組樣板反復(fù)進行學(xué)習(xí)，調(diào)整權(quán)值和閾值的大小以使輸出值滿足一定的精度要求。

2.3.4 網(wǎng)絡(luò)收斂

經(jīng)由多次訓(xùn)練，BP神經(jīng)網(wǎng)絡(luò)的整體誤差趨向于最小值。

由于BP算法采用了按誤差函數(shù)梯度下降的方向進行收斂，因此，可能使迭代陷入局部極小點，BP網(wǎng)絡(luò)收斂依賴于樣本的初始位置，適當(dāng)改變隱層單元個數(shù)，或給每個權(quán)值加上一個很小的隨機數(shù)，都可使收斂過程避免局部極小點。

3 結(jié)語

本文提出的基于圖像處理和BP神經(jīng)網(wǎng)絡(luò)技術(shù)的管道缺陷識別方法，可以通過BP神經(jīng)網(wǎng)絡(luò)完成機器視覺的學(xué)習(xí)，使管道機器人能夠自主判斷出管道內(nèi)部是否存在缺陷，并進一步區(qū)分出管道接口滲漏、錯口、管道腐蝕、管身穿孔、支管、淤積、結(jié)垢、障礙物等缺陷類型，完成整個智能檢測。同時，該方法也存在一定的誤識別率，這與訓(xùn)練樣本的豐富程度與待測管道的內(nèi)部環(huán)境密切相關(guān)。

參考文獻

[1]張小偉，解智強，侯至群，等.一種基于BP神經(jīng)網(wǎng)絡(luò)耦合排水管線信息的城市河道風(fēng)險評價研究[J].測繪通報，2014（12）：93-96.

[2]彭向前.產(chǎn)品表面缺陷在線檢測方法研究及系統(tǒng)實現(xiàn)[D].華中科技大學(xué)，2008.

[3]王雪梅.基于神經(jīng)網(wǎng)絡(luò)的冷軋帶鋼表面缺陷識別分類技術(shù)研究[D].電子科技大學(xué)，2006.

[4]吳斌，齊文博，何存富，等.基于神經(jīng)網(wǎng)絡(luò)的超聲導(dǎo)波鋼桿缺陷識別[J].工程力學(xué)，2013（02）：470-476.

[5]童文俊.BP神經(jīng)網(wǎng)絡(luò)在板形缺陷識別中的應(yīng)用[D].江南大學(xué)，2008.

[6]劉彩紅.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究[J].西安工業(yè)大學(xué)學(xué)報，2012，32（09）：723-727.

[7]弦.基于數(shù)據(jù)并行的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法[D].華中科技大學(xué)，2008.

[8]黃良炯.供水管道表面損傷特征提取及其評價技術(shù)研究[D].哈爾濱工業(yè)大學(xué)，2008.

[9]王賡.基于BP神經(jīng)網(wǎng)絡(luò)的脫機手寫漢字識別研究[D].天津師范大學(xué)，2009.

[10]余本國.BP神經(jīng)網(wǎng)絡(luò)局限性及其改進的研究[J].山西農(nóng)業(yè)大學(xué)學(xué)報：自然科學(xué)版，2009，29（01）：89-93.

[11]李炯城，黃漢雄.一種新的快速BP神經(jīng)網(wǎng)絡(luò)算法――QLMBP[J].華南理工大學(xué)學(xué)報：自然科學(xué)版，2006，34（06）：49-54.

[12]吳凌云.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進及其應(yīng)用[J].信息技術(shù)，2003，27（07）：42-44.

[13]彭松，方祖祥.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的聯(lián)合優(yōu)化[J].電路與系統(tǒng)學(xué)報，2000，5（03）：26-30.

篇5

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；人臉識別；奇異值

中圖分類號：TP391 文獻標(biāo)識碼：A文章編號：1007-9599 (2011) 13-0000-01

Face Recognition Based on the BP Neural Network

Liu Weiwei

(Chinese People's Public Security University,Beijing100872,China)

Abstract:In order to achieve the purpose of face recognition by classifying the feature vector of face image,a new methods for face recognition on neural networks is presented in this paper.Singular values features of face image matrix are used as features,Back-Propagation(BP)networks are used as recognition.Through the experiments,it show that the method of face recognition is reliable and have a ability of high maneuverability.

Kewwords:BP neural network;Face recognition;Singular values

一、引言

人臉識別的發(fā)展應(yīng)用廣泛，利用人臉圖像進行識別身份容易被接受，具有非打擾性、直接性、唯一性。人臉識別主要是對人臉特征向量分類識別。神經(jīng)網(wǎng)絡(luò)可以用做人臉特征的分類器。它是一種模擬人類大腦的思維方式和組織形式而建立的數(shù)學(xué)模型。具有強大的自適應(yīng)、自學(xué)習(xí)、高度容錯能力，因此成功運用在模式識別和預(yù)測等領(lǐng)域。BP網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中最完美的，采用BP神經(jīng)網(wǎng)絡(luò)可以進行人臉特征向量識別分類。

二、BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)是一種單向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)，它包括一個輸入層、若干隱含層和一個輸出層，上下層之間實現(xiàn)全連接，而每層神經(jīng)元之間沒有連接。利用BP神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)輸入向量 到輸出向量 的非線性映射。該網(wǎng)絡(luò)的前層和后層都有連接權(quán)值 ，每一層有閾值 ，這些值在初始時刻是隨機生成的。在具體的應(yīng)用中，將特征值向量作為輸入向量，特征值所對應(yīng)的結(jié)果作為輸出向量，BP網(wǎng)絡(luò)載入這些數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，從而對連接權(quán)值和閾值不斷進行修正，使網(wǎng)絡(luò)達(dá)到的最優(yōu)狀態(tài)，完成網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程，為后續(xù)的數(shù)據(jù)分類做準(zhǔn)備。因此可以將BP神經(jīng)網(wǎng)絡(luò)作為人臉特征向量的分類器，以達(dá)到人臉識別的目的。

三、基于BP神經(jīng)網(wǎng)絡(luò)的人臉識別

人臉識別是基于人臉的唯一性進行識別，這里采用奇異值分解的方法提取人臉特征向量。本實驗的數(shù)據(jù)取自O(shè)RL人臉數(shù)據(jù)庫，該庫由40人、每人10幅、共400幅人臉圖像組成。這些照片包含測試者的不同面部表情。本實驗選擇兩個測試者進行識別，每個測試者的十幅圖像作為一個類，每個類的前九幅圖像的特征向量作為網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練樣本，第十幅圖像的特征向量作為測試數(shù)據(jù)。

（一）樣本數(shù)據(jù)的獲取

采用奇異值分解的方法提取人臉圖像的特征向量，這些特征向量作為BP網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練樣本數(shù)據(jù)，對樣本數(shù)據(jù)進行歸一化后得到。例如 =（0.55650.53230.36750.40620.35990.38540.37030.3062）表示第一個測試者的第一副圖像的特征向量，在BP網(wǎng)絡(luò)中對應(yīng)的輸出向量為（1，0）。

（二）BP神經(jīng)網(wǎng)絡(luò)的建立

第一，確定隱含層的層數(shù)。對于一般的模式識別問題，三層網(wǎng)絡(luò)可以有效的解決此問題。本試驗采用三層網(wǎng)絡(luò)，輸入層的神經(jīng)元個數(shù)為特征向量的維數(shù)n=8，隱含層的神經(jīng)元個數(shù)為p=2n+1=17，輸出層的神經(jīng)元個數(shù)為輸出向量的維數(shù)為m=2。隱含層神經(jīng)元傳遞函數(shù)選用tansig，輸出層神經(jīng)元傳遞函數(shù)選用logsig。輸出向量為（1，0）和（0，1）表示為第一個和第二個測試者。

第二，載入樣本數(shù)據(jù)學(xué)習(xí)和訓(xùn)練。樣本數(shù)據(jù)包括輸入向量和輸出向量，通過學(xué)習(xí)和訓(xùn)練不斷的修正網(wǎng)絡(luò)中的權(quán)值和閾值。訓(xùn)練曲線的收斂情況如圖2.

在matlab環(huán)境下運行，采用測試樣本進行測試，實驗結(jié)果輸出為（0.98490.0027）；（0.00270.9547），試驗結(jié)果接近（1，0）和（0，1），分別為一號和二號測試者，實驗達(dá)到預(yù)期結(jié)果。

圖1.訓(xùn)練曲線

四、結(jié)語

運用BP人工神經(jīng)網(wǎng)絡(luò)建立了人臉識別模型，解決了對人臉特征向量進行分類識別的問題，從而達(dá)到對人臉識別這一最終目的。識別結(jié)果表明，在小樣本空間下，運用BP神經(jīng)網(wǎng)絡(luò)的人臉識別運算速度快、操作簡單、識別率高，BP神經(jīng)網(wǎng)絡(luò)可以用于人臉識別系統(tǒng)中的識別部分，并且可以擴展到其他模式識別問題。

參考文獻：

[1]郝文化.MATLAB圖像圖像應(yīng)用教程[M].中國水利水電出版社,2004

[2]邵擁軍等.基于BP神經(jīng)網(wǎng)絡(luò)的湘西金礦成礦預(yù)測[J].中南大學(xué)學(xué)報,2007

[3]高全學(xué)等.SVD用于人臉識別存在的問題及解決方法[J].中國圖象圖形學(xué)報,2006

[4]楊天軍,張曉春等.基于BP神經(jīng)網(wǎng)絡(luò)的城市道路交通安全評價研究[J].中國礦業(yè)大學(xué)學(xué)報,2005

篇6

【關(guān)鍵詞】彈性模量 力學(xué)分析 神經(jīng)網(wǎng)絡(luò) matlab

【中圖分類號】G250.72【文獻標(biāo)識碼】A【文章編號】1672-5158（2013）07-0465-01

1 研究背景

本文所研究的梁的模型為伯努利梁，基于神經(jīng)網(wǎng)絡(luò)對函數(shù)具有很好的逼近這一特性，希望能借助神經(jīng)網(wǎng)絡(luò)獲得梁的撓度與彈性模量的對應(yīng)關(guān)系。

2 問題的描述？即懸臂梁的受力模型和幾個參數(shù)是已知的，當(dāng)懸臂梁采用不用的材料時，懸臂梁的變形情況是不同的，現(xiàn)在已知在幾種不同彈性模量E的情況下所對應(yīng)的最右端的撓度值：

現(xiàn)在面臨的問題是，在不知道最右端撓度值和E、M、I關(guān)系的情形下，能利用的條件只有表1的一組數(shù)據(jù)，在已經(jīng)測量到最右端撓度值w=0.0198的情況下，想預(yù)測材料的彈性模量E的數(shù)值。

3 BP網(wǎng)絡(luò)求解過程

上述問題可以通過神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)的分析和預(yù)測來求解，利用撓度w作為網(wǎng)絡(luò)的輸入，E作為網(wǎng)絡(luò)的輸出，構(gòu)建神經(jīng)網(wǎng)絡(luò)，利用這一神經(jīng)網(wǎng)絡(luò)來模擬w、E、M、I的相互關(guān)系，當(dāng)有一個新的w輸入的情況下，神經(jīng)網(wǎng)絡(luò)可以產(chǎn)生一個對應(yīng)的輸出，比較這一輸出和通過計算所獲得解析解的誤差來分析神經(jīng)網(wǎng)絡(luò)的預(yù)測能力。

用BP神經(jīng)網(wǎng)絡(luò)求解問題的過程，可以分成如下步驟：1）原始數(shù)據(jù)輸入；2）數(shù)據(jù)的歸一化；3）網(wǎng)絡(luò)建立；4）對已有數(shù)據(jù)進行仿真；5）將仿真結(jié)果與實際結(jié)果對比并修正網(wǎng)絡(luò)；6）對新數(shù)據(jù)進行仿真。

下面給出具體程序，并對程序添加了注釋

P=[ 0.2500 0.2380 0.2270 0.2170 0.2080 0.2000 0.1920 0. 1850 0.1790 0.1720 0.1670]；%以撓度w作為輸入矩陣，為了提高神經(jīng)網(wǎng)絡(luò)隱含層函數(shù)對數(shù)據(jù)的識別能力，把撓度值w寫為w*10

T=[2.0000 2.1000 2.2000 2.3000 2.4000 2.5000 2.6000 2. 7000 2.8000 2.9000 3.0000]； %以彈性模量E作為目標(biāo)矩陣，單位為E+11Pa

net=newff（[0.1670 0.2500]，[10 1]，{’tansig’ ’purelin’}）；

net.trainParam.epochs=10000；

net=train（net，P，T）；

x=[0.198]；

y=sim（net，x）

TRAINLM， Epoch 0/10000， MSE 9.68058/0， Gradient 66. 1516/1e-010

TRAINLM， Epoch 4/10000， MSE 1.15301e-022/0， Gradient 5.68978e-012/1e-010

TRAINLM， Minimum gradient reached， performance goal was not met.

y=2.5132圖2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練情況

上述y=2.5193即為神經(jīng)網(wǎng)絡(luò)所預(yù)測得到的彈性模量數(shù)值，可以看到神經(jīng)網(wǎng)絡(luò)僅僅訓(xùn)練了4步，網(wǎng)絡(luò)的總體誤差為：MSE 1.15301e-022，下面分析這一網(wǎng)絡(luò)的預(yù)測精度。根據(jù)計算懸臂梁最右端撓度的計算公式得到

參考文獻

[1] 叢爽.面向Matlab工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用 中國科學(xué)技術(shù)大學(xué)出版社.2008.09

篇7

關(guān)于隱含層節(jié)點數(shù)的確定沒有一個明確的規(guī)定，需要進行實際的網(wǎng)絡(luò)訓(xùn)練。隱含層節(jié)點數(shù)應(yīng)選取在輸入層節(jié)點數(shù)與輸出層節(jié)點數(shù)之間，且更加靠近輸入層，這樣更有助于提高網(wǎng)絡(luò)收斂速度。隱含層節(jié)點數(shù)過多，會導(dǎo)致學(xué)習(xí)時間過長，且網(wǎng)絡(luò)容易訓(xùn)練過度，降低網(wǎng)絡(luò)的總體性能。隱含層節(jié)點數(shù)過少，學(xué)習(xí)過程不收斂。因此為了選取最佳的隱含層神經(jīng)元數(shù)，可以參考以下求取隱含層節(jié)點數(shù)的經(jīng)驗公式。

2輸出節(jié)點的選擇

輸出節(jié)點應(yīng)該對應(yīng)于評價結(jié)果，因此需要先預(yù)測樣本的期望輸出。本文運用變權(quán)評價方法確定樣本的期望輸出，將風(fēng)險預(yù)警程度作為預(yù)測輸出值，并設(shè)定綠燈代表風(fēng)險預(yù)警程度輕，藍(lán)燈代表風(fēng)險預(yù)警程度中等，黃燈代表風(fēng)險預(yù)警程度較差，紅燈代表風(fēng)險預(yù)警程度差。風(fēng)險預(yù)警程度為［08，1］表示為綠燈，［06，08）表示為藍(lán)燈，［03，06）表示為黃燈，［0，03）表示為紅燈。

3模型應(yīng)用

以俄羅斯為例，根據(jù)海外礦業(yè)投資金融風(fēng)險預(yù)警指標(biāo)體系，運用變權(quán)評價方法確定風(fēng)險等級F，具體數(shù)據(jù)見表3。根據(jù)（2）式和（3）式進行歸一化處理，使數(shù)據(jù)在［0，1］內(nèi)，具體數(shù)據(jù)見表4。對數(shù)據(jù)進行歸一化處理后進行BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與預(yù)測。運用Matlab軟件的神經(jīng)網(wǎng)絡(luò)對海外礦業(yè)投資金融風(fēng)險預(yù)警模型進行學(xué)習(xí)訓(xùn)練，以2009—2012年的為驗證樣本，2009年前10年歷史數(shù)據(jù)為訓(xùn)練樣本，隱含層節(jié)點數(shù)為5，建立3層神經(jīng)網(wǎng)絡(luò)進行運算，目標(biāo)平均誤差0001，當(dāng)訓(xùn)練周期達(dá)到1000次時達(dá)到標(biāo)準(zhǔn)誤差。根據(jù)預(yù)警得出結(jié)論，以2012年數(shù)據(jù)為例進行預(yù)測值與實際值的對比（圖2）?？梢钥闯?，兩者的一致性比較好，預(yù)測較準(zhǔn)確，說明網(wǎng)絡(luò)訓(xùn)練良好，可以用于海外礦業(yè)投資金融風(fēng)險的預(yù)警與分析。利用上述經(jīng)過監(jiān)測已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)模型，對未來一些年份的俄羅斯海外礦業(yè)投資金融風(fēng)險狀況進行預(yù)警分析（表5）。將實際數(shù)據(jù)值輸入BP神經(jīng)網(wǎng)絡(luò)中進行預(yù)測，得出風(fēng)險預(yù)警程度的仿真輸出，2014年和2015年的分別為0934、0953，通過（4）式反歸一化后得出2014年、2015年風(fēng)險預(yù)警程度預(yù)測值分別為0649、0661，均處于藍(lán)燈的狀態(tài)下，說明俄羅斯在未來的金融風(fēng)險預(yù)警還是處于較輕的程度。用BP神經(jīng)網(wǎng)絡(luò)對2015年其他主要投資目的國家進行風(fēng)險預(yù)警分析，預(yù)警輸出結(jié)果如表6。反歸一化后加拿大的風(fēng)險預(yù)警程度為0679，澳大利亞的為0684，南非的為0563，印度的為0506，巴西的為0558。對應(yīng)風(fēng)險預(yù)警等級可以看出，加拿大和澳大利亞的風(fēng)險預(yù)警等級處于藍(lán)燈的程度，說明未來幾年加拿大與澳大利亞的金融環(huán)境較為安全。南非、印度、巴西的風(fēng)險預(yù)警等級都處在黃燈的程度，表明這3個國家的金融環(huán)境需要引起投資者的注意。本文來自于《資源與產(chǎn)業(yè)》雜志。資源與產(chǎn)業(yè)雜志簡介詳見

4結(jié)論

篇8

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 動量因子法 變步長法 學(xué)習(xí)速率

1.引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是通過對人腦神經(jīng)元建模、聯(lián)結(jié)模擬生物腦或世界系統(tǒng)的網(wǎng)絡(luò)模型，是一種具有學(xué)習(xí)、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。通常研究和使用的十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART網(wǎng)絡(luò)模型。其中的BP神經(jīng)網(wǎng)絡(luò)是基于反向傳播（BackPropagation）的網(wǎng)絡(luò)，也是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中研究最多、應(yīng)用最廣的網(wǎng)絡(luò)模型。它采用最小均方差的學(xué)習(xí)方式，可用于函數(shù)逼近及語言綜合、識別和自適應(yīng)控制等。

2.標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)算法

BP算法作為前饋網(wǎng)絡(luò)的主要學(xué)習(xí)算法，對神經(jīng)網(wǎng)絡(luò)的推廣應(yīng)用起了舉足輕重的促進作用。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)，優(yōu)化計算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，主要是針對一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價函數(shù)達(dá)到最小。其簡單的實現(xiàn)步驟為：（1）通過網(wǎng)絡(luò)輸入反向傳播；（2）通過網(wǎng)絡(luò)將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權(quán)值和偏置值。

標(biāo)準(zhǔn)的BP算法因具有簡單、易行、計算量小及并行性強等優(yōu)點，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多、最成熟的訓(xùn)練算法。由于BP網(wǎng)絡(luò)中待尋優(yōu)的參數(shù)太多，往往導(dǎo)致算法收斂速度慢。對于復(fù)雜問題，訓(xùn)練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)在很大程度上實用性不強，尤其對于實時性很強的系統(tǒng)而言。

3.BP算法的改進

BP多層前饋網(wǎng)絡(luò)已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，但實際上的BP多層前饋網(wǎng)絡(luò)并不是利用標(biāo)準(zhǔn)的BP算法對網(wǎng)絡(luò)進行訓(xùn)練的，而是對BP算法進行了啟發(fā)式改進。

（1）增加動量因子法

BP算法的神經(jīng)網(wǎng)絡(luò)的誤差曲面具有不同的區(qū)域有不同的誤差改變率的特點。假若開始訓(xùn)練的學(xué)習(xí)速率較高，那么算法的收斂速度可能很快。但當(dāng)?shù)M入的區(qū)域包含極小點時，此時算法發(fā)散，來回振蕩，收斂不到極小值點。如果用平均改變參數(shù)的方法進行軌跡的過濾，就可以對震蕩進行平滑并可產(chǎn)生穩(wěn)定的軌跡。當(dāng)動量濾波器的參數(shù)得到了改變，獲取反向傳播的動量，使用了動量項，可以在保證算法較為穩(wěn)定的前提下，在網(wǎng)絡(luò)訓(xùn)練進入局部最小值時產(chǎn)生一個繼續(xù)向前的正向斜率運動，使得搜索能夠跳出較淺的峰值；當(dāng)網(wǎng)絡(luò)搜索位于誤差曲面平坦區(qū)的區(qū)域時，該方法能夠較快地提高訓(xùn)練速度。

（2）變步長法

變步長法通過調(diào)整網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率，故也稱為可變學(xué)習(xí)速率的方法。BP算法中對連接權(quán)值的調(diào)整，取決于兩個因子，即學(xué)習(xí)速率和梯度。其中通過調(diào)整學(xué)習(xí)速率提高算法收斂收率的方法，是當(dāng)前認(rèn)為最簡單、有效的方法。學(xué)習(xí)率不能隨意選取，選得太小，收斂會變慢；選得太大，可能調(diào)整過多，使得算法振蕩或發(fā)散。所以，在對學(xué)習(xí)率進行調(diào)整時，一般遵循的準(zhǔn)則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學(xué)習(xí)率的值選取偏小，可以作為對學(xué)習(xí)率調(diào)整的參考；否則，學(xué)習(xí)率值調(diào)整過大，就應(yīng)該對該值進行減小。增加可變速率參數(shù)后，得到改進的BP算法如下：

①如果整個訓(xùn)練集上的均方誤差權(quán)值在更新后增加的，且該值超過了預(yù)設(shè)的某個百分?jǐn)?shù)，如：1%～5%，則不對權(quán)值進行更新。學(xué)習(xí)速率被乘以一個大于零且小于1的因子，并且動量系數(shù)被設(shè)置為0。

②如果均方誤差在權(quán)值更新后變小了，則接受權(quán)值更新。學(xué)習(xí)速度將被乘以一個大于1的因子。假若學(xué)習(xí)率被設(shè)置為0，則恢復(fù)之原來的值。

③如果均方誤差的增長變小，則權(quán)值更新被接受，但學(xué)習(xí)速度保持不變。如果學(xué)習(xí)率過去被設(shè)置為0，則恢復(fù)到以前的值。

4.實驗結(jié)果

分別對目標(biāo)誤差為0.001的網(wǎng)絡(luò)訓(xùn)練。實驗結(jié)果如下：

（1）采用標(biāo)準(zhǔn)BP網(wǎng)對樣本進行訓(xùn)練，迭代次數(shù)近5000次尚未收斂。

（2）采用增加動量法，迭代375次，學(xué)習(xí)過程收斂。

（3）采用變步長法，迭代1728次收斂。

由此可見，未改進的標(biāo)準(zhǔn)BP學(xué)習(xí)算法存在收斂速度慢的缺陷；改進后的BP學(xué)習(xí)算法都從不同程度上提高了算法的收斂速度，訓(xùn)練的次數(shù)大大減小了。對BP算法采用啟發(fā)式改進措施后，明顯提高了學(xué)習(xí)速度。

篇9

關(guān)鍵詞：模式識別；Bp神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18 文獻標(biāo)識碼：A文章編號：1009-3044(2011)07-1543-03

On BP Neural Network in Pattern Recognition Application

LIN Jia-xiang, GE Yuan

(Information Engineering College, Shanghai Maritime University, Shanghai 200135, China)

Abstract: Pattern recognition technology, widely used in all works. Automatic detection of industrial and medical equipment on the inspection of samples, military satellites detect Police, intelligence has a pivotal role. This article describes the pattern recognition based on BP neural network method. Based on the use of BP Improved neural network algorithm, will be based learning is introduced into pattern recognition, data on the sample study and training, to form a good network Contact, and finally with the already trained network to test the whole process, because to a certain accuracy, to avoid the traditional method of calculating property Weight problems.

Key words: pattern recognition; BP neural network

模式識別作為一門新的學(xué)科，從1960年代開始逐漸應(yīng)用于各科技及工業(yè)領(lǐng)域。尤其，人臉識別、聲音識別、指紋識別、醫(yī)學(xué)診斷領(lǐng)域的研究應(yīng)用，使模式識別成為一門熱門的學(xué)科。模式識別，研究的內(nèi)容是讓機器通過學(xué)習(xí)自動識別事物。但傳統(tǒng)的模式識別方法，很難完成人臉識別、聲音識別等需要直接感知外界信息領(lǐng)域的識別任務(wù)。因此，近些年來結(jié)合神經(jīng)網(wǎng)絡(luò)來研究模式識別成為一個新的課題。

神經(jīng)科學(xué)作為一門科學(xué)起始于19世紀(jì)末。近幾十年來，神經(jīng)科學(xué)和腦功能研究的發(fā)展極為迅速。人工神經(jīng)網(wǎng)絡(luò)由于其自組織和非算法特性，在模式識別應(yīng)用方面有很大的發(fā)展?jié)摿?。在神?jīng)網(wǎng)絡(luò)模式識別系統(tǒng)中，用得最廣泛的要算是BP神經(jīng)網(wǎng)絡(luò)。1986年，Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型的反向傳播學(xué)習(xí)算法，它是基于誤差前向傳播(Error Back Propagation，簡稱BP)算法的一種具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)。BP算法，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決了許多實際的問題。

本文主要介紹BP神經(jīng)網(wǎng)絡(luò)在模式識別中的應(yīng)用，并結(jié)合實例予以說明。

1 模式識別概述

1.1 模式識別研究內(nèi)容

人類在長期的生活實踐和科學(xué)研究中，逐漸積累起來了通過感覺器官辨別不同事物的能力。例如，人們可以根據(jù)物體的形狀、顏色、質(zhì)地、組成以及各部分的結(jié)構(gòu)關(guān)系把不同物體區(qū)別開來；可以根據(jù)人的高矮、胖瘦、性別、年齡、膚色、臉型把不同的人區(qū)分開來。人們之所以能進行這樣的辨別，重要的原因在于不同事物具有不同的特征，包括物理特征及結(jié)構(gòu)特征。由此使人們想到，如果能把事物的關(guān)鍵特征抽取出來，以不同的特征組合代表不同的事物，并且用適當(dāng)?shù)淖層嬎銠C能接受的形式表示出來，這樣就有可能使計算機具有識別能力，使它能區(qū)分不同的事物。像這樣用事物的特征所構(gòu)成的數(shù)據(jù)結(jié)構(gòu)就成為相應(yīng)事物的模式，或者說模式是對事物定量的或結(jié)構(gòu)的描述。由具有共同屬性的模式所構(gòu)成的集合稱為模式類，它是一個抽象出各有關(guān)模式的共同屬性而廢棄各具體模式不同屬性的分類概念。識別能力原本是人類和其他生物的一種基本屬性，人們通過模式感知外部世界的各種事物，這是獲取知識、概念和作出反應(yīng)的基礎(chǔ)，是一種思維和抽象過程。而在人工智能或信息科學(xué)范疇內(nèi)，模式識別是指用數(shù)學(xué)、物理方法和技術(shù)實現(xiàn)對模式的自動處理、描述、分類和解釋，目的在于用機器部分實現(xiàn)人的這種智能活動，所以在目前模式識別所研究的內(nèi)容可以分為兩類：一是對人類和其他生物識別能力及其機理的研究。二是對滿足某些應(yīng)用需要的識別裝置的理論和技術(shù)的研究。

前者研究的內(nèi)容主要涉及神經(jīng)機理和認(rèn)知心理等方面，往往是它的研究為后者提供理論基礎(chǔ)和模仿的依據(jù)。而第二個課題主要是通過工程、計算機和其他信息科學(xué)等方面的技術(shù)和知識，達(dá)到以機器模擬或局部超過人的識別能力的目的。它在技術(shù)上的提高不但驗證了前者的結(jié)論，而且為其進一步的研究提供了手段?？梢钥闯鲈谌斯ぶ悄芑蛐畔⒖茖W(xué)范疇內(nèi)，所謂的模式識別（Patten Recognition)是研究一種自動技術(shù)，依靠這種技術(shù)，機器將自動地把待識別模式根據(jù)其特征分到各自的模式類中去。

1.2 模式識別系統(tǒng)的結(jié)構(gòu)

計算機對識別對象進行識別的過程實際上是一個決策過程，它根據(jù)一定的識別規(guī)則對識別模式的特征進行判定，從而決定它所屬的模式類。一個典型的模式識別系統(tǒng)，分別由數(shù)據(jù)獲取、預(yù)處理、特征提取、分類決策、和分類器設(shè)計五步驟組成。通常一個完整的系統(tǒng)分為兩個部分，第一部分是用來完成未知類別的模式分類。第二部分是訓(xùn)練分類器設(shè)計，確定分類器各項參數(shù)。模式識別系統(tǒng)結(jié)構(gòu)如圖1所示。

以下簡要說明模式識別系統(tǒng)各組成部分功能：

1）數(shù)據(jù)提?。?計算機提取的數(shù)據(jù)通常有三種類型。第一種是一維波型信息，如心電圖、氣象信息圖等。第二種是二維圖像信息，如圖片、指紋、文字等。每三種是物理參數(shù)，如氣溫參數(shù)、水文參數(shù)等。

2）數(shù)據(jù)預(yù)處理：計算機對初步提取的數(shù)據(jù)信息進行去除噪聲、復(fù)原、提取相關(guān)參數(shù)信息。

3）數(shù)據(jù)特征提取：對預(yù)處理提取的數(shù)據(jù)信息，進行變換處理，獲取反映分類本質(zhì)的特征。對原始數(shù)據(jù)的高維數(shù)測量空間，進行轉(zhuǎn)換，形成反映分類識別的低維數(shù)特征空間。

4）分類器設(shè)計：對特征空間的識別對象進行分類。訓(xùn)練樣本，確定分類器判別函數(shù)，并不斷改進判別函數(shù)和誤差檢驗。

2 BP神經(jīng)網(wǎng)絡(luò)的模型

2.1 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò) (Back-Propagation) ，又稱誤差反向傳遞神經(jīng)網(wǎng)絡(luò)。它是人工神經(jīng)網(wǎng)絡(luò)(ANN)中的一種模型，是利用率很高的一種神經(jīng)網(wǎng)絡(luò)，約有80%的神經(jīng)網(wǎng)絡(luò)屬于BP神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是一種依靠反饋值來不斷調(diào)整節(jié)點之間的連接權(quán)值而構(gòu)建的一種網(wǎng)絡(luò)模型。圖2顯示了一個3層BP神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)，它分為輸入層、隱含層和輸出層，其中隱含層根據(jù)具體情況的需要，可以是一層結(jié)構(gòu)也可以為多層結(jié)構(gòu)。

設(shè)輸入層有n個神經(jīng)元節(jié)點，隱含層有q個神經(jīng)元節(jié)點，輸出層有m個神經(jīng)元節(jié)點。利用該網(wǎng)絡(luò)可實現(xiàn)n維輸入向量Xn=(X1,…,Xn)T到m維輸出向量Ym=(Y1,…,Ym)T的非線性映射。輸入層和輸出層的單元數(shù)n、m根據(jù)具體問題確定，而隱含層單元數(shù)q的確定尚無成熟的方法，一般可設(shè)定不同的q值根據(jù)訓(xùn)練結(jié)果來進行選擇。

BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(n、q、m)確定后，神經(jīng)網(wǎng)絡(luò)還包括的參數(shù)有：

wij：輸入層第i單元到隱含層第i單元的權(quán)重，其中i=1,…,n;j=1,…,q。

wjk：隱含層第j單元到輸出層第k單元的權(quán)重，其中j=1,…,n;k=1,…,m。

θj：隱含層第j單元的激活閾值，j=1,…,q。

θk：輸出層第k單元的激活閾值，k=1,…,m。

以上權(quán)重和閾值的初值在網(wǎng)絡(luò)訓(xùn)練之前隨機生成。

f(x)：激活函數(shù)一般采用Sigmoid型函數(shù)，即f(x)1/[1+exp(-x)]。

2.2 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

2.2.1 BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程

1）輸入模式正向傳播：輸入模式由輸入層經(jīng)中間層向輸出層的模式正向傳播過程。

2）輸出誤差反向傳播：網(wǎng)絡(luò)的期望輸出與網(wǎng)絡(luò)實際輸出之間的誤差,由輸出層經(jīng)中間層傳向輸入層的誤差反向傳播過程。

3）循環(huán)記憶訓(xùn)練：模式正向傳播與誤差反向傳播的計算過程反復(fù)交替循環(huán)進行。

4）學(xué)習(xí)結(jié)果判別：判定網(wǎng)絡(luò)的全局誤差是否趨向極小值的學(xué)習(xí)收斂過程。

2.2.2 BP算法

3層BP神經(jīng)網(wǎng)絡(luò)，輸入節(jié)點xi，隱層節(jié)點yj，輸出節(jié)點zk。輸入節(jié)點與隱層節(jié)點間的網(wǎng)絡(luò)權(quán)值為wij，隱層節(jié)點與輸出節(jié)點間的網(wǎng)絡(luò)權(quán)值為wjk，如圖3所示。

當(dāng)輸出節(jié)點的期望值為dk時，BP算法如下：

1）隱含層節(jié)點的計算輸出：

2）輸出層節(jié)點的計算輸出：

輸出節(jié)點誤差為：

3）輸出單元的權(quán)值對誤差的影響：

4）隱含層節(jié)點對誤差函數(shù)的影響：

5）由于權(quán)值的修正Δwij，Δwij正比于誤差函數(shù)沿梯度下降，則有:

6）閾值的修正。閾值θ也是變化值，在修正權(quán)值的同時也需要修正，原理同權(quán)值修正一樣。

輸出層閾值修正：θk(t+1)= θk(t)+ ηδk

隱含層閾值修正：θj(t+1)= θj(t)+ η'δj

傳遞函數(shù)f(x)的導(dǎo)數(shù)：采用S型函數(shù)f(x)=1/(1+e-x)

f'(netk)=zk(1-zk),f'(netj)=yj(1-yj)

以上式子中出現(xiàn)的η（η>0）為學(xué)習(xí)參數(shù)。

3 應(yīng)用BP神經(jīng)網(wǎng)絡(luò)進行字符特征識別的仿真實驗

運用matlab7.0建立BP神經(jīng)網(wǎng)絡(luò)，并通過樣本訓(xùn)練，完成對26個英文字母的識別仿真實驗。

3.1 建立BP網(wǎng)絡(luò)

通過5*7像素的二值數(shù)字圖像來表示英文字母的對應(yīng)圖像。以字符的35個布爾數(shù)值作為BP網(wǎng)絡(luò)輸入。以26個字符的所在位置作為輸出向量?，F(xiàn)實中的字符圖像不一定很精確，所以要求BP網(wǎng)絡(luò)要有一定的容錯能力。

利用newff函數(shù)設(shè)計一個兩層的BP神經(jīng)網(wǎng)絡(luò)。以logsig傳遞函數(shù)，建立第一、第二層的神經(jīng)元。

3.2 訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)

設(shè)定訓(xùn)練函數(shù)和訓(xùn)練樣本。先使用無噪聲的信號對BP網(wǎng)絡(luò)進行訓(xùn)練，一直到1000個時間單位和誤差小于0.1時，完成BP網(wǎng)絡(luò)訓(xùn)練。BP網(wǎng)絡(luò)訓(xùn)練的誤差變化情況如圖4所示。

再對BP網(wǎng)絡(luò)進行含噪聲的樣本訓(xùn)練，重復(fù)訓(xùn)練10次。使含噪聲樣本訓(xùn)練后的BP網(wǎng)絡(luò)可以準(zhǔn)確識別無噪聲或含噪聲的輸入樣本。

3.3 進行仿真實驗并測試輸出

利用輸入樣本，對BP網(wǎng)絡(luò)進行仿真。仿真實驗測試結(jié)果如圖5所示。

圖5中，虛線表示無噪聲樣本訓(xùn)練的網(wǎng)絡(luò)，實線表示含噪聲樣本訓(xùn)練的網(wǎng)絡(luò)。從圖可以看到，輸入噪聲指標(biāo)低于0.1情況時，兩個網(wǎng)絡(luò)對字符識別的能力都很高。當(dāng)輸入噪聲指標(biāo)大于0.1的情況下，經(jīng)過含噪聲樣本訓(xùn)練的網(wǎng)絡(luò)，容錯能力比較高。因此，網(wǎng)絡(luò)訓(xùn)練中增加噪聲樣本的比重可以提高網(wǎng)絡(luò)的容錯能力。

4 小結(jié)

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò),是能實現(xiàn)映射變換的前饋網(wǎng)絡(luò)中最常用的一類網(wǎng)絡(luò)，它是一種典型的誤差修正方法，具有理論上能逼近任意非線性連續(xù)函數(shù)的能力，且結(jié)構(gòu)簡單，易于編程，在眾多的領(lǐng)域得到了廣泛的應(yīng)用。本文應(yīng)用matlab建立BP神經(jīng)網(wǎng)絡(luò),并通過樣本訓(xùn)練，仿真對字符的識別。從中可知，相對于傳統(tǒng)模式識別方法，BP神經(jīng)網(wǎng)絡(luò)對字符識別準(zhǔn)確度高，容錯能力強。BP神經(jīng)網(wǎng)絡(luò)在模式識別中應(yīng)用十分廣泛，但也存在一些問題有待解決：1）局部極小點問題。BP神經(jīng)網(wǎng)絡(luò)不能保證使權(quán)值收斂于全局最小點；2）收斂速度問題。對于復(fù)雜的問題，網(wǎng)絡(luò)訓(xùn)練時間較長；3）穩(wěn)定性問題。增加訓(xùn)練樣本，網(wǎng)絡(luò)對訓(xùn)練好的權(quán)值和閾值無記憶能力，要重新開始訓(xùn)練。

參考文獻：

[1] Theodoridis S,Koutrourmbas K.模式識別[M].北京:機械工業(yè)出版社,2009.

[2] 邊肇祺,張學(xué)工.模式識別[M].北京:清華大學(xué)出版社,2000.

[3] 丁永生.計算智能－理論、技術(shù)與應(yīng)用[M].北京:科學(xué)出版社,2004.

[4] 褚蕾蕾,陳綏陽,周夢.計算智能的數(shù)學(xué)基礎(chǔ)[M].北京:科學(xué)出版社,2002

篇10

關(guān)鍵詞BP神經(jīng)網(wǎng)絡(luò)；汽車故障率；神經(jīng)元；梯度下降

中圖分類號U2 文獻標(biāo)識碼A 文章編號2095―6363（2017）03―0063―02

隨著互聯(lián)網(wǎng)、數(shù)據(jù)庫、云計算、移動通信技術(shù)的快速發(fā)展和進步，促進了其在多領(lǐng)域得到廣泛普及，開發(fā)電子政務(wù)、電子商務(wù)、在線學(xué)習(xí)、物流倉儲、智能家居、金融證券等領(lǐng)域得到廣泛普及和使用，已經(jīng)積累了海量的應(yīng)用數(shù)據(jù)資源，并且持續(xù)呈現(xiàn)幾何級數(shù)增長。汽車是信息化普及和使用的一個重要方向，汽車生產(chǎn)制造、保養(yǎng)修復(fù)、運行監(jiān)控等都開發(fā)了先進的智能管理系統(tǒng)，這些系統(tǒng)運行也積累了海量數(shù)據(jù)，可以采用分類算法挖掘潛在有價值信息，形成一個個的數(shù)據(jù)類別，這些數(shù)據(jù)類別內(nèi)部具有高度相似性，類別之間高度相異，因此就可以根據(jù)用戶輸入的信息主體劃分?jǐn)?shù)據(jù)資源，提供一個合理的知識解釋和決策信息。

1 BP神經(jīng)網(wǎng)絡(luò)理論

目前，汽車故障數(shù)據(jù)分析主要包括2個類別，一是有監(jiān)督學(xué)習(xí)方法，比如BP神經(jīng)網(wǎng)絡(luò)、支持向量機、貝葉斯理論；一種是無監(jiān)督學(xué)習(xí)方法，比如譜聚類、密度聚類、K均值、信息等方法。有監(jiān)督大數(shù)據(jù)分析方法需要利用人們的經(jīng)驗，預(yù)先構(gòu)建一個分析模型，然后盡可能提高這個學(xué)習(xí)模型的準(zhǔn)確性，從而保證類別分析的精確度；無監(jiān)督學(xué)習(xí)方法卻不需要任何先驗知識，系統(tǒng)自動的將數(shù)據(jù)按照不同的關(guān)注角度進行分類。

BP神經(jīng)網(wǎng)絡(luò)能夠按照統(tǒng)計學(xué)規(guī)則，實現(xiàn)誤差逆?zhèn)鞑?，是一種多層次的前饋神經(jīng)網(wǎng)絡(luò)，目前已經(jīng)在多個機器學(xué)習(xí)和模式識別領(lǐng)域得到廣泛普及。BP神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)和存儲海量的數(shù)據(jù)信息，并且經(jīng)過自學(xué)習(xí)形成一個強大的支持網(wǎng)絡(luò)結(jié)構(gòu)，并且利用當(dāng)前最為流行的梯度下降方法，不斷調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)、權(quán)值和閾值，降低網(wǎng)絡(luò)的誤差平方和，準(zhǔn)確提取相關(guān)的數(shù)據(jù)隱含模式信息。汽車運行數(shù)據(jù)處理過程中，輸入層可以接收所有數(shù)據(jù)，并且將這些數(shù)據(jù)傳輸給中間層的神經(jīng)元，神經(jīng)元可以負(fù)責(zé)數(shù)據(jù)信息處理、變換，并且能夠根據(jù)信息變化能力的需求，改變和整合中間層結(jié)構(gòu)汽車運行數(shù)據(jù)流經(jīng)過識別和處理之后，就可以從中間層分發(fā)到輸出層，這樣就可以完成一次學(xué)習(xí)過程，將BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練成為一個準(zhǔn)確度非常高的模型，還可以通過誤差梯度下降等修正各個層次的權(quán)值，向隱藏層逐級反饋，實現(xiàn)反向傳播和修正，提高汽車運行數(shù)據(jù)識別精確度。

2汽車故障率預(yù)測模型設(shè)計

汽車故障是指企業(yè)部分組件或全部組件喪失工作能力，也即是零部件機器相互配合的狀態(tài)發(fā)生了異常變化，汽車故障廣泛地發(fā)生于生產(chǎn)制造、運行使用、修理維護等全過程，因此每一個環(huán)節(jié)都需要非常小心和注意，尤其是在汽車使用故障發(fā)生時，一定要及時發(fā)現(xiàn)故障類型，及時排除故障內(nèi)容，才能夠保證汽車使用中盡量降低事故發(fā)生率。目前，汽車故障形成具有很多原因，具體原因如下所述。

1）汽車組成部件自身質(zhì)量差異。汽車及其自身組件由于生產(chǎn)廠家、生產(chǎn)批次均不同，因此不可避免的存在許多質(zhì)量差異，原廠配件在使用過程中將會出現(xiàn)很多問題，協(xié)作廠和不合格的配件裝配到汽車上之后將會出現(xiàn)很多問題，對于不同批次、規(guī)格相同的部件來講，可以將其劃分為好中差3個層次，權(quán)值因子設(shè)置為0.95、0.8和0.6。

2）汽車消耗品質(zhì)量差異。汽車運行中，消耗品包括燃油、油等，這些消耗品的自身質(zhì)量將會影響汽車運行性能和使用壽命，非常容易的導(dǎo)致企業(yè)發(fā)生故障。目前汽車常用的燃油包括90#、95#和97#。

3）汽車使用環(huán)境影響。汽車使用環(huán)境復(fù)雜，路面易發(fā)生各類型事故，同時山區(qū)、城市、丘陵等地帶由于地勢不同，耗費的動力也是不同，汽車使用環(huán)境復(fù)雜多變，容易誘發(fā)汽車故障，將使用環(huán)境劃分為3個方面，分別是好良中，權(quán)值因子設(shè)置為I/0.8和0.5。

4）汽車故障診斷和維修的影響。汽車運行中，需要定期對其進行保養(yǎng)，以便能夠準(zhǔn)確診斷故障，才能夠?qū)⑦@些內(nèi)容修復(fù)完畢。汽車運行維護、故障診斷、維修服務(wù)中需要較高的技術(shù)，因此為了提高這些技術(shù)產(chǎn)品的應(yīng)用性，可以將汽車定期維護程度劃分為多個時間長短的內(nèi)容，分別是0-3/4-6/7-9三個階段。

5）汽車的自然損耗。汽車各個組件會隨著運行公里的增加逐漸衰弱，汽車自燃損耗越多，產(chǎn)生故障的概率就越大，因此汽車的自然損耗也是一個關(guān)鍵因素。

基于BP神經(jīng)網(wǎng)絡(luò)的汽車故障率預(yù)測模式可以利用管理系統(tǒng)、傳感器等采集上述5個方面的數(shù)據(jù)信息，將這些信息輸入到BP網(wǎng)絡(luò)的輸入層，輸入層接收道數(shù)據(jù)之后，將其按照權(quán)值因子進行整合，輸入到隱藏層網(wǎng)絡(luò)，隱藏藏網(wǎng)絡(luò)利用梯度下降、多層反饋等關(guān)鍵技術(shù)，對BP神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練和學(xué)習(xí)，通過對此類標(biāo)簽對比，不斷擬合調(diào)整網(wǎng)絡(luò)權(quán)值，形成一個強大的故障率預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)，這樣就可以準(zhǔn)確預(yù)測網(wǎng)絡(luò)結(jié)構(gòu)，將其輸出到顯示器上，具體的BP神經(jīng)網(wǎng)絡(luò)運行如圖1所示。