神經網絡前向傳播算法范文

導語：如何才能寫好一篇神經網絡前向傳播算法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

【關鍵詞】 圖像識別技術 神經網絡識別

模式識別研究的目的是用機器來模擬人的各種識別能力―比如說模擬人的視覺與聽覺能力，因此圖像識別的目的是對文字、圖像、圖片、景物等模式信息加以處理和識別，以解決計算機與外部環境直接通信這一問題?？梢哉f，圖像識別的研究目標是為機器配置視覺“器官”，讓機器具有視覺能力，以便直接接受外界的各種視覺信息。

一、圖像識別系統

一個圖像識別系統可分為四個主要部分：被識圖像、圖像信息獲取、圖像預處理、圖像特征提取、分類判決。

二、圖像識別方法

圖像識別的方法很多，可概括為統計（或決策理論）模式識別方法、句法（或結構）模式識別方法、模糊模式識別方法以及神經網絡識別方法。重點介紹神經網絡識別方法。

2.1神經網絡識別方法

2.1.1人工神經網絡的組成

人工神經網絡（簡稱ANN）是由大量處理單元經廣泛互連而組成的人工網絡，用來模擬腦神經系統的結構和功能。而這些處理單元我們把它稱作人工神經元。

2.1.2人工神經網絡的輸出

2.1.3人工神經網絡的結構

人工神經網絡中，各神經元的不同連接方式就構成了網絡的不同連接模型。常見的連接模型有：前向網絡、從輸入層到輸出層有反饋的網絡、層內有互聯的網絡及互聯網絡。

2.1.4 學習算法

1）感知器模型及其算法

算法思想：首先把連接權和閾值初始化為較小的非零隨機數，然后把有n個連接權值的輸入送入網絡中，經加權運算處理后，得到一個輸出，如果輸出與所期望的有較大的差別，就對連接權值參數按照某種算法進行自動調整，經過多次反復，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。

2）反向傳播模型及其算法

反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學習算法。

算法思想是：B-P算法的學習目的是對網絡的連接權值進行調整，使得調整后的網絡對任一輸入都能得到所期望的輸出。學習過程包括正向傳播和反向傳播。正向傳播用于對前向網絡進行計算，即對某一輸入信息，經過網絡計算后求出它的輸出結果；反向傳播用于逐層傳遞誤差，修改神經元之間的連接權值，使網絡最終得到的輸出能夠達到期望的誤差要求。

B-P算法的學習過程如下：

第一步：選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結果兩部分組成；第二步：從訓練樣例集中取出一樣例，把輸入信息輸入到網絡中；第三步：分別計算經神經元處理后的各層節點的輸出；第四步：計算網絡的實際輸出和期望輸出的誤差；第五步：從輸出層反向計算到第一個隱層，并按照某種原則（能使誤差向減小方向發展），調整網絡中各神經元的權值；第六步：對訓練樣例集中的每一個樣例重復一到五的步驟，直到誤差達到要求時為止。

3）Hopfield模型及其學習算法

它是一種反饋型的神經網絡，在反饋網絡中，網絡的輸出要反復地作為輸入再送入網絡中，使得網絡具有了動態性，因此網絡的狀態在不斷的改變之中。

算法思想是：

（a） 設置互連權值

其中xis是s類樣例的第i個分量，它可以為1或0，樣例類別數為m，節點數為n。

（b） 未知類別樣本初始化。 Yi（0）=Xi 0≤i≤n-1

其中Yi（t）為節點I在t時刻的輸出，當t=0時，Yi（0）就是節點I的初始值，Xi為輸入樣本的第I個分量。

（c） 迭代直到收斂

篇2

關鍵詞：神經網絡；BP算法；網絡模型

中圖分類號：TP183

1 BP網絡的定義

誤差反向傳播算法（Error Back Propagation，EBP，簡稱BP）在于利用輸出層的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差。如此下去，就獲得了所有其他各層的誤差估計。這樣就形成了將輸出表現出的誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程。因此，人們就又將此算法稱為向后傳播算法，簡稱BP算法。使用BP算法進行學習的多層前向網絡稱為BP網絡。雖然這種誤差估計本身的精度會隨著誤差本身的“向后傳播”而不斷降低，但它還是給多層網絡的訓練提供了十分有效的辦法。所以，多年來該算法受到了廣泛的關注。BP網絡應用廣泛，學習采用最小均方差，由輸入層、若干隱層和輸出層構成，它是一種典型的前饋網絡。

圖1 三層神經網絡模型

常用的BP網絡是三層前向網絡（如圖1所示），即：輸入層、中間層和輸出層。它的學習分為以下幾個過程：由每個神經元網絡的輸入節點經中間層向輸出層的一個正向傳播，若網絡的實際輸出與期望輸出有誤差，將這個誤差經輸出層到中間層再傳給輸入層調整權值再學習的一個逆傳播。通過不斷的學習，最后的輸出要在誤差范圍之內。

2 BP算法的基本思想

BP算法的基本思想歸結如下：BP網絡對于輸入信號，通過輸入層傳播到隱含層，經過激勵函數的作用，再將隱含層的輸出作為輸出層的輸入傳播到輸出層，最后輸出結果。對于每一個輸入樣本，神經網絡的實際輸出與目標輸出不可能完全一樣，兩者之間必然會有一定的誤差，定義均方差為：

3 BP算法的學習過程及兩種改進算法的思想

學習是人工神經網絡最重要的一個特點，學習的目的在于能對任何一個樣本的輸入通過調整相關參數輸出期望的結果。學習的方法可以從以下幾步闡述：第一步，向神經網絡模型輸入一系列樣本，每一個樣本都有包含輸入和期待的輸出兩部分，把采集到的樣本向神經網絡輸入后，先由第一個隱層進行相關計算然后逐層向下一層傳遞，直到傳至輸出層。第二步，將輸出的結果與期望輸出的結果做比較，如果誤差不能滿足要求，就按原來的路徑逐層返回，神經網絡的自學習能力這時候就要發揮作用了，它要根據誤差的結果對權值、閥值做適當修改，再從第一個隱層開始重復的計算傳遞，直到輸出的結果滿足要求。

本文論述的算法都是以三層網絡結構出發進行討論的。

BP算法的改進主要集中在兩個方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進迭代算法，加快收斂速度，較常用的方法是共軛梯度法、Levenberg-Marquardt法等。

BP網絡學習過程收斂速度慢的因素有兩方面：（1）學習率s和勢態因子α在訓練中值不變。BP網絡實際就是優化計算中的梯度下降法，利用輸出的誤差作為對權值、閥值調整的參考，目的是確保最終的輸出誤差最小?？紤]到算法的收斂性，學習率s必須小于某一固定上界。BP網絡中的學習率s和慣性因子α在訓練過程中為一固定值。這一限制決定了BP網絡的收斂速度不可能很快。（2）學習過程中出現“假飽和”。實際輸出和期望輸出的誤差產生以后，通過調整網絡訓練的權值，不斷學習后這種誤差應該越來越小，如果多次學習后誤差沒有減小，經過一段時間后，誤差才下降，稱這種現象為學習過程中的“假飽和”。在BP網絡中，初始權值、閾值一般是在一個范圍內人為確定的。若作為網絡輸入的神經元的個數與閾值差別較大，考慮到神經元具有飽和非線性特征，那么神經元的實際輸出只有兩種結果：極大值或極小值。當輸出層接收到的神經元的總輸入進入到飽和區，且實際輸出與目標輸出相互矛盾，就是“假飽和”。這時對權值作大的修改才行，而實際上，由于此時導數值趨近于零，導數權值修改量很小。導致學習速度下降。對中間層的神經元也是一樣。學習一旦進入“假飽和”狀態，很難退出這種“假飽和”狀態，可能需要一定的時間，有時可能會陷入僵局，要重新開始網絡訓練。

傳統的BP算法主要的優點是簡單、易于實現。但是BP算法有兩個不可克服的缺陷：（1）BP算法很可能陷入局部極小值；（2）收斂速度慢。

像熱導氣體分析儀這類的儀器經常會用于一些惡劣而又危險的環境中，且要求其測量周期短暫，所以系統需要較強的抗震蕩學習網絡?；跓釋鞲衅鳒y量的主要因素，提出一種新的BP網絡學習算法，對學習因子進行模糊自適應調節，這樣系統能夠快速、準確地將干擾因素與熱導傳感器的原始測量值進行擬合，有效減小測量誤差。這種模糊自適應算法思想一樣可用于發電機匝間短路故障的在線檢測。

4 結束語

通過以上對BP算法的學習與分析總結如下：（1）傳統的BP算法采用最小均方差的學習方式，是使用最廣泛的網絡，可用于語言綜合、語言識別、自適應控制等，它是一種典型的前饋網絡，優點是簡單、易于實現，缺點是可能陷入局部極小值、收斂速度慢。（2）BP算法的改進主要集中在兩個方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進迭代算法，加快收斂速度。（3）多層前饋神經網絡學習過程中，對學習因子進行模糊自適應調節，自動調節步長、勢態因子、可以明顯地提高收斂速度和誤差精度。在一些特殊領域的應用取得較好的效果。從目前已有的研究成果來看，設計的模糊自適應算法有良好的研究方向。

參考文獻：

[1]黃麗.BP神經網絡算法改進及應用研究[D].重慶師范大學圖書館，2007.

[2]劉彩紅.BP神經網絡學習算法的研究[D].重慶師范大學圖書館，2006.

[3]王建梅，覃文忠.基于L-M算法的BP神經網絡分類器[J].武漢大學學報，2005（10）：928-931.

篇3

關鍵詞：Matlab；BP神經網絡；預測

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)19-30124-02

Based on Matlab BP Neural Network Application

YANG Bao-hua

(Institute of Information and Computer, Anhui Agricultural University, Hefei 230036, China)

Abstract: BP learning algorithm is a one-way transmission of multi-layer to the network, Matlab toolbox is based on the theory of artificial neural network, based on Matlab toolbox, with watermelon-heavy forecasts, BP neural network forecast the feasibility of re-watermelon is verified, and fast convergence, small error, should be promoted in the forecast crop growth.

Key words: Matlab; BP Neural Networks; Forecast

1 引言

人工神經網絡是人工構造的模擬人腦功能而構建的一種網絡，BP神經網絡是結構較簡單、應用最廣泛的一種模型，BP神經網絡是Rumelhart等在1986年提出的。它是一種單向傳播的多層前向網絡，一般具有三層或三層以上的神經網絡，包括輸入層、中間層（隱層）和輸出層[1]，其模型見圖1所示。

■

圖1 BP網絡模型

Matlab中的神經網絡工具箱是以人工神經網絡理論為基礎，利用Matlab語言構造出許多典型神經網絡的傳遞函數、網絡權值修正規則和網絡訓練方法。網絡的設計者可根據自己的需要調用工具箱中有關神經網絡的設計與訓練的程序，免去了繁瑣的編程過程。

紅籽瓜(Red-seed Watermelon)種子即瓜子富含有蛋白質、脂肪、鈣、磷及多種維生素，含油率達55%左右，營養頗為豐富，經過精細加工，味道鮮美，市場十分暢銷[4]。為了提高瓜子的產量，需要關注很多因素，這些因素的改變會影響瓜子的產量，所以確定哪些因素能預測產量，如何預測是本文研究的內容。本文利用紅籽西瓜的測量數據，以單果重，種子數，千粒重，種子重作為輸入因子，仁重為輸出因子，選擇合適的隱層，構建影響紅籽西瓜種仁重量的BP網絡模型，運用Matlab軟件進行預測。

2 BP神經網絡設計的基本方法

Matlab的NNbox提供了建立神經網絡的專用函數newff()[5]。用newff函數來確定網絡層數、每層中的神經元數和傳遞函數，其語法為：

net=newff(PR,[S1,S2,…,SN],{TF1,TF2,…,TFN},BTF,BLF,PF)

式中：PR表示由每個輸入向量的最大最小值構成的R×2矩陣；Si表示第i層網絡的神經元個數；TF表示第i層網絡的傳遞函數，缺省為tansig，可選用的傳遞函數有tansig，logsig或purelin；BTF表示字符串變量，為網絡的訓練函數名，可在如下函數中選擇：traingd、traingdm、traingdx、trainbfg、trainlm等，缺省為trainlm；BLF表示字符串變量，為網絡的學習函數名，缺省為learngdm；BF表示字符串變量，為網絡的性能函數，缺省為均方差“mse”。

2.1 網絡層數

BP網絡可以包含不同的隱層，但理論上已經證明，在不限制隱層節點數的情況下，兩層（只有一個隱層）的BP網絡可以實現任意非線性映射。

2.2 輸入層節點數

輸入層起緩沖存儲器的作用，它接受外部的輸入數據，因此其節點數取決于輸入矢量的維數。

2.3 輸出層節點數

輸出層節點數取決于兩個方面，輸出數據類型和表示該類型所需的數據大小。在設計輸人層和輸出層時，應該盡可能的減小系統規模，使系統的學習時間和復雜性減小。

2.4 隱層節點數

一個具有無限隱層節點的兩層BP網絡可以實現任意從輸入到輸出的非線性映射。但對于有限個輸入模式到輸出模式的映射，并不需要無限個隱層節點，這就涉及到如何選擇隱層節點數的問題，至今為止，尚未找到一個很好的解析式，隱層節點數往往根據前人設計所得的經驗和自己進行試驗來確定。一般認為，隱層節點數與求解問題的要求、輸入輸出單元數多少都有直接的關系。另外，隱層節點數太多會導致學習時間過長；而隱層節點數太少，容錯性差，識別未經學習的樣本能力低，所以必須綜合多方面的因素進行設計。

隱層節點數的初始值可先由以下兩個公式中的其中之一來確定[2,3]。

1=■+a (1)

或 1=■(2)

式中，m、n分別為輸入結點數目與輸出結點數目，a為1～10之間的常數。

2.5 數據歸一化

因為原始數據幅值大小不一，有時候還相差比較懸殊。如果直接投人使用，測量值大的波動就壟斷了神經網絡的學習過程，使其不能反映小的測量值的變化。所以，在網絡訓練之前，輸人數據和目標矢量都要經過歸一化處理。

根據公式可將數據“歸一化”，即限定在[0,1]區間內。歸一化公式為：

■ (3)

也可以使用歸一化函數Premnmx，及反歸一化函數Postmnmx。

3 BP學習算法及實例

3.1 BP學習算法

1) 初始化網絡及學習參數；

2) 從訓練樣本集合中取一個樣本，并作為輸入向量送入網絡；

3) 正向傳播過程，對給定的輸入樣本，通過網絡計算得到輸出樣本，并把得到的輸出樣本與期望的樣本比較，如有誤差超出限定范圍，則執行第4步；否則返回第2步，輸入下一個樣本；

4) 反向傳播過程，即從輸出層反向計算到第一隱層，修正各神經元的連接權值，使用誤差減小。

3.2 實例

為了提高瓜籽產量，需要關注很多因素，濾去相關度過低的因子，根據經驗確定輸入因子為單果重，種子數，千粒重，種子重，輸出因子為仁重?，F以表1所示的2000~2002年測量數據作為訓練樣本進行訓練，對2003年的數據進行預測。輸出層結點代表仁重量，神經網絡的預測模型采用4-4-1，即輸入層4個神經元，根據公式(2)計算隱層神經元數確定為4，1個輸出神經元。設定最大的迭代次數為500次，系統全局誤差小于0.001。傳遞函數為tansig，訓練函數為trainlm。

根據經典的BP算法，采用Matlab編程，樣本訓練結果見圖2，2003的數據作為預測樣本，預測結果如下：

TRAINLM, Epoch 0/500, MSE 0.316381/0.001, Gradient 2.8461/1e-010

TRAINLM, Epoch 4/500, MSE 0.00056622/0.001, Gradient 0.0830661/1e-010

TRAINLM, Performance goal met.

SSE = 0.0102

y = 0.269 0.267 0.27 0.269 0.2679 0.2679

表1 紅籽西瓜數量性狀表

瓜籽仁重實際值為0.265，0.282，0.264，0.269，0.265，0.287，誤差為0.0102，當樣本較少時可以接受的誤差范圍內。并且收斂速度快。

■

圖2訓練函數為trainlm的訓練結果

采用traingd函數進行訓練，則5000次仍未達到要求的目標誤差0.001，說明該函數訓練的收斂速度很慢。見圖3所示。所以訓練函數的選擇也非常關鍵。

■

圖3 訓練函數為traingd的訓練結果

4 結論

用Matlab編編寫的基于BP網絡的仁重預測程序，計算結果表明，誤差較小，預測值與實測值吻合較好，所建立的模型具有較好的實用性，說明單果重，種子數，千粒重，種子重的數據影響瓜子的產量，同時驗證BP算法可以用于瓜仁產量的預測。

目前所進行的預測試驗中數據的樣本較少，且生長動態變化，今后擬建立一個動態預測系統，為紅籽瓜品種培育、提高產量提供新的方法，值得在預測作物生長中推廣。

參考文獻：

[1] 飛思科技產品研發中心.神經網絡理論與Matlab 7實現[M].北京：電子工業出版社.2006:100-105.

[2] 徐廬生.微機神經網絡[M].北京：中國醫藥科技出版社,1995．

[3] 高大啟.有教師的線性基本函數前向三層神經網絡結構研究[J].計算機學報,1998,21(1):80-85．

[4] 欽州農業信息網：.

篇4

[關鍵詞] 前饋神經網絡 Levenberg-Marquardt算法 BP算法

前饋神經網絡BP學習算法在理論上具有逼近任意非線性連續映射的能力,在非線性系統的建模及控制領域里有著廣泛的應用。然而BP 算法存在一些不足, 主要是收斂速度很慢; 往往收斂于局部極小點; 數值穩定性差, 學習率、動量項系數和初始權值等參數難以調整，非線性神經網絡學習算法Levenberg-Marquardt可以有效地克服BP算法所存在的這些缺陷。

一、前饋神經網絡

前饋神經網絡由輸入層、隱層和輸出層組成。令u=[u1,u2,Λ，um]T,y=[y1,y2,Λ,yn]T絡的輸入、輸出向量, 令X=[x1,x2,Λ,xN]T為網絡的權及閾值的全體所組成的向量。給定P組輸入輸出訓練樣本定義網絡的誤差指標函數為:

(1)

(2)

然后就可以按照各種學習算法開始對X進行訓練, 得到最優Xopt, 使得

二、Levenberg-Marquardt神經網絡算法

1.給定初始點X(0), 精度，σ，k=0。

2.對i=1,2,…,M求fi(X(k)),得向量

對i=1,2,…,M求得Jacobi矩陣

3.解線性方程組求出搜索梯度方向h(k)。

4.直線搜索,其中λk滿足

5.若則得到解Xopt，轉向7（停止計算）; 否則轉向6。

6.F（X(k+1)）＜F(X(k)),則令,k=k+1, 轉向2; 否則=*ξ,轉向3。

7.停止計算

在實際操作中，是一個試探性的參數，對于給定的，如果求得的h(k)能使誤差函數Ep(X)降低，則被因子ξ除；若誤差函數Ep(X)增加，則乘以因子ξ。在仿真中，選取初始值=0.01，ξ=10。在采用Levenberg-Marquardt算法時，為使收斂速度更快，需要增加學習率因子α，取α為0.4。Levenberg-Marquardt算法的計算復雜度為為網絡權值數目，如果網絡中權值的數目很大。則計算量和存儲量都非常大。因此，當每次迭代效率顯著提高時，其整體性能可以大為改善，特別是在精度要求高的時候。

三、結論

前饋神經網絡中，BP 算法存在收斂速度很慢，收斂于局部極小點等缺陷，而Gauss-Newton的改進算法Levenberg-Marquardt算法能有效克服BP 算法的缺陷。

參考文獻：

[1]徐嗣鑫 戴友元:前向神經網絡的一種快速學習算法及其應用.控制與決策, 1993, 8(4): 284～ 288

篇5

關鍵詞:神經網絡;計算機;智能信息;應用

中圖分類號:TP183

文獻標識碼:A

文章編號:16723198(2009)20028602

1神經網絡的定義

一般情況下,人工神經元網絡是作為信息處理單元來模仿大腦,執行特定的任務或完成感興趣的功能。關于它的定義有很多種,而下面的HechtNielsen給出的神經網絡定義最具有代表意義: 神經網絡是一種并行的分布式信息處理結構,它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號――處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數學類型。在每一個處理單元中執行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當前值和處理單元本身所存儲記憶的值。

2神經網絡的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經網絡模擬人的思維也應是非線性的。

(2)非局域性: 非局域性是人的神經系統的一個特性,人的整體行為是非局域性的最明顯體現。神經網絡以大量的神經元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現。

(3)非定常性: 神經網絡是模擬人腦思維運動的動力學系統,它應按不同時刻的外界刺激對自己的功能進行修改,故而它是一個時變的系統。

(4)非凸性:神經網絡的非凸性即是指它有多個極值,也即系統具有不只一個的較穩定的平衡狀態。這種屬性會使系統的演化多樣化。

3神經網絡模型的分類

(1)按照網絡的結構區分,則有前向網絡和反饋網絡。

(2)按照學習方式區分,則有教師學習和無教師學習網絡。

(3)按照網絡性能區分,則有連續型和離散性網絡,隨機型和確定型網絡。

(4)按照突觸性質區分,則有一階線性關聯網絡和高階非線性關聯網絡。

(5)按對生物神經系統的層次模擬區分,則有神經元層次模型,組合式模型,網絡層次模型,神經系統層次模型和智能型模型。

通常人們較多地考慮神經網絡的互連結構。一段而言,神經網絡有分層網絡、層內連接的分層網絡、反饋連接的分層網絡、互連網絡等4種互連結構。在人們提出的幾十種神經網絡模型中,人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和AR雙自適應共振理論網絡。

Hopfield網絡是最典型的反饋網絡模型,它是目前人們研究得最多的模型之一。Hopfield網絡是由相同的神經元構成的單層,并且不具學習功能的自聯想網絡。它需要對稱連接。這個網絡習以完成制約優化和聯想記憶等功能。

BP網絡是誤差反向傳播(Back Propagation)網絡。它是一種多層前向網絡,采用最小均方差學習方式。這是一種最廣泛應用的網絡。它可用于語言綜合,識別和自適應控制等用途。BP網絡需有教師訓練。

Kohonen網絡是典型的自組織神經網絡,這種網絡也稱為自組織特征映射網絡SOM。它的輸入層是單層單維神經元;而輸出層是二維的神經元,神經元之間存在以“墨西哥帽”形式進行側向交互的作用。因而,在輸出層中,神經元之間有近揚遠抑的反饋特性,從而使Kohonen網絡可以作為模式特征的檢測器。

ART網絡也是一種自組織網絡模型。這是一種無教師學習網絡。它能夠較好地協調適應性,穩定性和復雜性的要求。在ART網絡中,通常需要兩個功能互補的子系統相互作用.這兩個子系統稱注意子系統和取向子系統。ART網絡主要用于模式識別,它不足之處是在于對轉換、失真和規模變化較敏感。

4誤差反向傳播的前饋網絡(BP網絡)

學習是神經網絡一種最重要也最令人注目的特點。自從40年代Hebb提出的學習規則以來,人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應用最多的有效算法。

(1)神經網絡的學習機理和機構:在神經網絡中,對外部環境提供的模式樣本進行學習訓練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進行學習。感知器的學習是神經網絡最典型的學習。這種學習系統分成三個部分:輸入部,訓練部和輸出部。

輸入部接收外來的輸入樣本X,由訓練部進行網絡的權值W調整,然后由輸出部輸出結果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進行比較,產生的誤差去控制修改權值W。

(2)神經網絡學習的梯度算法:從感知器的學習算法可知,學習的目的是在于修改網絡中的權值,使到網絡對于所輸入的模式樣本能正確分類。當學習結束時,也即神經網絡能正確分類時,顯然權值就反映了同類輸人模式樣本的共同特征。換句話講,權值就是存儲了的輸人模式。由于權值是分散存在的,故神經網絡自然而然就有分布存儲的特點。

感知器學習算法相當簡單,當函數不是線性可分時求不出結果,而且不能推廣到一般前饋網絡中,為此出現了另一種算法-梯度算法((LMS)。梯度算法把神經元的激發函數改為可微分函數,例如非對稱Sigmoid函數為f (x) = l/(1 + e-x ),或對稱Sigmoid函數f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學習算法進了一大步。

(3)反向傳播學習的BP算法:感知機學習算法是一種單層網絡的學習算法。在多層網絡中,它只能改變最后權值。因此,感知機學習算法不能用于多層神經網絡的學習。1986年,Rumelhart提出了反向傳播學習算法,即BP算法。這種算法可以對網絡中各層的權值進行修正,故適用于多層網絡的學習。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態則影響輸入輸出之間的關系。這也是說,改變隱含層的權值,可以改變整個多層神經網絡的性能。

篇6

關鍵詞：BP網絡 旋轉觸探儀 神經網絡預測 訓練函數

中圖分類號：TP751 文獻標識碼：A 文章編號：1674-098X（2014）12（c）-0004-02

隨著計算機技術的快速發展，人工神經網絡在數學p物理p工程p巖土等行業得到廣泛應用。Matlab軟件提供了神經網絡的工具箱，提供了多種神經網絡庫函數，為數值計算提供了計算平臺。巖土工程問題的復雜多變性，在運用神經網絡分析和預測時，其結果往往受各種因素的影響，關鍵還是網絡結構的構建和訓練函數的選取。因此，應該對網絡的訓練函數的選取進行深入研究。

該文在大量的旋轉觸探試驗的基礎上，結合土的物理性質指標含水量、干密度，土的強度參數粘聚力和內摩擦角，以及埋深情況，建立土的旋轉觸探模型，建立BP神經網絡，采用不同的訓練函數對網絡進行訓練。

1 BP神經網絡

BP網絡是一種單向傳播的多層前向網絡，具有三層或三層以上的神經網絡，包括輸入層、中間層（隱層）和輸出層。在人工神經網絡的實際應用中，BP網絡廣泛應用于函數逼近、模式識別/分類、數據壓縮等，人工神經網絡模型采用BP網絡或它的變化形式，它是前饋網絡的核心部分，體現了人工神經網絡最精華的部分。BP算法的基本思想[1]是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或進行到預先設定的學習次數為止。

2 BP神經網絡的訓練函數

BP神經網絡中的訓練算法函數是根據BP網絡格式的輸入、期望輸出，由函數newff 建立網絡對象，對生成的BP 網絡進行計算，修正權值和閾值，最終達到BP網絡的設計性能，從而完成網絡的訓練和預測。BP 神經網絡幾種主要的訓練函數及其特點分述如下[2]。

（1）traingda、trainrp函數和trainlm函數。

traingda函數是最基本的自適應學習步長函數，其最大優點可以根據誤差容限的性能要求調節函數，彌補標準BP算法中的步長選擇不當問題。trainrp函數可以消除偏導數的大小權值帶來的影響，只考慮導數符號引來的權更新方向，忽略導數大小帶來的影響。trainlm函數。該函數學習速度較快，但占用內存很大，從理論上來說適用于中等規模的網絡。

（2）共軛梯度算法：traincgf函數、traincgp函數、traincgb 函數、trainscg函數。

共軛梯度算法是介于最速下降法與牛頓法之間的一個方法，其利用一階導數信息，但克服了最速下降法收斂慢的缺點，又避免了牛頓法需要存儲和計算Hesse矩陣并求逆的缺點。上述四種共軛梯度算法前三種收斂速度比梯度下降快很多，其需要線性搜索，對于不同的問題會產生不同的收斂速度。而第四種不需要線性搜索，其需要較多的迭代次數，但是每次迭代所需計算量很小。

（3）Newton算法：trainbfg函數、trainoss函數。

trainbfg 算法的迭代次數較少，由于每步迭代都要Hessian矩陣，其每次迭代計算量和存儲量都很大，適合小型網絡。Trainoss為一步割線算法。它是介于共軛梯度法和擬牛頓算法的方法，其需要的存儲和計算量都比trainbfg要小，比共軛梯度法略大。

上述各算法由于采用的訓練函數不同，其計算速度、收斂速度及其迭代次數不盡相同，并且對內存要求依研究對象的復雜程度、訓練集大小、網絡的大小及誤差容限的要求等存在差異。在運用BP網絡解決相關工程性問題時，需要選擇合理的訓練函數。

3 網絡訓練函數的選取

該文著重研究BP神經網絡的訓練函數的選擇，所用數據樣本均來自于實踐中用新型微機控制旋轉觸探儀采集到的數據，經過歸一化處理建立了網絡的樣本數據庫，根據訓練函數的特點選擇其隱含層數為2。文選擇非線性函數為Sigmoid，輸出層的傳遞函數為Purelin，可以用來模擬任何的函數（必須連續有界）。

采用不同的訓練函數對網絡的性能也有影響，比如收斂速度等等，下面采用不同的訓練函數（trainbr、traingd、traingdm、traingdx、traincgf、trainlm、trainb）對網絡進行訓練，并觀察其結果，如表1所示。

對比可知，trainlm訓練函數的收斂效果較好，trainbr、trainlm訓練函數得到的絕對誤差相對較小，其它訓練函數的收斂性能較差。trainbr訓練樣本的絕對誤差比trainlm訓練函數的絕對誤差小，且分布比較均勻，但是trainbr訓練函數的收斂精度卻相對較差，這可能是出現局部最優化的問題，通過測試樣本的進一步分析如表2所示，trainbr訓練以后的網絡對于預測樣本的預測精度較低，偏差較大，進一步驗證了該訓練函數在訓練過程中訓練收斂精度相對較差，并出現局部最優化[3]。

綜合考慮，可以看到trainlm訓練函數具有訓練速度快且預測精度高的特點，所以本文中選用trainlm作為訓練函數。

4 結論

該文以Matlab神經網絡的作為工具，基于觸探模型作為研究對象，對不同的訓練函數進行了仿真比較，結果表明采用不同的訓練函數其存在明顯的差異。綜合考慮干密度誤差，含水量誤差，干密度誤差（樣本順序），含水量誤差（樣本順序）以及迭代次數和性能誤差等因素，選用trainlm作為訓練函數，trainlm函數由于其訓練速度較快且計算精度較高而顯現出一定的優勢。

參考文獻

[1] 葛哲學，孫志強.神經網絡理論與MATLAB R2007實現[M].電子工業出版社，2007.

篇7

關鍵詞：卷積神經網絡 現場可編程門陣列 并行結構

中圖分類號：TP183 文獻標識碼：A 文章編號：1007-9416（2015）12-0000-00

1 引言

卷積神經網絡（Convolutional Neural Network， CNN）具有良好的處理能力、自學能力及容錯能力，可以用來處理復雜的環境信息，例如，背景情況不明，推理規則不明，樣品存有一定程度的缺陷或畸變的情況。所以，卷積神經網絡被廣泛應用于目標檢測、物體識別和語音分析等方面[1]?，F場可編程門陣列（Field Programmable Gate Array， FPGA），作為可編程使用的信號處理器件，其具有高集成度、運行高速、可靠性高及采用并行結構的特點，易于配合CNN處理數據。

2 國內外研究現狀

2.1 神經網絡的模型結構

根據研究角度、數據傳遞方式、數據處理模式、學習方法等的不同，多種神經網絡模型被構建出來。目前主要有四種模型被廣泛應用中[2][3]：

（1）前饋型神經網絡。此類神經元網絡是由觸突將神經原進行連接的，所以網絡群體由全部神經元構成，可實現記憶、思維和學習。此種類型的網絡是有監督學習的神經網絡。（2）遞歸型神經網絡。此種神經網絡又稱為反饋網絡，以多個神經元互相連接，組織成一個互連的神經網絡，使得電流和信號能夠通過正向和反向進行流通。（3）隨機型神經網絡。此種神經網絡的運行規律是隨機的，通過有監督學習方法進行網絡訓練。（4）自組織競爭型神經網絡。此種神經網絡通過無監督的學習方法進行網絡訓練，一般具有兩層網絡結構，輸入層和競爭層。兩層間的各神經元實現雙向全連接。

2.2 神經網絡的學習方法

神經網絡的學習方法用來解決調整網絡權重的問題，是指完成輸入特征向量映射到輸出變量之間的算法，可以歸納為三類[4-7]：

（1）有監督的學習。在學習開始前，向神經網絡提供若干已知輸入向量和相應目標變量構成的樣本訓練集，通過給定輸入值與輸出期望值和實際網絡輸出值之間的差來調整神經元之間的連接權重。（2）無監督的學習。此種學習方法只需要向神經網絡提供輸入，不需要期望輸出值，神經網絡能自適應連接權重，無需外界的指導信息。（3）強化學習。此種算法不需要給出明確的期望輸出，而是采用評價機制來評價給定輸入所對應的神經網絡輸出的質量因數。外界環境對輸出結果僅給出評價結果，通過強化授獎動作來改善系統性能。此種學習方法是有監督學習的特例。

2.3 卷積神經網絡的結構

卷積神經網絡為識別二維或三維信號而設計的一個多層次的感知器，其基本結構包括兩種特殊的神經元層，一為卷積層，每個神經元的輸入與前一層的局部相連，并提取該局部的特征[8]；二是池化層，用來求局部敏感性與二次特征提取的計算層[8]。作為部分連接的網絡，最底層是卷積層（特征提取層），上層是池化層，可以繼續疊加卷積、池化或者是全連接層。

3 FPGA實現神經網絡的并行體系結構

（1）卷積神經網絡的計算架構。卷積神經網絡可以使用“主機”與“FPGA”相結合的體系模型，主機用來控制計算的開始和結束，并在神經網絡前向傳播計算過程中，提供輸入圖像等數據。主機與FPGA之間的通信可以通過標準接口，在主機進行任務分配的過程中可以對FPGA上的卷積神經網絡進行硬件加速。當卷積神經網絡開始啟動計算，通過標準接口接收到主機傳輸的圖像時，FPGA開始進行計算，并且使用FPGA中的存儲器來存儲卷積核權值。FPGA將會先完成卷積神經網絡前向傳播過程的計算，然后將其最后一層計算得到的結果輸出給主機。（2）卷積神經網絡并行體系架構。一、單輸出并行結構：每次計算一個輸出圖像，其中會將多個輸入圖像和多個卷積核基本計算單元同時進行卷積運算，然后將全部卷積運算的結果與偏置值進行累加，再將結果輸入非線性函數和自抽樣子層進行計算。二、多輸出并行結構：若卷積神經網絡的計算單元中含有多個單輸出的并行結構，那么輸入數據可同時傳送到多個單輸出計算單元的輸入端，從而組成多個單輸出計算單元組成的并行結構。在卷積神經網絡的并行計算結構中，每個卷積核計算單元在進行卷積操作時都要進行乘加運算，所以，有必要將單個的卷積運算拆分實現并行化，并且可以嘗試將同一層內的多個卷積運算進行并行化。

4 結語

本文對卷積神經網絡進行了介紹，總結了國內外的研究現狀，結合卷積神經網絡運算的特點與FPGA的快速計算單元數量及功能方面的優勢，嘗試闡述了在FPGA映射過程的卷積神經網絡的并行體系結構。

參考文獻

[1] Fan J，Xu W，Wu Y，et al. Human tracking using convolutional neural networks[J].IEEE Transactions on Neural Networks，2010（10）：1610-1623.

[2] 楊治明，王曉蓉，彭軍.BP神經網絡在圖像分割中的應用.計算機科學[J].2007（03）：234-236.

[3] Simon Haykin . Neural networks ，a comprehensive foundation[M].second edition，Prentice Hall，1998.

[4] Herta J ， et al.Introduction to Theory of Neural Compution[M].Sant Fee Complexity Science Series，1991.156.

[5] 戴奎.神經網絡實現技術[M].長沙：國防科技大學出版社，1998.

[6] 焦李成.神經網絡系統理論[M].西安：西安電子科技大學出版社，1996.

篇8

摘要：工程造價估算是招標投標中的重要一環，探尋一套快速、簡捷、實用的工程造價估算方法已經成為建筑行業的迫切需要。為了建設工程造價估算技術的發展及文聯面臨的問題，提出在建設工程造價估算技術系統中應用人工神經網絡技術來提高估算精確度，并且給出系統的設計模型。

關鍵詞：人工神經網絡；工程造價；造價估算

人工神經網絡（ArtificialNeuralNetworks，簡寫為ANNs）也簡稱為神經網絡（NNs）或稱作連接模型（ConnectionistModel），它是一種模范動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入－輸出數據，分析掌握兩者之間潛在的規律，最終根據這些規律，用新的輸入數據來推算輸出結果，這種學習分析的過程被稱為“訓練”。

一、神經網絡的建立

雖然人們還并不完全清楚生物神經網絡是如何進行工作的，但還是幻想能否構造一些“人工神經元”，然后將這些神經元以某種特定的方式連接起來，模擬“人腦”的某些功能。

在1943年，心理學家W. McCulloch和數學家W. Pitts合作，從數理邏輯的角度，提出了神經元和神經網絡最早的數學模型（MP模型），是神經網絡研究的開端，更為后面的研究發展奠定了基礎。經歷了半個多世紀，神經網絡度過了萌芽期、第一次期、反思低潮期、第二次期、再認識與應用研究期五個階段。目前，神經網絡已成為涉及多種學科和領域的一門新興的前沿交叉學科。

神經元分為分層網絡和相互連接型網絡。所謂分層網絡，就是一個網絡模型中的所有神經元按功能分層，一般分為輸入層、中間層（隱含層）、輸出層，各層按順序連接，隔層之間均采用的是全互連接，但對于同一單元間，不互相連接。分層網絡可細分為簡單前向網絡、反饋前向網絡和層內互相連接的網絡。人工神經網絡結構是一種多層的網絡結構，一個典型的前向網絡。

某個神經元 j 的輸入―輸出關系為

其中，θj為閥值，ωji為連接權，f(•)為變換函數，也稱活化函數(activation function)

對于人工神經網絡模型，我們只可能在某種程度上去描述我們所了解的情況。同樣，人工神經網絡也只可能是在某種程度上對真實的神經網絡的一種模擬和逼近。

二、在工程造價中的運用

成都市工程造價計價模式后選取了基礎類型、結構類型、工期、層數、建址、層高、內裝修、門窗、單位造價等10個影響工程造價和工程量的特征作為模型的輸入?？紤]到各個工程中門和窗數量差別很大為提高估算的精度我們把門數量和窗數量作為輸入，其數量在工程施工圖紙上很容易查得，不需作復雜的計算。對于其他文字性表達的工程特征需轉變成數字后作為網絡的輸入。

很明顯的看出，測試樣本總體誤差率比較小，平均誤差為283%，基本滿足估算要求，隨著工程資料的不斷積累，選取有代表性的數據作為樣本，誤差將不斷縮小。

意義：

通過這次研究，我們了解了人工神經網絡的基本原理，即通過誤差反向傳播建立多層前饋網絡的學習收斂過程,該過程主要包括三個層次,即輸入層、隱含層和輸出層。在訓練中通過計算輸出值與期望值之間的誤差,來求解輸出層單元的一般化誤差,再將誤差進行反向傳播,求出隱含層。并了解了基于人工神經網絡之上的建設項目的投資估算模型，了解了平滑指數法、類比系數法、模糊數學估算法的基本原理與其自身的優勢與不足，也讓我們更深刻地認識到，人工神經網絡，作為90年代逐漸被運用的人工智能技術之一，能像一個經驗深厚的造價師，根據工程類型、特征及其相關情況,結合數據和經驗,準確的估算出其造價。我們也通過計算驗證了模型的可行性。對于我們從事建筑造價的大學生來說，是一次難能可貴的研究機會，能夠較深層次的了解行業中的專業知識。隨著中國改革開放和市場經濟的不斷深入，中國建筑企業在面臨很好的機遇的同時，也面臨著嚴峻的考驗。現在的市場競爭機制已表現得越來越明顯，他要求我們提高效率，盡快拿出自己招投標方案，但是傳統的預算方法以及現行的計算軟件都必須花費較長的時間才能計算出結果，而且計算的結果準確度還不是很高。怎樣解決這個問題，成了建筑界的熱門話題。同時作為建設方的業主，他們同樣對快速預算很感興趣。因為確定工程造價是建設工作中十分重要的一環，在不同階段有著不同的方法。如建設前期的工程造價估算、初步設計階段編制概算、施工圖設計階段編制預算，特別是建設前的估算是我們工作的重點，因為它是我們進行成本控制的起點。對于建設單位而言，它們不僅能在進行設計招標之前大致確定該工程的造價，而且還能在工程施工招標前定出合理的標底?？梢娍焖兕A算有其很現實的發展研究背景。近幾年許多學者都在這方面努力探索，并取得了很好成果。 神經網絡和模糊數學的快速發展應用為工程快速預算提供了很好的思路。我們通過查閱資料了解了模糊數學和神經網絡的結合原理，認識了基于模糊神經網絡和工程預算原理的工程快速估價的模型，并通過住宅建筑估價模型的建立，說明模型的實現方法且驗證其實用性。這次研究對于行業經驗不足的我們十分寶貴，我們通過書籍等資料更加全方位的了解了我們未來所講從事的行業的知識，為我們以后的工作做了良好的鋪墊，積累了寶貴財富，我們將在了解這些專業知識之后熟練地運用，以更好地促進行業的發展。（西華大學；四川；成都；610039）

參考文獻：

① 汪應洛、楊耀紅，工程項目管理中的人工神經網絡方法及其應用［J］.中國工程科學.2004,6(7):26-33.

② 袁曾仁，人工背景：神經網絡及其應用［M］清華大學出版社，1991

篇9

關鍵詞：BP神經網絡、圖像分割、特征提取

Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.

Keywords: BP neural network, image segmentation, feature extraction

中圖分類號：TP183 文獻標識碼：A文章編號：

引言

BP人工神經網絡算法是現今應用較為廣泛的多層前向反饋式神經網絡算法，BP人工神經網絡有較好的容錯能力、魯棒性、并行協同處理能力和自適應能力，受到了國內外眾多領域學者的關注。由于神經網絡高效率的集體計算能力和較強的魯棒性，它在圖像分割方面的應用已經很廣泛，Jain和Karu采用了多通道濾波與前向神經網絡相結合的方法實現圖像紋理分割算法。神經網絡算法在特征提取階段，壓縮特征數量，以提高分類速度和精度。在圖像識別領域中神經網絡作為分類器的研究也得到了很大的進展，尤其是其學習能力和容錯性對于模式識別是非常有利的，在一定程度上提高了訓練速度和識別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識別，每一層神經網絡處理較低層次的特征，獲取該層特征信息并傳給上一層。

BP神經網絡的基本原理

人工神經網絡的研究起源于對生物神經系統的研究，它將若干處理單元（即神經元）通過一定的互連模型連結成一個網絡，這個網絡通過一定的機制可以模仿人的神經系統的動作過程，以達到識別分類的目的。人工神經網絡區別于其他識別方法的最大特點是它對待識別的對象不要求有太多的分析與了解，具有一定的智能化處理的特點。神經網絡的學習過程實際上就是不斷地調整權值和閾值的過程。根據有無訓練樣本的指導可以將神經網絡的學習方式分為兩種：監督學習方式和非監督學習方式，也稱為有導師指導學習方式和無導師指導學習方式。監督學習方式，是在給定固定的輸入輸出樣本集的情況下，由網絡根據一定的學習規則進行訓練學習，每一次學習完成后，通過對比實際的輸出和期望的輸出，以此決定網絡是否需要再學習，如果還沒有達到期望的誤差，則將實際誤差反饋到網絡，進行權值和閾值的調整，使實際的誤差隨著學習的反復進行而逐步減小，直至達到所要求的性能指標為止。非監督學習方式，是在沒有外界的指導下進行的學習方式，在學習過程中，調整網絡的權重不受外來教師的影響，但在網絡內部會對其性能進行自適應調節。

BP神經網絡分類器的設計

BP神經網絡是基于誤差反向傳播算法(Back Propagation Algorithm，BPA)的多層前向神經網絡，由輸入層、輸出層、一個或多個隱含層所組成。BP神經網絡結構確定之后，通過對輸出和輸入樣本集進行訓練，反復修正網絡的權值和閾值，達到學習訓練的期望誤差，以使網絡能夠實現給定的輸入輸出映射關系。BP人工神經網絡的學習過程分為兩個階段，第一階段是輸入己知的學習樣本數據，給定網絡的結構和初始連接權值和閾值，從輸入層逐層向后計算各神經元的輸出；第二階段是對權值和閾值進行修改，即根據網絡誤差從最后一層向前反饋計算各層權值和閾值的增減量，來逐層修正各層權值和閾值。以上正反兩個階段反復交替，直到網絡收斂。具體實現步驟如下：

(1) 網絡的初始化：首先對輸入的學習訓練樣本進行歸一化處理，對權值矩陣W和閾值向量賦初值，將網絡計數器和訓練次數計數器置為1，網絡誤差置為0。

(2) 輸入訓練樣本，計算輸入層，隱含層以及輸出層的實際輸出。

(3) 計算網絡輸出誤差。將實際的輸出和期望的輸出值進行對比，采用均方根誤差指標作為網絡的誤差性能函數。

(4) 若誤差還沒達到期望標準，則根據誤差信號，逐層調整權值矩陣和閾值向量。

(5) 若最終調整之后的網絡輸出達到了誤差范圍之內，則進行下一組訓練樣本繼續訓練網絡。

(6) 若全部的訓練樣本訓練完畢，并且達到了期望的誤差，則訓練結束，輸出最終的網絡聯接權值和閾值。

BP神經網絡可以逼近任意連續函數，具有很強的非線性映射能力，而且BP神經網絡中間層數、各層神經元數及網絡學習速率等參數均可以根據具體情況設定，靈活性較強，所以BP神經網絡在許多領域中廣泛應用。一般來說，神經網絡方法應同傳統的人工智能方法相聯系的。神經網絡本身結構及性能上的特點使其對問題的處理更富有彈性，更加穩健。神經網絡的基本特點是采用自下而上的設計思路，使其容易確定具體的目標分割或識別算法，在增加了不確定因素的同時也產生了網絡最優化的問題，這就是所謂的偽狀態(pseudo-trap)。盡管在實踐中并非所有的偽狀態對應完全失敗的結果，但是畢竟這不符合對之完美的或者說合理的期望。人工智能則一般采用自上而下的方法，偏重于邏輯推理建立系統模型。因此將神經網絡同人工智能結合起來，相當于賦予神經網絡高層指導的知識及邏輯推理的能力，具有潛在的優勢。

輸入層中間層 輸出層

圖1 BP人工神經網絡結構

BP神經網絡的訓練

4.1 BP神經網絡的設計

BP神經網絡的設計主要包括兩方面內容：一是神經網絡結構的確定，特別是隱含層層數及隱含層單元數目的確定；二是高精度收斂問題，隱含層和隱含層單元數過多，將導致訓練時間過長并出現過度擬和的問題，隱含層單元數過少又導致網絡收斂速度慢甚至不收斂，達不到誤差精度要求。在確定隱含層層數以及隱含層單元數目時，沒有一個嚴格的理論依據指導，需要根據特定的問題，結合經驗公式確定大致范圍來進行逐步試算比較得到。

4.2 數據預處理

為了加快網絡的訓練速度，通常在網絡訓練前進行神經網絡輸入和輸出數據預處理，即將每組數據都歸一化變為[-1,1]之間的數值的處理過程。

4.3 神經網絡的訓練

%當前輸入層權值和閾值

inputWeights=net.IW{1,1}

inputbias=net.b{1}

%當前網絡層權值和閾值

layerWeights=net.LW{2,1}

layerbias=net.b{2}

%設置訓練參數

net.trainParam.show = 1000;%限時訓練迭代過程

net.trainParam.lr = 0.1; %學習率，缺省為0.01

net.trainParam.epochs = 100000; %最大訓練次數，缺省為100

net.trainParam.goal = 0.001; %訓練要求精度，缺省為0

[net,tr]=train(net,P,T);%調用 TRAINGDM 算法訓練 BP 網絡

A = sim(net,P) %對 BP 網絡進行仿真

E = T - A;%計算仿真誤差

MSE=mse(E)

結束語

BP網絡因為具有較強的學習性、自適應型和容錯性，在很多領域均已經大量運用。本文將BP人工神經網絡運用于圖像的識別，探索人工神經網絡在圖像識別領域中的重要的現實意義。研究表明，BP人工神經網絡應用于圖像識別在一定程度上提高了識別的效率和準確率。但是，BP神經網絡算法還存在以下幾點不足之處：（1）權的調整方法存在局限性，容易陷入局部最優；（2）網絡的結構需要提前指定或者在訓練過程中不斷的修正；（3）過分依賴學習樣本，由于學習樣本是有限的或者學習樣本質量不高，那么會導致訓練達不到效果；（4）對于規模較大的模式映射問題，存在收斂速度慢、容易陷入局部極小點、判斷不準確等缺陷?？傊?，如何解決以上問題，如何進一步提高識別精度，擴大識別范圍，使之更具有更好的工程實用性，是有待進一步研究的內容。

參考文獻：

[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．

[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．

[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．

[4] 邊肇其，張學工．模式識別（第二版）[M]．清華大學出版社，北京．1999，12．

[5] 陳書海，傅錄祥．實用數字圖像處理[M]．科學出版社，北京．2005．

[6] 萬來毅，陳建勛．基于BP神經網絡的圖像識別研究[J]．武漢科技大學學報（自然科學版）．2006，6．

[7] 叢爽．面向MATLAB工具箱的神經網絡理論與應用（第2版）[M]．北京：中國科學技術出版社，2003．

[8] 王娟，慈林林等．特征方法綜述[J]．計算機工程與科學．2005．27（12）．68-71．

[9] 賈花萍．基于神經網絡的特征選擇與提取方法研究[J]．網絡安全．2008，7．33-35．

[10] 龔聲榮，劉純平等編著．數字圖像處理與分析[M]．清華大學出版社，北京．2006．7．

篇10

伴隨著人民生活水平的提高，汽車已經成為了人民生活中重要組成部分。但是伴隨著的汽車自身某些故障的產生，使得汽車故障的研究成為了人們研究的重點，文獻[1]指出計算機和信息化技術的廣泛運用到汽車中，其中傳感器逐步應用到汽車控制中，它能夠對汽車信息進行感知，采集，轉換和處理。將感知的信息轉換其他需要的信息輸出。汽車傳感器是汽車電子控制的關鍵部件，也是汽車電子技術的核心部分。文獻[2-3]提出一種基于數據驅動的多模型傳感器故障軟閉環容錯控制方法，并對非線性系統中卡死、恒增益、恒偏差等常見傳感器故障進行了研究。文獻[4]指出目前傳感器控制主要是分布是針對衡秤體下方，通過傳感器輸出來完成故障傳感器輸出信號，但容易偏離中心，影響估計精度。文獻[5]指出數字稱重傳感器可以實現不間斷工作，能夠在短時間內獲得故障信號，但缺點是價格昂貴。文獻[6]提出基于結構振動響應特性利用改進的模態濾波方法對陣列式傳感器系統進行故障診斷。

本文主要BP神經網絡的基礎上引入靜態模糊控制，對汽車傳感器控制的故障進行有效、準確的分類。并針對汽車傳感器的故障準確的進行診斷和恢復，從而可以有效的來保證汽車傳感器的正常的運作。

1.汽車傳感器控制故障模型矩陣

汽車傳感器的輸出信號主要是電壓信號，當汽車傳感器與（傳感器與發動機控制裝置）之間的接線發生斷路的時候，電壓信號就會超出正常范圍從而引起故障。通常設定汽車傳感器器的輸出信號電壓的正常范圍為，如果實際輸入ECU信號電壓大于或小于，則認為該信號不可靠，表示傳感器有故障。只有傳感器信號持續一定時間后，才會判斷為有故障。假設車輛傳感器網絡中傳感器節點個數為，每個節點在數據采集過程進行次采樣，單節點數據長度為。單個節點采集數據作為矩陣的列，則網絡數據可表示為

為便于表述，將各節點數據以此銜接，網絡數據可寫為向量形式

（1）

其中，。

網絡數據的測量過程可由如下的矩陣向量形式表示：

其中，，測量矩陣。（2）

2.改進的BP神經網絡在汽車傳感器診斷

2.1汽車靜態模糊函數構建

汽車傳感器網絡故障具有一定的隨機性，是一種典型的非線性結構，而靜態模糊函數可以很好找到傳感器故障中的死亡節點。靜態模糊基函數構造如下：

（3）

通過將汽車節點傳感器能量（設定為）輸入公式（3）中，得到相應的改進節點能量如下：

（4）

在公式（6）中，其中表示傳感器節點的個數。為固定參數，通過在模糊函數中構造靜態函數如下：

（5）

在公式5）中，為模糊變量，表示參考參考模糊變量集。其中設定為0-1之間的實數，表示的可能性是；該準則設定的含義是當達到的時候，的可能性則是。設定用mamdani蘊涵表示，通過采用mamdani來進行推理得出。使用公式（8）對進行自學習得到，其中的精度遠大于。

（6）

將公式（4），（5）和（6）進行三者結合，得到針對汽車傳感器的靜態控制節點的自學習能力函數，從而能夠快速的對汽車傳感器節點能量損失進行判斷。

2.2BP神經網絡

BP神經網絡是一種單向傳遞的網絡，通常是由輸入層，隱含層，輸出層組成。它將信號進行前向傳遞和反向傳播。其中反向傳播時權值按Delta學習規則進行調整。在前向傳遞中依次按式（9）計算各層的輸入輸出直到輸出層。當輸出層得不到期望的輸出則進行反向傳播，根據期望與實際輸出之間的誤差調整權值和閾值。權值的調整公式見式（10）。

（7）

在公式（1）中為第層節點的激活值，為閾值，為輸入信號，為第節點與第節點的連接權系數，為節點的輸出值。

（8）

在公式（8）中，為神經網絡期望輸出與實際輸出的誤差。

2.3本文算法的描述

本文首先通過自學習中的靜態模糊函數來確定汽車傳感器故障的支撐集，然后通過BP神經網絡算法來針對傳感器的故障進行快速分類，從而縮短檢測時間，提高檢測效率。通過求解以為自變量的目標函數的極小值

：（9）

其中對。正則化參數、分別對變換系數和生成矩陣的稀疏度進行加權。為便于表述，不妨假設，稀疏度量使用1范數。

3.試驗仿真與分析

本文選取本公司下屬的汽車修理廠中的汽車故障100組數據，每組分為為50組數據，前30組用于訓練，余下20組用于測試。然后通過靜態模糊函數來分類進行故障樣本，同時設計1個BP神經網絡分類器，以此來驗證靜態模糊函數自學習的作用。兩組BP神經網絡分類器診斷結果比較如表1所示。選取沖擊傳感器故障下的三組數據如表2所示，BP神經網絡分類器的實際輸出數據如表3所示。

從表1-3中發現利用改進的BP網絡算法對汽車傳感器故障樣本數據進行處理后，神經網絡的輸入層從20個減少為8個，訓練次數大幅度減少為100次顯然CPU的耗時明顯縮短。并且基本保持故障識別率不變。通過采用靜態模糊函數保證識別率的同時，簡化了BP神經網絡的結構，提高了診斷速度，是實現增加BP神經網絡對故障樣本分類實時性的行之有效的方法。

4.結束語

本文提出了基于BP網絡神經中引入靜態模糊控制的方法對故障進行快速分類，首先對故障樣本的輸入數據運用靜態模糊函數進行數據收集，再對神經網絡的輸出結果進行數據數據分類。同時具體的實驗數據表明本文的算法在保證故障準確率的同時簡化了神經網絡結構，提高了故障診斷速度。

參考文獻：

[1]趙炯等.基于傳感器融合技術的電動汽車自動駕駛系統的開發[J].制造業自動化，2013.35（5）：43-46

[2]李煒，張婧瑜.多模型傳感器故障軟閉環容錯控制研究[J].計算機應用研究，2015，32（2）：447-450

[3]王千等.K-means聚類算法研究綜述[J].電子設計工程，2012，20（7）：40-43

[4]BLISSD，STICKELC，BENTZJW.Loadcelldiagnosticsandfailurepredictionweighingapparatusandprocess[P].UunitedStatePatent：728638，2000

[5]PENGXF.Applicationofdigitalloadcells[J].IndustrialMeasurement，2008，（01）：62-63

[6]JIANMINGL，YonggonL，SCOTTDS，etal.Selforganizingradialbasisfunctionnetworkforreal-timeapproximationofcontinuous-timedynamicalsystems[J].IEEETrans.NeuralNetworks，2008，19（3）：460-474