神經網絡的權值范文

導語：如何才能寫好一篇神經網絡的權值，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

關鍵詞： 網絡流量檢測； 群智能算法； RBF神經網絡； 網絡安全

中圖分類號： TN926?34； TP393 文獻標識碼： A 文章編號： 1004?373X（2016）20?0012?03

Abstract： The application of swarm intelligence optimizing neural network in network security and a network traffic detection model based on neural network algorithm are studied in this paper. QAPSO algorithm is used to optimize the basis function center and base function width of RBF neural network， and the connection weights of the output layer and the hidden layer as well. The detection model studied in this paper is analyzed by means of an example. The collected data is used to train the network traffic identification system and test its performance. The method researched in this paper is compared with the algorithms based on the conventional PSO and HPSO. The results show that the detection method has a faster recognition speed and better recognition accuracy， and can avoid the occurrence of local optimal solutions.

Keywords： network traffic detection； swarm intelligence algorithm； RBF neural network； network security

0 引 言

隨著互聯網技術不斷發展和普及，互聯網絡中的應用和服務類型不斷增加，為了提高網絡安全，保護網民、公司企業以及政府部門等的財產與利益，需要對網絡流量進行高效的監測[1?2]。

RBF神經網絡具有強大的非線性擬合能力，即非線性映射能力，以及自學能力，同時便于計算機實現，因而在網絡流量檢測等網絡安全領域得到了廣泛應用。但是RBF神經網絡的性能特別依賴網絡參數選取的好壞，而傳統RBF神經網絡參數通常由人為按經驗或隨機選取，因此網絡的性能具有較強的隨機性[3?4]。

近年來，群智能優化算法逐漸發展并得到較為廣泛的應用，其中粒子群優化算法是一種能夠全局優化，具有建模速度快、收斂效率高的群智能優化算法，然而使用常規PSO算法優化神經網絡仍然存在收斂速度和全局優化能力不能夠達到平衡等問題[5?7]。因此本文研究一種基于量子自適應粒子群優化算法（QAPSO），對RBF神經網絡的基函數中心[Ci]、基函數的寬度[σi]以及輸出層與隱含層的連接權值[wi]進行優化。

1 基于群智能優化的神經網絡算法

本文研究的QAPSO優化算法主要分為4部分，分別為初始化種群、估計進化狀態、控制參數自適應以及處理變異[8]。

1.1 初始化種群

2 實例分析

為驗證本文建立基于QAPSO優化RBF神經網絡的網絡流量檢測模型的性能，使用基于Libsvm軟件包的C#程序并結合數值計算軟件Matlab R2014對網絡流量進行采集、計算以及分類。網絡流量檢測類型如表2所示。

表2 網絡流量檢測類型

使用常規PSO優化算法及HPSO優化算法對RBF神經網絡進行優化，并建立同樣的網絡流量檢測模型，使用同樣的訓練數據樣本進行訓練，使用同樣的測試數據樣本進行性能測試。常規PSO優化算法的參數為空間維度[D=24]，粒子數量[N=30]，最大迭代次數[tmax=200]，連接權值[w=0.9～0.4]，加速系數[c1]和[c2]均為2。HPSO優化算法的參數為空間維度[D=24]，粒子數量[N=30]，最大迭代次數[tmax=200]，連接權值[w=0.8～0.2]，加速系數[c1]和[c2]均為2.5，[Vmaxd=0.5×Range]。QAPSO算法的參數為空間維度[D=24]，粒子數量[N=30]，最大迭代次數[tmax=200]，連接權值[w=0.8～0.2]，加速系數[c1]和[c2]為1.5～2.5，[Vmaxd=Range]，[r1d]和[r2d]為0～1之間的隨機數。

從圖1可以看出，常規PSO優化算法使得適應度函數收斂到穩定值時的迭代次數為171次，HPSO優化算法使用了112次，而本文研究的QAPSO優化算法只使用了76次。同時，本文研究的QAPSO優化算法的收斂值更低，適應度函數的值即為RBF神經網絡的訓練誤差，因此適應度函數越小，RBF神經網絡的訓練誤差越小，性能越好。因此，本文研究的QAPSO優化算法相比另外兩種PSO優化算法具有更快的收斂速度和更高的收斂精度，極大地提高了RBF神經網絡的泛化能力。使用本文研究的QAPSO?RBF檢測模型及常規PSO和HPSO優化RBF算法的檢測模型對實驗數據進行識別。表3為三種檢測模型的檢測準確率與反饋率對比。圖2為三種模型的平均檢測率和反饋率對比。

通過表3的數據可以看出，本文研究的QAPSO?RBF檢測模型對12種類型網絡服務與應用均有較好的識別準確率和反饋率，平均識別準確率達到了92.81%，比HPSO?RBF算法的平均識別準確率高出3.49%，比PSO?RBF算法的平均識別準確率高出6.99%。QAPSO?RBF識別算法的平均識別反饋率達到了94.81%，比HPSO?RBF算法的平均識別反饋率高出3.51%，比PSO?RBF算法的平均識別反饋率高出7.28%?？杀砻飨啾绕渌Ｗ尤簝灮惴?，本文研究的QAPSO優化算法在進行多次迭代后仍然具有較好的活躍性，跳出局部最優解，對最佳值的全局搜索能力具有非常顯著的提高，加快了算法收斂速率，提高了識別準確率。

3 結 論

本文研究一種群智能優化神經網絡算法的網絡流量檢測模型。通過實際測試驗證，相比其他粒子群優化算法，本文研究的QAPSO優化算法在進行多次迭代后仍然具有較好的活躍性，跳出局部最優解，對最佳值的全局搜索能力具有非常顯著的提高，加快了算法收斂速率，提高了識別準確率。

參考文獻

[1] 盧金娜.基于優化算法的徑向基神經網絡模型的改進及應用[D].太原：中北大學，2015.

[2] 鐘建坤，周永福.群智能算法優化神經網絡在網絡安全的應用研究[J].激光雜志，2015，36（4）：143?146.

[3] 李博.粒子群優化算法及其在神經網絡中的應用[D].大連：大連理工大學，2005.

[4] 蔣林利.改進的PSO算法優化神經網絡模型及其應用研究[D].廈門：廈門大學，2014.

[5] 陳偉.基于群體智能算法的人工神經網絡優化及其應用[D].無錫：江南大學，2007.

[6] 劉曉剛.群體智能算法在RBF神經網絡中的應用[D].青島：青島大學，2008.

[7] 馬汝輝.基于網絡流量異常檢測的網絡安全技術研究[D].無錫：江南大學，2008.

篇2

關鍵詞： FPGA； BP神經網絡； 線性擬合； 非線性擬合； 自適應訓練

中圖分類號： TN702.2?34； TP183 文獻標識碼： A 文章編號： 1004?373X（2016）15?0115?04

Abstract： Using software for neural network has the disadvantages of low parallelism and slow speed， the hardware design resource utilization of the traditional neural network is high， and the network training is uncontrollable. To solve these problems， a new FPGA?based design method of back propagation （BP） neural network is proposed. The method can realize the Sigmoid excitation function through piecewise linear fitting and nonlinear fitting based on symmetry， and uses the finite state machine （FSM） to accomplish the training times adaption based on error. The Verilog HDL language is used to design the 1?3?1 BP neural network to approximate the function [y=cosx.] The resource occupancy of the network is 2 756 LEs， the training times are 1 583， the average relative error of the network test sample is 0.6%， and the maximum clock frequency is 82.3 MHz. The verification results show that the neural network designed with the method has the advantages of less resource occupancy， high accuracy and fast running speed， and can control the network training automatically.

Keywords： FPGA； BP neural network； linear fitting； nonlinear fitting； adaptive training

0 引 言

人工神經網絡（ANNs）[1]通常都是采用基于軟件的方法實現。但作為一個并行計算系統，軟件實現的方法存在速度慢的缺點，而硬件方式具有高并行性的特點，適合于人工神經網絡。FPGA作為一種通用的硬件設計平臺，其內部分布式的資源與神經網絡的結構非常契合，是一個實現神經網絡硬件化設計的良好選擇。

資源占用是FPGA設計的一個重要考量因素，而網絡訓練是神經網絡功能實現的基礎。已有的神經網絡硬件設計工作在這兩方面還存在巨大的空間。例如，薛維琴等利用FPGA實現了BP神經網絡[2]，該網絡經過訓練能夠描述非線性函數，但沒有提出BP神經網絡的激勵函數和訓練控制模塊的具體硬件實現方法。李利歌等提出了直接利用查找表實現神經網絡激勵函數的方法[3]，但是查找表存在占用資源大，運行速度慢的缺點。張海燕等采用基于查找表的STAM算法實現神經網絡激勵函數[4]，且文中也沒有提到訓練控制模塊。Javier Valls等提出利用CORDIC算法實現神經網絡的激勵函數[5]，資源利用率低，但是存在精度不足的問題。劉培龍利用分段擬合實現激勵函數[6]，但是激勵函數資源占用較多。

基于這一現狀，本文通過對Sigmoid函數基于對稱性分段擬合以及基于誤差的訓練自適應技術，提出了一種新的神經網絡FPGA設計方法。該方法設計的神經網絡資源占用少，網絡訓練自適應，同時還具有精度高，運行速度快的優點。

1 BP神經網絡的FPGA設計

根據BP神經網絡的結構，本文將網絡劃分為神經元模塊、激勵函數模塊、誤差計算模塊，權值更新模塊、權值存儲模塊以及自適應網絡訓練模塊。圖1給出了不同功能模塊之間的連接和訓練過程。其中，權值存儲模塊和輸入神經元將輸入層的權值以及訓練的樣本輸入到隱含層神經元進行乘累加運算，其結果輸入到激勵函數模塊得到激勵函數輸出，該輸出和隱含層的權值作為輸出層神經元的輸入得到本次訓練結果。該結果再經過誤差計算模塊計算誤差值和權值改變量。權值改變量在權值更新模塊中得到新權值存入到權值存儲模塊。誤差值輸入到自適應網絡訓練模塊判斷網絡訓練是否達到最優。網絡訓練達到最優前，該過程循環，當網絡訓練達到最優，自適應訓練模塊控制網絡停止訓練。

系統中神經元模塊、誤差計算模塊、權值更新模塊按照BP網絡算法規則可調用加、乘、乘累加等功能模塊，權值存儲模塊可調用RAM模塊。激勵函數模塊和自適應訓練模塊關乎系統資源占用及訓練過程的實現，是本文BP神經網絡FPGA設計的重點。

1.1 激勵函數模塊設計

激勵函數模塊是影響整個神經網絡資源利用的主要因素之一，在保證誤差足夠小的前提下，激勵函數模塊資源占用越小越好。

式中含有指數運算，較難在FPGA 中直接實現。利用Sigmoid函數具有對稱性以及較好的線性區域和非線性區域分界的特點，本文提出一種資源占用小、精度高的基于對稱性分段擬合的激勵函數硬件實現的方法。

考慮到Sigmoid函數的對稱性，只需完成[x>0]的區域硬件實現，根據對稱性即可求出[x0]區域，根據Sigmoid函數線性區域和非線性區域分界良好的特點，分別采用線性擬合和非線性擬合的方法分段逼近。具體而言，如圖2所示，將整個激勵函數模塊分為預處理模塊、函數逼近模塊以及最終輸出模塊三個子模塊。

1.1.1 預處理模塊

激勵函數的輸入[x]為16位定點數，最高位為符號位，中間五位為整數部分，后十位為小數部分。當[x]輸入到激勵函數模塊時，首先進行預處理。截取二進制輸入[x]的最高位判斷[x>0]或者[x0]時，[x=x，]將[x]輸入到后續處理模塊，若判斷出[x

1.1.2 函數逼近模塊

基于對輸入[x]的預處理，此子模塊只需要對[x>0]的情況做線性擬合和非線性擬合。分段逼近函數如表1所示。

1.1.3 最終輸出模塊

最終輸出模塊由預處理模塊輸出的控制信號控制。若[x>0，]則控制信號控制最終輸出模塊直接輸出函數逼近模塊中[x]對應的輸出[fx；]若[x

1.1.4 激勵函數模塊分析

按照上述設計方法完成激勵函數模塊的設計后，對激勵函數模塊進行功能仿真和誤差分析。從-8～8以0.001為間隔生成測試數據輸入到激勵函數模塊，得到的ModelSim仿真結果如圖3所示，其各區間絕對誤差如表2所示。從中可以看出，各區間的誤差值均很小且誤差分布較為平均，體現出良好的逼近效果。

1.2 自適應訓練模塊設計

網絡訓練是神經網絡功能實現的基礎。神經網絡隨著訓練的進行，權值逐漸改變，誤差逐漸減小，但如果網絡訓練不能適時結束，造成過度訓練，則網絡性能會變差。然而對網絡訓練的控制在硬件上并不易設計，故很多工作未討論這一點或簡單的以固定周期來完成訓練。本文提出了一種基于可容忍誤差值的自適應網絡訓練硬件設計方法，可有效的自動控制神經網絡訓練過程。

分析神經網絡的訓練過程，每一次輸入樣本值都會在本次訓練完成時得到一個誤差值，當誤差在可以容忍的范圍內可以認為網絡已經訓練完成。認為在給定的可容忍誤差值的情況下，如果連續兩次整個樣本集輸入得到的誤差絕對值都要比給定的可容忍誤差值要小，則該神經網絡訓練已經達到最優。根據這個思想，提出利用有限狀態機實現自適應網絡訓練。

如圖4所示，有限狀態機的狀態數是樣本集中樣本數的兩倍，狀態機初始為零狀態。當某一次訓練得到的誤差絕對值小于可容忍誤差值時，狀態機進入第一個狀態。若緊鄰的下一次訓練得到的誤差絕對值也小于可容忍誤差值，狀態機進入下一個狀態，否則狀態機狀態回到第0個狀態。當狀態機跳轉到最后一個狀態時，網絡訓練完成，此時輸出控制信號控制權值存儲模塊停止權值更新，提示信號提示訓練完成。該模塊的分析需要結合網絡中的其他模塊，故測試結果在下一節中給出。

2 驗證和分析

2.1 驗證平臺

根據上述方法，設計了一個1?3?1三層BP神經網絡驗證其性能。驗證平臺為Altera公司的EP2C70F896C6。

以[y=cosx]函數為學習對象，從[0～2π]之間以[0.062 5π]為間隔選取33個樣本組成樣本集，隨機選取其中25個作為訓練樣本，剩下8個作為測試樣本。神經網絡的初始權值和閾值的選取具有一定的隨機性，根據網絡需要逼近的函數數值大小，輸入層到隱含層的初始權值矩陣[W1=[2.5，0.5，-0.3]，]隱含層到輸出層的初始權值矩陣[W2=[0.35，0.4，0.3]，]隱含層閾值選為[0.2，0.3，0.4]，輸出層閾值選為[0.3]。隱含層的學習率設為0.4，輸出層的學習率設為0.3，容忍誤差設為0.01。

2.2 結果分析

ModelSim仿真得到的結果如圖5所示，從圖5中可以看出該BP神經網絡的訓練是自適應的。當網絡訓練到最優時，產生一個控制信號和一個提示信號以及網絡訓練的次數，此時權值存儲器的值不再變化，訓練完成。

25個訓練樣本集訓練的平均誤差為0.003，分析8個測試樣本集的誤差，如表3所示。從表3中可以看出，其誤差與訓練數據的誤差大體相當且均很小。計算測試樣本的平均相對誤差為0.6%，小于1%，說明該方法實現的基于FPGA的BP神經網絡精度較高。

將該網絡下載至Altera公司EP2C70F896C6的FPGA中，其最高時鐘頻率為82.3 MHz，可見該方法具有運行速度快的優點。將該神經網絡資源占用情況與已有相關工作的資源占用情況作對比，如表4所示。雖然其中各設計的規模和平臺有所差異（如1 Slice≈4 LEs），但仍可估算出即便添加了自適應訓練模塊，本設計對資源的占用依然較低。

從表5中可以看到，當學習對象不同時，網絡訓練的次數也不同，實現了訓練過程的自適應。由此亦可推至，若采用傳統的預設固定次數的方式完成訓練，則對于不同學習對象難免會造成訓練不充分或過度訓練的情況，從而影響網絡的性能。因此，該表也進一步證明了該設計自適應訓練的優越性。

3 結 論

本文以典型的BP神經網絡為例，提出了一種自適應訓練的神經網絡FPGA設計方法。通過對Sigmoid激勵函數基于對稱性做分段擬合減少了資源占用，使用基于可容忍誤差完成了網絡訓練自適應。該方法設計的神經網絡具備訓練可控、資源占用低、精度高的優點。此方法不僅適合于 BP網絡，也可推廣至采用Sigmoid函數及需要訓練控制的其他類型的神經網絡。

注：本文通訊作者為常勝。

參考文獻

[1] 蔣宗禮.人工神經網絡導論[M].北京：高等教育出版社，2001：15?16.

[2] 薛維琴，李莉華，戴明.基于FPGA的人工神經網絡系統的實現方法[J].電子設計工程，2010，18（9）：151?154.

[3] 李利歌，閻保定，侯忠.基于FPGA的神經網絡硬件可重構實現[J].河南科技大學學報（自然科學版），2009，30（1）：37?40.

[4] 張海燕，李欣，田書峰.基于BP神經網絡的仿真線設計及其FPGA實現[J].電子與信息學報，2007，29（5）：1267?1270.

[5] VALLS J， KUHLMANN M， PARHI K K. Evaluation of CORDIC algorithms for FPGA design [J]. Journal of VLSI signal processing， 2002， 32（3）： 207?222.

篇3

【關鍵詞】大學生身體素質評估 遺傳算法 BP神經網絡 MATLAB計算程序

在校大學生是國家重要的人才后備力量，大學生的身體素質培養和鍛煉是學校體育教學中關注的重點。對大學生身體素質進行科學、切實的評價可制訂更為有效的培養方案，幫助大學生提高其身體素質。身體素質評價就是將大學生的身體形態、生理機能及運動能力等方面的數據綜合起來進行評價[1]。從以往的研究成果看，對大學生身體素質評價集中于采用概率統計、多元回歸分析和神經網絡[2]的方法。然而，概率統計僅得到整體評價結果，多元回歸分析預測精度較低，且兩者受樣本空間影響較大。為此，本文利用遺傳算法來訓練初始網絡模型，再用BP算法來進行精確求解，是對神經網絡評估大學生身體素質的進一步優化應用。

基于遺傳算法的BP神經網絡理論

通過把神經網絡和遺傳算法合理、科學的結合，既能夠利用神經網絡較強的學習能力，又發揮了遺傳算法全局尋優的搜索功能。首先利用遺傳算法得到權值的較優初始取值，訓練網絡避免了局部極小，利用BP神經網絡訓練次數和最終權值也相對穩定，訓練速度明顯加快，從而既節約了時間，又提高了預測結果的準確性。

1.基于遺傳算法的BP神經網絡結構

BP網絡的學習規則采用最速下降法，利用遺傳算法根據訓練目標函數對網絡權值進行迭代，找到最佳初始網絡權值。通過反向傳播來不斷調整網絡權值，使網絡誤差平方和最小，該系統的網絡結構，如圖1所示。先對大學生身體素質的評估指標進行分類，抽取大學生身體素質的特征指標，并作為輸入信息送入由輸入層、中間層和輸出層組成的三層網絡模型進行評估。經過測試的網絡，成為穩定的模式評估器，即可輸出評估結果[3，4]。

該模型的輸入層節點數為n，即大學生身體素質評價指標數，中間層節點數為 ，輸出層節點數為1，即身體素質評估結果值，ωij和ωj為BP神經網絡權值，初始化隱含層閾值為ɑ，輸出層閾值為b，由此可給定學習速率和神經元激勵函數。從圖1可發現，BP神經網絡可以看成一個非線性函數，網絡輸入值和輸出值分別為該函數的自變量和因變量。當輸入層節點數為n，輸出層節點數為1時，BP神經網絡就表達了從n個自變量到1個因變量的函數映射關系。

2.基于遺傳算法的BP神經網絡算法

遺傳算法優化BP神經網絡的核心是用遺傳算法來優化BP神經網絡的初始權值和閾值，使優化后的BP神經網絡能夠更好地預測函數輸出，計算流程如圖2所示。

1.背景資料

根據本校某班2011年大學生身體素質測評成績，從中選取30名學生的測試結果作為神經網絡的訓練樣本和校驗樣本。結合遺傳算法和BP神經網絡算法，在大型數學計算軟件MATLAB中編程實現基于遺傳算法的BP神經網絡大學生身體素質評估[4]。

2.計算結果與分析

遺傳算法優化過程中最優個體的適應度變化（如圖3）。把最優初始權值、閾值賦給神經網絡，用訓練數據訓練100次后，得到基于遺傳算法的BP神經網絡預測值。為了對比分析，也進行了BP神經網絡預測分析（如圖4）。

從圖4可看出，采用BP神經網絡及遺傳算法優化的BP神經網絡兩種算法得到的預測結果，與專家判斷（實際值）基本一致。但基于遺傳算法的BP神經網絡較BP神經網絡預測精度高。特別在輸入節點，即評價大學生身體素質的指標較多時，基于遺傳算法的BP神經網絡預測效果要好一些。

結 論

1.本文提出了基于遺傳算法的BP神經網絡大學生身體素質評價算法，并建立了相應的網絡模型。

2.基于遺傳算法的BP神經網絡算法不但具有神經網絡的函數逼近能力，而且應用遺傳算法優化BP神經網絡的權值、閾值，可使優化后的神經網絡避免訓練時間長、易陷入局部極值的缺點。

3.結合實例，將基于遺傳算法的BP神經網絡大學生身體素質評價算法，應用于本校學生身體素質評估。結果表明，該算法較BP神經網絡預測精度及效率高，可作為今后大學生身體素質評價的一種新方法。

參考文獻：

[1]范正森，張明如，周瑞琪.大學生身體素質綜合評價數學模型[J].武漢工業大學學報，2001，4：92-94.

[2]陳海英，郭巧.短跑運動能力的神經網絡評價方法[J].北京理工大學學報，2003，1：54-57.

[3]陳剛，何政偉，楊斌，楊洋.遺傳BP神經網絡在泥石流危險性評價中的應用[J].計算機工程與應用，2010，46（3）.

篇4

關鍵詞：模式識別；神經網絡；感知器；權值

中圖分類號： TP183 文獻標志碼： A 文章編碼：2095-2163（2015）03-

Perceptron Network Weights Calculation and MATLAB Simulation in Pattern Recognition

ZHANG Guangjian

（1 Department of Information Engineering， Sichuan College of Architectural Technology，Deyang Sichuan 618000， China；2 Institute of Intelligent Computing， Sichuan College of Architectural Technology， Deyang Sichuan 618000， China）

Abstract：As the perceptron neural network pattern recognition， constructing the network model takes a very important parameters， which can be used by manual calculation， and can also carry out the training simulation obtained by MATLAB neural network toolbox. The paper uses two weights for building the classifier network model， and compares test results of the pattern recognition model.It is known that for the recognition rate of the samples tested， the weights are different，and in order to improve the generalization of the model， the construction of the network model need to test selects the optimal weights.

Keywords：Pattern Recognition； Neural Network； Perceptron； Weights

0 引 言

人工神經網絡[1]（artificial neural network，ANN），簡稱神經網絡（neural network，NN），是一種對人腦功能實行模擬的簡化模型結構，是一種功能型的數學模型（計算模型），可完成科學計算，并具有強大的處理問題能力。神經網絡是由大量的人工神經元相互連接而成的信息處理系統，能夠基于外界信息的引發改變內部結構，因而屬于一種自適應系統?，F代神經網絡則是一種非線性統計性數據建模工具，常用來對輸入和輸出間的復雜關系進行建模，或用來探索數據的關聯模式。

1943年，美國神經生理學家McCulloch和Pitts提出的第一個神經網絡模型M-P模型，開創了人工智能的研究工作，奠定了神經網絡的發展基礎。其中的感知器（Perceptron）則是由美國計算機科學家羅森布拉特（Frank Rosenblatt）于1957年提出的。

具體來說，神經網絡是一種運算模型[2]，是由大量的節點（或稱“神經元”，或“單元”）及其間的相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接均表示對于通過該連接信號的加權值，稱之為權重（weight），也就相當于人工神經網絡的記憶。此外的網絡輸出則是依據網絡的連接方式、權重值（權值）和激勵函數的不同而各不相同。綜合論述可得，網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。因此，為解決模式識別問題創建的網絡模型，若選用最優權值，就會極大地提高模式識別率。

1 感知器及學習算法

神經網絡中，感知器神經網絡[3]是一種典型的分層結構，信息從輸入層進入網絡后，將逐層向前傳遞至輸出層。單層感知器是一個具有一層神經元、采用閾值激活函數的前向網絡。通過對網絡權值的訓練，可以使感知器對一組輸入矢量的響應完成結果為0或1的目標輸出，從而實現對輸入矢量分類的目的。沒有反饋或競爭的簡單神經元感知器模型如圖1 所示。

圖1 一個單一神經元的感知器模型

Fig.1 A single neuron perceptron model

在感知器學習算法[4]中，設輸入向量 ，相應的權值向量 ，對一個輸入模式 的網絡輸入 為

（1）

根據閾值函數產生一個輸出 為：

（2）

感知器學習中，設t為目標輸出，使用Hebbian學習，其誤差公式為：

（3）

對任何新權值，具體計算公式為：

（4）

對于誤差E的三種可能情況，新權值的調整公式為：

（5）

在公式（5）中， 是新的調整權值， 是前次或者初始權值； 是輸入向量； 是學習率，且是一個常數， 。精準快捷地確定 值，將直接影響對后期的網絡學習訓練時間。

2 手工計算權值

樣本集如表1所示。其中 x1，x2為兩個輸入，t為期望目標輸出。感知器分類器的任務是將表1所示的二維模式進行分類。

表1 分類數據

Tab.1 Classification of samples

0.3，0.7 1

-0.6，0.3 0

-0.1，-0.8 0

0.1，-0.45 1

樣本點如圖2所示。

圖2 輸入向量與期望響應樣本圖

Fig.2 Input vector and the desired response sample figure

根據文獻[2]的推理，假定 ，其中， 是學習率， 為網絡初始權值。權值調整過程具體如下。

（0.3）=0.95

=-0.15

調整后的權值，繼續計算第二組樣本數據 。

如果分類正確，繼續使用該組權值計算下一組數據；分類錯誤，即需應用公式（5）的規則進行權值調整，直到最終獲得一組權值w=[1.05 0.025]，完成對全部樣本進行的正確分類。為此，根據權值和樣本對感知器網絡進行分類訓練，其相應的分類結果如圖3所示。

圖3樣本分類圖

Fig.3 Sample classification map

3 MATLAB訓練仿真

MATLAB神經網絡工具箱（Neural Network Tool）[5]，為神經網絡提供了一種高效、集成的仿真手段，通過該工具箱，可以對神經網絡進行設計、訓練、可視化以及仿真。

使用MATLAB R2013a 的神經網絡工具箱函數，設置p為輸入向量，t為期望目標向量。

p= [0.3 -0.6 -0.1 0.1；

0.7 0.3 -0.8 -0.45]；

t= [1 0 0 1]；

net =newp（minmax（p），1）；

網絡傳遞函數指定為硬限值函數HARDLIM，學習函數指定為LEARNP。創建如圖4所示的感知器神經網絡模型。

圖4 生成的感知器網絡模型

Fig.4 Perceptron network model generation

使用命令net=train（net，p，t）進行網絡訓練，使用sim（net，p）進行仿真，得到輸出向量為[1 0 0 1]，完全匹配期望目標向量t ，訓練結果達到零誤差，網絡權值w=[1.8 0]，偏值為b=0。使用plotpc（net.iw{1，1}，net.b{1}） 命令在樣本中繪制分類線，如圖5所示，從圖中可以看出分類線能對輸入樣本完全分類。

圖5 訓練后的網絡對輸入樣本的分類

Fig.5 Classification of the input sample after network training

4 網絡測試[6]

通過樣本訓練得到的網絡，但是測試樣本的準確率卻未必會高。一個性能良好的網絡應該具有優秀的泛化能力。首先輸入樣本數據進行訓練，通過修正權值來減小誤差得到擬合程度很高的網絡模型，而后的網絡測試則是用另外的樣本數據去測試網絡的性能。

對于兩種權值建立的網絡模型，通過加入測試樣本數據進行分類測試，測試樣本為：

p1=[ 0.4 -0.5 0 0.2 ； 0.8 0.4 -0.7 -0.35 ]

使用MATLAB的sim（net，P1） 函數完成對輸入樣本的測試。

對于手工計算獲得的權值W=[1.05，0.025]，加入測試樣本集后，分類結果如圖6所示。

圖6測試樣本分類（手工計算）

Fig.6 Test sample classification （manual calculation）

對于使用MATLAB計算機仿真訓練獲得的權值W=[1.8 0] ，加入測試樣本集，分類結果如圖7所示。

圖7測試樣本分類（MATLAB）

Fig.7 The test sample classification （MATLAB）

對比圖6和圖7，可以清楚看到根據兩種方式獲得的權值，建立兩種感知器神經網絡模型，均能對樣本進行分類，但卻同時可知圖6的網絡模型可對測試樣本集進行更見成效的分類。

5 結束語

感知器神經網絡只能解決線性可分的模式分類問題，在應用上有一定的局限性，但對于線性可分問題建立的模型，總能通過訓練，在有限的循環次數內找到網絡權值，使網絡達到期望的輸出，進而完成模式分類。通過對同一模型的手工計算和MATLAB訓練，得出的網絡權值并不相同，但都可以對網絡進行分類，只是對于使用MATLAB進行的計算機訓練仿真，所獲取的權值與計算精度、連同使用的學習函數及傳遞函數方面將會有一定的影響。而且，選取不同權值建立的模型，在泛化能力上也將存在一定差異。作為感知器分類器的模型建立，需要反復比對找到最優的權值，這樣建立的模型在泛化能力上才會具有更好的適應性。

參考文獻：

[1] （美）Martin T. Hagan等，著.神經網絡設計[M]. 戴葵等，譯.北京：機械工業出版社，2002.

[2] Domany， Eytan. Models of Neural Networks III：Association， Generalization， and Representation[M].New York： USA Springer press，2013.

[3] 張昭昭，喬俊飛，著.模塊化神經網絡結構分析與設計[M].沈陽：遼寧科學技術出版社.2014.

[4] Samarasinghe， Sandhya. Neural Networks for Applied Sciences and Engineering[M]. Boca Raton，Florida： The Chemical Rubber Company Press，2006

篇5

關鍵詞:電氣設備;故障診斷;神經網絡;學習算法

中圖分類號:TP183

近年來,隨著電氣設備復雜度的增加,其發生故障的概率也逐漸上升。即使是熟練工程師,面對日趨復雜的設備內部電氣結構,也難以迅速分析及判別其故障原因。與此同時,涌現出的各種智能算法、專家系統等,為設備診斷問題提供了可行的方案。其中,神經網絡以其特有優勢在電氣設備故障診斷中發揮了重要作用。神經網絡理論是人工智能、認知學、腦神經學、信息學等諸多學科融合發展的結果,它是由大量簡單的處理單元(稱為神經元),通過廣泛的互相連接而形成的復雜網絡系統。神經網絡具有學習能力,可以根據電氣設備的正常歷史數據訓練,將訓練結果信息與當前測量數據進行比較,以確定故障。同時它具有濾除噪聲的能力,這使其能在噪聲環境中有效地在線監測及診斷。其具有的分辯故障原因及類型的能力,為未來實現故障智能診斷奠定了基礎。本文介紹神經網絡結構及其學習算法,提出一種基于BP網絡的電氣設備故障診斷方法,通過網絡訓練及結果測試表明,該方法具有良好的故障診斷能力。[JP]

1 BP神經網絡模型

神經網絡有很多模型,例如BP網絡、Kohonen,Hopfield及ART等。其中,反向傳播網絡(Back[CD*2]Propagation Network)在神經網絡的實際應用中有著十分重要的影響,工程應用中的絕大多數網絡模型都采用BP模型或其變形,可以說BP模型體現了神經網絡中的精華。

1.1 BP神經網絡模型

以三層前向BP網絡為例,對神經網絡結構進行分析,其組成包括輸入層、隱含層和輸出層。如圖1所示,圖中圓圈表示神經元,Wir表示輸入層第i個神經元與隱含層第r個神經元的連接權值;Vrj表示隱含層第r個神經元與輸出層第j個神經元的連接權值;其間的連線表示神經元之間的相互作用強度。И

從圖1的結構中可以得到,隱含層節點的輸出函數和輸出層節點的輸出函數分別為:

式中:Tr和θr分別為隱含層和輸出層的單元閾值。在本文設計的BP神經網絡結構中,式(1)中的f(•)采用sigmoid函數,即f(x)=(1+e-x)-1。И

1.2 BP學習算法

BP模型的成功得益于BP算法的應用,即誤差反向傳播算法。BP算法屬于梯度下降算法,是一種監督式的學習算法。用網絡的實際輸出與目標矢量之間的誤差來修正網絡權值,使輸出與期望盡可能接近(網絡輸出層的誤差平方和達到最小);通過反復在誤差函數梯度下降方向上調整網絡權值的變化,逐漸逼近目標。每次權值和偏差的變化都與網絡輸出誤差的影響成正比,并以反向傳播的方式傳遞到每一層。BP網絡是由兩部分組成:信息的正向傳遞和誤差的反向傳播。

設神經元的輸入矢量為[WTHX]X[WTBX]=\[x1,x2,…,xn\],其中n是輸入層的神經元數。對應于輸入[WTHX]X的輸出矢量是Y[WTBX]=\[y1,y2,…,ym\],其中m 是輸出層的神經元數。如果要求網絡的期望輸出是[WTHX]T[WTBX]=\[t1,t2,…,tm\],г蛭蟛詈數可以定義為:

BP算法采用梯度下降法來調整網絡的權值,以使上述誤差函數減小,即:

Иw(n+1)=w(n)-η(E/w)[JY](3)И

式中:常數Е鞘僑ㄖ檔髡速率,通常取值0.01≤η≤1。權值WУ牡髡方法采用以下公式:

式中:ИΔwpq表示某層第p個節點到下一層第q個節點的權值修正量;xp表示節點p的輸出;δq表示節點qУ畝說愕燃畚蟛,由輸出層的等效誤差反傳而來:

式中:對應BP模型網絡結構(見圖1);節點q位于輸出層;節點h位于隱層。

2 電氣設備故障檢測實例

在電氣設備中發動機是故障率比較高的設備之一,其在故障診斷中比較具有代表性。在此,以發動機為例,分析BP神經網絡在電氣設備故障診斷過程中的一般模式及步驟。

2.1 網絡樣本選取及參數選擇

分析發動機的常見故障模式,首先選擇具有代表性的故障作為特征向量,取[WTHX]X[WTBX]=[x1,x2,x3,x4]作為神經網絡的輸入。其中:x1代表功率不足故障;x2代表聲音異常故障;x3代表排氣溫度高故障;x4代表消耗量過大故障。通過分析故障原因,取[WTHX]Y[WTBX]=[y1,y2,y3,y4,y5]作為目標輸出向量。其中:y1代表點火不正確;y2代表高壓線圈損壞;y3代表出現燃爆現象;y4代表進氣排氣管故障;y5代表增壓積炭過多故障。表1給出了輸入故障現象[WTHX]X和輸出原因分析Y[WTBX]е間的對應關系。

由此可知,在設計基于三層BP神經網絡的發動機故障診斷系統中,輸入層神經元節點數N=4,輸出層神經元節點數M=5。由公式h=(N+M)+σ可得隱含層神經元節點數h取3~6之間的數。И

2.2 訓練及測試

通過輸入樣本組對所設計的網絡進行訓練,選擇訓練誤差為10-6。例如,輸入樣本[WTHX]X[WTBX]=[0,0,1,0],調整網絡狀態,使其輸出接近目標[WTHX]Y[WTBX]=[1,0,0,1,0],即當發生排氣溫度過高故障時,可能原因是點火不正確以及進氣排氣管問題。訓練網絡的過程,實際上就是調整網絡參數的過程,具體來說,最主要的就是確定各個網絡權值。最終訓練好的網絡在測試過程中,能較為準確地診斷出故障問題的原因。在工程使用過程中,選擇故障檢測過程中各種儀器測量出來、有代表意義的測量數據,根據先驗知識及專家分析,組成輸入樣本和目標向量組,對設計的網絡結構訓練。在訓練過程中,可增加輸入樣本的數量。因為通過大量樣本訓練,神經網絡能具有更好的適應性和魯棒性,其故障診斷的準確性有所提高。采用C++builder及Matlab混合編程,前者負責做界面系統的開發,后者集中在神經網絡算法的設計上,據此進一步提高本工作的實際應用能力。

篇6

關鍵詞： 變電站變壓器； 裂紋圖像； 特征提??； 神經網絡

中圖分類號： TN911.73?34； TP181 文獻標識碼： A 文章編號： 1004?373X（2017）13?0066?04

Abstract： In order to guarantee the normal operation of the electric power system， and improve the identification precision of the substation transformer crack image， a substation transformer crack image recognition model based on the improved neural network algorithm is proposed. The substation transformer crack image is collected and denoised. And then the features of the substation transformer crack image are extracted， and proceeded with dimensionless processing. The neural network is used to establish the recognition model of the substation transformer crack image， and its deficiency is improved correspondingly. The simulation test of the substation transformer simulation crack image recognition was carried out in Matlab 2104R. The results show that the improved neural network can obtain better result of the substation transformer crack image recognition， and the recognition speed can meet the requirements of the substation transformer crack image detection.

Keywords： substation transformer； crack image； feature extraction； neural network

0 引 言

隨著經濟的不斷發展，人們的生活水平日益提高，各種家用電器以及辦公室的電器使用更加頻繁，電力系統的穩定工作面臨巨大的挑戰[1]。變壓器是一種重要的電氣設備，變電站變壓器裂紋嚴重影響電力系統的正常運行，因此如何對變電站變壓器裂紋圖像進行準確識別具有重要的意義[2]。

國內外學者對變電站變壓器裂紋圖像技術進行了深入、廣泛的研究，提出了一些可行的變電站變壓器裂紋圖像識別模型[3]，目前變電站變壓器裂紋圖像識別模型主要基于圖像進行識別，通過對變壓器裂紋圖像進行分類，對變壓器裂紋圖像的類別進行正確劃分。在實際應用中，變壓器裂紋圖像采集受到天氣、環境以及采集設備的干擾，圖像中難免會包含一定的噪聲，這些噪聲對變壓器裂紋圖像準確識別產生了不利影響，因此需去除變壓器裂紋圖像中的噪聲[4?5]。變壓器裂紋圖像識別主要基于特征進行建模分析，因此特征對變壓器裂紋圖像識別結果影響十分重要，當前變壓器裂紋圖像識別特征很多，其中不變矩陣特征具有惟一性、魯棒性和可分性，在目標識別、字符識別等領域得到了廣泛的應用[6]。變壓器裂紋圖像類別與特征之間的聯系十分復雜，傳統方法采用歐式距離估計樣本之間的特征聯系，建立的變壓器裂紋圖像識別模型的誤識率比較高[7?8]。神經網絡具有很好的非線性擬合性能，可以較好地描述變壓器裂紋圖像類型與特征之間的變化關系，廣泛應用于變電站變壓器裂紋圖像的識別中。然而神經網絡自身也存在一定的不足，如參數的確定全憑經驗進行，導致變壓器裂紋圖像識別結果具有一定的盲目性和主觀性，識別結果不理想[9?10]。

為了保證電力系統的正常運行，提高變電站變壓器裂紋圖像的識別精度，提出基于改進BP神經網絡[11]算法的變電站變壓器裂紋圖像識別。首先收集變電站變壓器裂紋圖像，并進行去噪處理，然后提取變電站變壓器裂紋圖像的特征，最后采用改進神經網絡建立變電站變壓器裂紋圖像識別模型，在Matlab 2014R平臺上仿真測試結果表明，改進神經網絡提高了變電站變壓器裂紋圖像的識別精度，加快了變電站變壓器裂紋圖像的檢測速度。

1 小波變換和神經網絡

1.1 小波變換

小波變換可以對信號進行小波分解，小波系數描述不同分辨率上的信息，而且自適應能力強，其基本思想為：

式中：和分別表示高分辨率空間和低分辨率空間。

時，小波變換的空間分解見圖1。

和是尺度空間和小波空間的正交基函數，分別定義如下：

1.2 BP神經網絡

神經網絡屬于非線性理論中的機器學習算法，它們可以通過一個結構網絡對非線性問題進行無限逼近，在圖像處理、人臉識別等領域得到成功應用，其中BP神經網絡的性能要優于其他神經網絡，通用性更強，BP神經網絡的基本結構如圖2所示，包括輸入層、輸出層和隱含層。

在圖2中，為BP神經網絡的輸入向量，為BP神經網絡的輸出向量，其中隱含層神經元的節點數量通過輸入和輸出的數和決定，一般情況下，采用Sigmoid函數構建隱含層的轉移函數，具體如下：

BP神經網絡具有反饋功能，選擇輸出層期望輸出與預測輸出的誤差平方和作為反饋誤差，具體為：

1.3 BP神經網絡的改進

在BP神經網絡的工作過程中，BP神經網絡的權值直接影響其性能，傳統BP神經網絡采用經驗確定權值，對于不同問題，神經網絡的性能差別很大，為此，本文對標準神經網絡進行相應的改進，采用遺傳算法BP神經網絡的權值進行在線優化，以提高變電站變壓器裂紋圖像識別的效果，遺傳算法優化神經網絡權值具體設計過程為：

Step1：個體編碼。采用十進制對BP神經網絡的權值進行編碼，那么編碼長度為：

式中：表示輸入層與隱含層的權重；表示隱含層與輸出層之間的權重。

Step2：適應度函數的構建。對個體進行解碼，得到BP神經網絡的權值和隱含層的輸出和輸出層的輸出它們分別為：

式中是訓練輸出數據。

Step3：通過選擇、交叉和變異等遺傳操作，不斷產生新的種群，將個體解碼為BP神經網絡的權值，然后根據權值對訓練樣本進行學習，得到反饋誤差，根據反饋誤差進行反饋操作，最后得到BP神經網絡最優的權值。

2 變電站變壓器裂紋圖像識別模型

2.1 變電站變壓器裂紋圖像的特征提取

設變電站變壓器裂紋圖像為其原點矩和中心矩分別為：

2.2 變電站變壓器裂紋圖像識別模型的工作步驟

（1） 收集變電站變壓器裂紋圖像。

（2） 采用小波變換對變電站變壓器裂紋圖像進行去噪處理，消除噪聲的干擾。

（3） 提取變電站變壓器裂紋圖像的不變矩特征，并進行如下處理：

（4） 采用BP神經網絡對訓練樣本進行學習，并采用遺傳算法優化權值，建立變電站變壓器裂紋圖像識別分類器。

（5） 采用測試樣本對變電站變壓器裂紋圖像識別結果進行分析。

3 仿真實驗

3.1 實驗環境

為了測試改進BP神經網絡的變電站變壓器裂紋圖像識別性能，在Matlab 2014R仿真平臺上進行了仿真實驗，選擇不同類型的變電站變壓器裂紋圖像作為實驗對象，它們共有4種類型，編號分別為1，2，3，4。

3.2 結果與分析

選擇傳統神經網絡作為對比實驗，變電站變壓器裂紋圖像識別結果如圖3和圖4所示，平均識別正確率和訓練時間如表1所示。

對識別結果進行分析可以得到如下結論：

（1） 傳統BP神經網絡的變電站變壓器裂紋圖像識別正確率低，這主要是由于傳統BP神經網絡的權值隨機確定，無法描述變電站變壓器裂紋圖像的類別，因此識別效果差。

（2） 改進神經網絡的變電站變壓器裂紋圖像識別結果相對更優，這主是由于小波變換消除了變電站變壓器裂紋圖像中的噪聲，并通過遺傳算法確定BP神經網絡權值，提高了變電站變壓器裂紋圖像識別的正確率，而且變電站變壓器裂紋圖像訓練時間更快，加快了變電站變壓器裂紋圖像的識別速度。

4 結 論

變電站變壓器裂紋圖像具有重要的應用價值，為了解決當前變電站變壓器裂紋圖像識別中存在的局限性，提出改進神經網絡的變電站變壓器裂紋圖像的識別模型，并通過具體應用實驗對其有效性進行測試，具體結論如下：

（1） 針對變電站變壓器裂紋圖像的噪聲，采用小波分析對變電站變壓器裂紋圖像進行變換和處理，消除外界環境以及其他因素帶來的噪聲干擾，便于后續變電站變壓器裂紋圖像特征提取和分類器建立，有助于改善變電站變壓器裂紋圖像的識別效果。

（2） 通過提取變電站變壓器裂紋圖像的不變矩圖像，作為變電站變壓器裂紋圖像分類器的輸入，建立了變電站變壓器裂紋圖像識別的依據，準確反映了變電站變壓器裂紋圖像類型。

（3） 采用改進神經網絡對變電站變壓器裂紋圖像進行分類與識別，可以反映變電站變壓器裂紋圖像類型與圖像特征之間的映射關系，通過神經網絡的自學習建立變電站變壓器裂紋圖像的識別模型，提高變電站變壓器裂紋圖像的識別精度。

（4） 通過引入遺傳算法對神經網絡參數進行優化，解決了神經網絡參數確定的難題，建立了結構更優的神經網絡，降低了變電站變壓器裂紋圖像識別的錯誤率。

（5） 與其他識別模型相比，改進神經網絡提高了變電站變壓器裂紋圖像識別的正確率，而且識別速度也有顯著的優勢，對比結果驗證了改進神經網絡應用于變電站變壓器裂紋圖像識別的優越性。

參考文獻

[1] 郭創新，朱傳柏，曹一家.電力系統故障診斷的研究現狀與發展趨勢[J].電力系統自動化，2006，30（8）：98?103.

[2] 蘇鵬聲，王歡.電力系統設備狀態監測與故障診斷技術分析[J].電力系統自動化，2003，27（1）：61?65.

[3] 項新建.粗糙集理論在變壓器故障診斷專家系統中的應用研究[J].科技通報，2003，19（4）：288?291.

[4] 應鴻，李天云，張宇輝.變壓器故障診斷的神經網絡法[J].東北電力學院學報，1996，16（4）：54?58.

[5] 孫才新，郭俊峰，廖瑞金，等.變壓器油中溶解氣體分析中的模糊模式多層聚類故障診斷方法的研究[J].中國電機工程學報，2001，21（2）：37?41.

[6] 張冠軍，嚴璋，張仕君.電力變壓器故障診斷中斷新方法的應用[J].高壓電器，1998（4）：32?35.

[7] 顏湘蓮，文遠芳.模糊神經網絡在變壓器故障診斷中的應用研究[J].變壓器，2002（7）：41?43.

[8] 謝可夫，羅安.遺傳算法在變壓器故障診斷中的應用[J].電力自動化設備，2005（4）：55?58.

[9] 何成才.電力機車牽引變壓器油箱體裂紋故障的分析及處理[J].鄭州鐵路職業技術學院學報，2009，21（1）：13?14.

篇7

關鍵詞：火災探測 模糊神經網絡 智能 Matlab

根據燃燒對象，火災分為A，B，C，D四種。A類火災為固體可燃物引發的火災，亦是最常見的燃燒對象；B類火災為液體可燃物火災；C類火災為氣體可燃物火災；D類火災為可燃金屬火災。火災發生后蔓延速度極快，燃燒產生大量CO2，CO1等大量氣體及煙霧，并伴隨光、熱，損失將不可估計。對待火災，我們應采取“防消結合，預防為主”?；馂奶綔y技術的應用便擔任著前鋒的作用，有效的提高探測器的靈敏度成為一個重大課題。本為將采用智能型報警系統，做早期發現和通報火災，研究模糊神經網絡的應用。

1.火災探測系統

探測器是自定報警系統中的最重要部分。隨著火災的發生，火災初期可燃物燃燒產生大量煙霧（S）和CO2，CO1等大量氣體（G），火災達到全火焰時溫度（T）急劇上升，并伴隨著光（L）和熱（H）。因此在圖書館設感溫探測器，感煙探測器，氣體探測器及感光探測器。由于感煙探測器動作較早，可探測到70%以上的火災，因此使用較為普遍。

2.模糊神經網絡的結構設計

2.1 模糊神經網絡的應用

模糊神經網絡（Fuzzy Neural Network，簡稱FNN）是全部或部分采用模糊神經元所構成的一種可處理模糊信息的神經網絡系統，也是現代熱門研究是技術，是模糊控制與神經網絡控制的有機結合，博采眾長，以長補拙[1]。其特點是利用模糊邏輯較強的結構性知識表達能力和神經網絡強大的自學能力與定量數據的直接處理能力，在溫度、煙霧、氣體、光等信號處理上，提高火災探測的準確度、加快火情識別速度，使火災報警信號處理更具邏輯性、可靠性，直接指導消防控制室的操作和應用，在火災報警系統中發揮良好的作用。

2.2 模糊控制規則設計[2-3]

模糊控制規則可根據火災發生可能性大小分為不可能即NP，可能性小即PS，一定發生即PB三種。隱層的溫度隸屬度生成函數采用三角函數：

（ x - a）/（ b - a） a < x < b

μ（x） =

（ x - c）/ （ b - c） b < x < c

圖1 隸屬度函數

2.3神經網絡模型

本文給出一個3層前饋網絡結構，如圖2所示。設輸入信號為s：煙霧；g：CO2氣體；t：溫度；l：光；輸入信號為第一層，含3個神經元；第二層為模糊層，設為9個節點，第三層為輸出層，有3個節點，表示無火、火小和火災發生。

圖2 BP前饋網絡模型

3.算法及Matlab 網絡仿真

3.1 算法

本文采用反向傳播算法，學習訓練過程由正向信號傳輸和反向誤差傳播組成。當正向傳輸的實際輸出與期望輸出不符合時，轉入誤差反向傳播。

輸出誤差逐層反向傳播到隱層再到輸入層。誤差分給各層所有節點單元，獲得各層單元的誤差信號，且將該信號作為修正各單元權值的根據。通過不斷的調整權值，訓練到誤差符合要求為止。

因此可知，設輸入向量為X；隱層輸出向量為Y；輸出層輸出向量為O；期望輸出向量為T；輸出層至隱層的權值矩陣為V；隱層至輸入層權值為W。隱層，輸出層的轉換函數分別采用雙曲正切S型函數tansig和S型對數函數logsig。

定義網絡的輸出誤差函數為均方誤差函數

E=1/2（T-O）2.

將輸出誤差函數展開到隱層，在展開到輸入層，并通過調節權值和閾值改變誤差E，從而減小誤差。即：

對于輸出層，設Y，δ0為輸出層的誤差信號，則輸出層的權值調整V=η（δ0YT） T；

對于輸入層，設X，δy為隱含層的誤差信號，則隱含層的權值調整為W=η（δyXT） T， η為學習率，在0～1間取值，這里取值0.1。

具體算法步驟：①初始化，對所有權值賦予任意小量，并對閾值設定初值；②給定訓練數據集，即提供向量X和期望輸出Y；③計算實際輸出y；④調整權值，按誤差方向傳播方向，從輸出接點返回到隱層修正權值；⑤返回第②步重復計算，直至誤差滿足要求為止[4]。

3.2 Matlab 網絡仿真

模糊規則層設9個節點，輸出層有3個節點。用新浪天氣給出的鄭州市2012年8月1日到8月4日的天氣，歸一化處理：溫度/100℃，加上天氣特征值（0代表晴天，0.5代表陰天，1代表雨天），有4組數據。并將8月4日天氣數據作為導師信號。打開Matlab的編輯，輸入newff（）創建前向BP網絡，使用神經元上的傳遞函數tansig（）及tansig（），建立一個訓練函數使用梯度下降法的訓練函數trainlm（）的BP網絡[5]。誤差訓練下降曲線如圖3：

4.結語

在1000次訓練后，輸出的均方誤差非常小， MSE=1.04678e-013/0，此時的網絡輸出應該是非常精確的。這說明將模糊神經網絡理論應用在火災報警系統中，有效地提高系統精度和減少誤報率，并且充分發揮了它的自學習、自適應能力，使系統的靈敏度提高，同時又提高了系統的智能化程度。

參考文獻：

篇8

安全評價的關鍵與基礎是選取與確立評價的指標體系，它對評價的結果是否符合實際情況至關重要。化工企業安全評價指標體系應盡可能反映化工企業的主要特征和基本狀況。評價過程中指標體系的要素組成非常關鍵，如果選取的要素太多，有可能使評價指標體系更加龐大和冗雜，從而增加評價的困難程度，甚至會使一些重要因素被忽略;如果指標因素太少，則難以較完整地反映被評價系統的客觀實際情況。•33•通過查閱研究某大型煉油化工企業的相關文獻和資料［4］，由人、機和環境3個方面構成的系統模型出發，把生產系統所有重要環節包含其中，從而建立出化工企業的安全評價指標體系如圖1和表1至表4所示。

2化工企業的遺傳神經網絡安全評價模型

2．1遺傳神經網絡遺傳算法優化神經網絡的方法主要有2種:對神經網絡的初始權值和閾值進行優化;對神經網絡的結構進行優化［5］。本文在保持神經網絡的結構不變的情況下，用遺傳算法對BP神經網絡初始權值和閾值進行優化。

2．2遺傳神經網絡評價模型遺傳神經網絡優化的數學模型［6］如下:本文構建的遺傳神經網絡模型的運行過程如下:(1)初始化BP神經網絡。(2)把BP神經網絡的全部權值與閾值實數編碼，確定其長度l，確定其為遺傳算法的初始種群個體。(3)設置遺傳算法的相關參數以及終止條件，執行遺傳算法;遺傳算法包括對群體中個體適應度進行評價，執行選擇、交叉、變異遺傳操作，進化生成新的群體;反復操作至設定的進化代數，最終取得最佳染色體個體。(4)把最佳染色體個體解碼，分解為BP網絡對應的權值、閾值，輸入訓練樣本，利用BP網絡進行訓練。(5)得到訓練好的BP神經網絡，則可輸入實例樣本進行評價。

3遺傳神經網絡評價模型在化工企業的應用

3．1學習樣本的準備根據前文所確定的評價指標體系和對某大型煉油化工有限公司成氨分廠提供的空氣分離、渣油氣化、碳黑回收、一氧化碳變換、甲醇洗滌、液氮洗滌等工序的安全原始數據，參考文獻中化工企業安全評價指標取值標準，進行分析和整理，得出11個實例樣本，如表5所示。選擇10個樣本作為遺傳神經網絡的訓練樣本，1個樣本作為測試樣本。

3．2BP網絡結構的確定BP網絡拓撲結構一般是由網絡層數、輸入層節點數、隱含層節點數、隱含層數以及輸出層節點數等來確定。本文建立的遺傳神經網絡模型是根據經驗來確定神經網絡的層數，一般選取BP神經網絡的層數為3層［7］。通過化工企業安全評價指標的分析，得出BP神經網絡輸入層神經元數目為評價指標的總數12+6+8+5=31。模型最后輸出的結果為綜合安全評價結果，因此，神經網絡的輸出層節點數確定為1。隱含層中節點數的范圍通過經驗公式來確定，本文在其確定范圍內選12。依據訓練樣本的規模，設定學習率為0．1，最大訓練誤差值設為10－5，循環學習次數為1000次。網絡輸出層為1個節點，即化工企業的安全評價結果?；て髽I安全等級一般分為5級［7］，如表6所示。

3．3遺傳算法優化遺傳算法中，參數設定如下:種群規模設為300，交叉概率設為0．7，進化代數設為100，變異率設為0．05。本文運用MATLAB軟件中的遺傳算法工具箱gads，在GUI操作界面中輸入以上參數，并輸入適應度函數，對神經網絡的權閾值進行優化。經過遺傳操作后，運行遺傳算法工具箱，則可得出最佳適應度曲線圖和最佳個體圖(圖2)，得到最佳適應度個體，將其進行解碼，作為該網絡的初始權值和閾值賦給BP神經網絡。

3．4GA－BP神經網絡訓練在MATLAB界面中編程語言，得到輸出向量和網絡均方差變化圖。訓練結果與期望輸出見表7，BP網絡訓練過程如圖3所示。從訓練結果可以看出，該網絡的誤差值不超過10－5，滿足設定要求。用該網絡對實例樣本進行安全評價，得到結果為3．9956，對照安全評價輸出結果等級表為較安全，與目標值吻合。從而訓練后的網絡穩定性得到驗證，可以用于化工企業安全評價。

4結論

篇9

關鍵詞：BP神經網絡 動量因子法 變步長法 學習速率

1.引言

人工神經網絡（Artificial Neural Networks，ANN）是通過對人腦神經元建模、聯結模擬生物腦或世界系統的網絡模型，是一種具有學習、記憶和模式識別等智能信息處理功能的人工系統。通常研究和使用的十種神經網絡模型中，人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和ART網絡模型。其中的BP神經網絡是基于反向傳播（BackPropagation）的網絡，也是神經網絡領域中研究最多、應用最廣的網絡模型。它采用最小均方差的學習方式，可用于函數逼近及語言綜合、識別和自適應控制等。

2.標準BP神經網絡算法

BP算法作為前饋網絡的主要學習算法，對神經網絡的推廣應用起了舉足輕重的促進作用。標準的BP網絡，優化計算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經網絡訓練中，主要是針對一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價函數達到最小。其簡單的實現步驟為：（1）通過網絡輸入反向傳播；（2）通過網絡將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權值和偏置值。

標準的BP算法因具有簡單、易行、計算量小及并行性強等優點，是目前神經網絡訓練采用最多、最成熟的訓練算法。由于BP網絡中待尋優的參數太多，往往導致算法收斂速度慢。對于復雜問題，訓練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標準的BP網絡在很大程度上實用性不強，尤其對于實時性很強的系統而言。

3.BP算法的改進

BP多層前饋網絡已成為神經網絡的重要模型之一，但實際上的BP多層前饋網絡并不是利用標準的BP算法對網絡進行訓練的，而是對BP算法進行了啟發式改進。

（1）增加動量因子法

BP算法的神經網絡的誤差曲面具有不同的區域有不同的誤差改變率的特點。假若開始訓練的學習速率較高，那么算法的收斂速度可能很快。但當迭代進入的區域包含極小點時，此時算法發散，來回振蕩，收斂不到極小值點。如果用平均改變參數的方法進行軌跡的過濾，就可以對震蕩進行平滑并可產生穩定的軌跡。當動量濾波器的參數得到了改變，獲取反向傳播的動量，使用了動量項，可以在保證算法較為穩定的前提下，在網絡訓練進入局部最小值時產生一個繼續向前的正向斜率運動，使得搜索能夠跳出較淺的峰值；當網絡搜索位于誤差曲面平坦區的區域時，該方法能夠較快地提高訓練速度。

（2）變步長法

變步長法通過調整網絡訓練的學習率，故也稱為可變學習速率的方法。BP算法中對連接權值的調整，取決于兩個因子，即學習速率和梯度。其中通過調整學習速率提高算法收斂收率的方法，是當前認為最簡單、有效的方法。學習率不能隨意選取，選得太小，收斂會變慢；選得太大，可能調整過多，使得算法振蕩或發散。所以，在對學習率進行調整時，一般遵循的準則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學習率的值選取偏小，可以作為對學習率調整的參考；否則，學習率值調整過大，就應該對該值進行減小。增加可變速率參數后，得到改進的BP算法如下：

①如果整個訓練集上的均方誤差權值在更新后增加的，且該值超過了預設的某個百分數，如：1%～5%，則不對權值進行更新。學習速率被乘以一個大于零且小于1的因子，并且動量系數被設置為0。

②如果均方誤差在權值更新后變小了，則接受權值更新。學習速度將被乘以一個大于1的因子。假若學習率被設置為0，則恢復之原來的值。

③如果均方誤差的增長變小，則權值更新被接受，但學習速度保持不變。如果學習率過去被設置為0，則恢復到以前的值。

4.實驗結果

分別對目標誤差為0.001的網絡訓練。實驗結果如下：

（1）采用標準BP網對樣本進行訓練，迭代次數近5000次尚未收斂。

（2）采用增加動量法，迭代375次，學習過程收斂。

（3）采用變步長法，迭代1728次收斂。

由此可見，未改進的標準BP學習算法存在收斂速度慢的缺陷；改進后的BP學習算法都從不同程度上提高了算法的收斂速度，訓練的次數大大減小了。對BP算法采用啟發式改進措施后，明顯提高了學習速度。

篇10

關鍵詞： 徑向神經網絡 故障診斷 觀測器

一、徑向神經網絡

在眾多的神經網絡中，徑向神經網絡是一種結構簡單、訓練速度快并且具有最佳逼近性能的多層前向神經網絡。多年來，人們對徑向神經網絡進行了大量的研究，并成功地應用于故障診斷領域。主要原因有：

（1）它能存儲有關過程的知識，直接從歷史故障信息中學習，可以根據對象歷史數據訓練網絡，然后將此信息與當前測量數據進行比較，比確定故障的類型。

（2）它具有濾除噪聲即在噪聲的情況下得出正確結論的能力，可以訓練人工神經網絡來識別信息，使其在噪聲環境中有效地工作。

（3）它具有很強的非線性逼近能力。

（4）它具有分辨故障原因及故障類型的能力。

徑向神經網絡（Radial Basis Function Neural Network，RBFNN）是20世紀80年代提出的一種以函數逼近理論為基礎的前向神經網絡，其設計思想就是將徑向基函數（RBF）應用于神經網絡作為激勵函數。不同于BP網絡的全局逼近性能，RBF是一種局部逼近網絡，對于每個訓練樣本，它只需對少量的權值進行局部的修正，因此速度很快，具有最佳的逼近性能。RBF神經網絡的機構與多層前向網絡結構類似，其拓撲結構如圖所示。

RBF神經網絡是由輸入層、隱含層和輸出層構成的三層前向神經網絡。第一層為輸入層，由信號源節點組成，其單元個數是由所描述問題的需要決定的；第二層為隱含層，是由一組徑向基函數構成的非線性映射層，這樣就將輸入矢量直接映射到隱含層空間，當徑向函數的中心確定以后，這種映射關系也就確定了；第三層為輸出層，提供從隱單元空間到輸出空間的一種線性變換。其中隱含層是網絡的核心，隱含層神經元的變換函數是一種局部分布的對中心點徑向衰減的非線性函數，利用徑向基函數作為隱含層神經元的基構成隱含層空間，實現輸入矢量到輸出矢量的映射變換。這里主要研究以高斯函數為變換函數的徑向基神經網絡。

RBF神經網絡的輸入與輸出之間可認為是一種映射關系：f（x）:R R

其中式中，i=1，2，…，n為隱含層節點數，n（y ，…，y ，…， y ）∈R 表示神經網絡的輸出，x∈R 為網絡輸入矢量，w∈R 表示輸出權值，g∈R 為徑向基函數，g 表示隱層第i個神經元的輸出值，w 表示第i個神經元到輸出層第j個神經元的權值。

式中，m ∈R 為徑向基神經元的中心，r ∈R為徑向基神經元的寬度，.表示2-范數或歐式距離。

徑向基神經網絡的權值、中心與寬度是徑向基神經元的三個重要參數。構造和訓練一個RBF神經網絡的就是要是網絡通過學習，確定出每個隱層神經元基函數的中心m 、寬度r 及隱層到輸出層的權值w，從而可以完成所需的輸入到輸出的映射。RBF網絡的三部分參數在映射中所起的作用是不同的。隱含層的徑向基函數完成的是從輸入空間到隱含層空間的非線性映射，而隱含層到輸出層的權值是實現從隱含層空間到輸出空間的線性映射，所完成的任務不同，決定了參數的訓練方法和策略不同。

徑向基神經元網絡的學習可以看成是誤差準則下，以誤差函數f（x）為目標函數的無約束最優化問題。

式中，x表示網絡的三個待求的參數（中心、權值與寬度）；y 為網絡輸出，y 為期望輸出，N為樣本總數。

對于解決無約束最優化問題，通常采用迭代的方法進行計算，在給定初值x 后，按照等式

逐步修改直至收斂于解，其中為迭代步數，a 為學習速度，p 代表搜索方向。當用上式進行迭代時，函數f（x）應該在每次迭代時都減小。研究結果顯示，最簡單的下降方向就是沿負梯度的方向，此時

式中，g 為f（x）在x 處的梯度，這樣我們就得到了最速下降的優化算法：

有上面的推導可以看出，算法的關鍵是梯度的計算，下面給出梯度的計算公式。為了便于推導計算，將RBF網絡的數學模型表示如下：

式中，s=1，2，L，h為輸出變量的個數；i=1，2，L，n為隱含層的個數；j=1，2，L，N（N為樣本總數）；k為迭代步數；y 為第s個輸出；w 為輸出層的權值；m 為神經元的中心；r 為神經元的寬度；x（j）為輸入樣本。

定義如下的誤差函數：

式中，y 為網絡輸出，y 為期望輸出。

根據上述式子，輸出權值的梯度為： =-e （k）Q （k）（11）

具體步驟為：

（1）隨即給定一組參數x ∶m ，r ，w ，并給定迭代終止精度ε的值。

（2）令RBF網絡隱含層數目n=n ，n =l+m為任意小的正整數（其中l和m分別表示系統輸入輸出的維數）。

（3）根據所給定的樣本，利用梯度法計算網絡的三個參數值，根據參數值計算網絡的輸出。

（4）根據樣本數據和網絡輸出計算誤差e（n），如果e（n）≤ε轉到下一步，否則讓n=n +n（其中n ＞0為整數），判斷是否n≤n （n 為預先設置的最大隱含層數目），滿足條件則轉上一步，否則轉下一步。

（5）記錄此時的n，m ，r ，w ，則得到RBF網絡隱含層的數目、網絡的中心、寬度和權值。

上述是基于最速度下降梯度法的徑向神經網絡算法可以看出，網絡結構的構建與參數調整可以同時完成，具有學習時間短、計算量小等特點。

二、神經網絡觀測器的建立

通常情況下，非線性系統的狀態空間模型可以表示如下：

x（k+1）=f（k，x（k））+g（k，x（k））u（k）+v（k）（14）

y（k+1）=h（k+1，x（k+1）+σ（k+1））（15）

式中，k為離散時間變量；x（k）∈R 為狀態變量；u（k）∈R 為輸入變量，y（k）∈R 為輸出向量；f:R R ，h:R R 為映射函數；v（k）和σ（k）分別為噪聲和模型不確定性函數。

根據RBF網路的最佳逼近性能，可以建立神經網絡辨識模型，對于任意小的ε，存在RBF網絡逼近于系統的實際輸出：

e=y -y ＜ε（16）

式中，y 為網絡輸出，y 為期望輸出，ε為輸出殘差。當無故障時，殘差信號由狀態估計的誤差和噪聲所決定，如果狀態估計的誤差足夠小，則殘差通常趨近于零。當傳感器故障時系統的狀態方程變為：

x（k+1）=f（k，x（k））+B（k，x（k））u（k）+v（k）（17）

y（k+1）=h（k+1，x（k+1））+σ（k+1）+D （k）（18）

式中，D ∈R 為傳感器故障分配矩陣，此時輸出殘差r（k）發生了很大的變化，所以根據殘差向量的改變進行傳感器的故障監測與隔離。

在構造出系統的觀測器之后，就可以將其用于系統的故障隔離。在本文中神經網絡觀測器是作為一個無故障的正常的模型來使用?；谏窠浘W絡的故障診斷系統結構如圖所示：

三、故障診斷

基于神經網絡的系統故障診斷的基本思想就是建立系統的辨識模型，根據模型輸出和實際系統輸出的殘差進行故障檢測與隔離，所以建立系統的辨識模型是研究的重點與核心。

針對于傳感器，使用如下的方法來進行故障診斷；

由于神經網絡具有很強的自學習能力，因此可以通過學習來獲得傳感器測量值，從而為故障診斷提供有效的信息。

首先，應用傳感器組中的任一個輸出信號和系統輸入作為神經網絡的輸入信號，將所有傳感器的輸出信號作為神經網絡的輸出信號，構成輸入樣本集合，應用RBF網絡離線訓練如下m個神經網絡模型：

y （k）=F ［y （k），u（k）］，i=1，2，…，m（19）

然后應用神經網絡觀測器可獲得m組，，…，，其中=［，，…，］ 是第i個觀測器得到的，網絡的輸入和訓練時的輸入相同。在系統正常運行條件下，也即無故障時，接近系統傳感器輸出y 。當第i個傳感器故障而其余的m-1個傳感器正常運行時，由第i個神經網絡觀測器所得的傳感器的輸出估值將會偏離的輸出估值，而其他神經網絡觀測器的輸出則不受影響，仍接近實際輸出。那么利用下面的邏輯檢測實現傳感器故障診斷。

定義閥值ε ＞0，j=1，2，…，m，計算判別函數。

式中，y 為第i個傳感器測量值，為由第i個傳感器的測量值獲得的第j個傳感器輸出的估計值。則有下面的邏輯：

四、小結

徑向神經網絡具有最優的逼近性能，可以精確地對系統進行辨識。利用神經網絡觀測器進行系統故障診斷，需要建立精確的神經網絡辨識模型。在精確模型的基礎上可完成對系統的故障診斷，這種抗干擾能力很強，對不確定、非線性系統有很好的效果。

(指導老師：何曉薇教授)

（作者系中國民航飛行學院飛行技術學院研究生）