神經網絡方向范文
時間：2024-03-27 18:02:46
導語：如何才能寫好一篇神經網絡方向，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。
篇1
一、BP神經網絡定義
1.概念：BP（Back Propagation）網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input）、隱層（hide layer）和輸出層（output layer）。
二、BP神經網絡研究方向
1.人工神經網絡應用系統。在網絡模型與算法研究的基礎上，利用人工神經網絡組成實際的應用系統。如完成模式識別或者某種信號處理的功能，制成機器人和構建專家系統等。
2.網絡模型與算法研究。這也可以叫做技術模型研究，包括網絡學習算法研究?；诶碚撃Ｐ脱芯繕嬜魃窠浘W絡模型，以實現準備制作硬件或者計算機模擬目的，
3.生物原型研究。從生物科學如病理學、心理學、生理學和腦科學等方面研究神經網絡、神將細胞和系統的生物原型結構及其功能機理。
4.建立理論模型。在生物原型研究的基礎之上，建立神經網絡和神經元理論模型，主要包括只是模型、數學模型、物理化學模型和概念模型等。
三、BP神經網絡結構與算法
1.結構：BP神經網絡模型拓撲結構包括輸入層、隱層和輸出層，信息的錄入從輸入層開始，通過隱層再到輸出層。其中，輸入層及輸出層的神經元個數分別為輸入信號和輸出信號的維數，隱層及其神經元個數要根據具體的實際情況來確定。每一個神經元的激活函數都是雙曲正切函數或可微的Sigmoid 函數的一種。
2.算法：BP神經網絡算法是一種有教師的學習算法，屬于A學習規則，即通過實際輸出Yp1與Tp1 的誤差來不斷修正連接權和闡值，直至達到最大訓練次數或者滿足一定的允許誤差。（1）信號正向傳播：即輸入信號依次通過輸入層、隱層和輸出層，并在終端產生輸出信號。網絡權值在信號傳遞過程當中是不變的。加入最終在輸出層沒有得到預期的輸出結果，則會自動轉入誤差信號反向傳播。（2）誤差信號反向傳播：誤差信號即是實際輸出和期望輸出之間的差值，它的反向傳播即信號自輸出端依次往回傳播，在此過程中，誤差反饋調節網絡權值變動，通過對權值的不斷修正使網絡實際輸出與期望輸出值更加接近。當達到最大訓練次數或者滿足允許誤差時訓練結束，相反則轉入信號正向傳播。
四、神經網絡的房地產估價模型
針對住宅、商鋪、別墅等不同類型的房地產，因為影響其價格的各種因素大不相同，所以應該分別構建不同的模型來進行估價，但是每一種模型所采用的神經網絡模型卻是可以一樣的。房地產估價的神經網絡模型主要由輸入模塊、測試模塊、輸出模塊、數據庫模塊、評估模塊和學習模塊組成。
1.輸入模塊。主要負責當地產特征描述、交易情況、坐落位置和交易日期等影響其價格的資料信息，這些數據本身是固定不變得，但其影響因素是不確定的，對模型和整個評價結果起著重要的作用。在實際的應用過程中，一定要仔細分析房地產的具體情況和其價格影響因素，為模型的成功創建和數據的準確性打好基礎。一般情況下，為了提高網絡收斂速度，適應神經網絡數據處理要求，盡量獲得較為準備的數據值，要對輸入和輸出向量進行歸一化預處理。
2.測試模塊。在實際運用評估模型之前，一般都要對模型的泛化能力進行測試。泛化能力即經訓練后的網絡對未在訓練中集中出現的樣本做出正確反應的能力。一般來說，正確訓練的網絡即使對訓練樣本存有一點誤差，但依然能夠對沒有出現過的輸入做出正確的反應。如果用訓練樣本以外具有典型意義的數據構成測試樣本集測試網絡得出的結果是符合預期的，那么可以表明該估價模型是比較成功的，具有很強的推廣應用能力。
3.輸出模塊。包括神經網絡的輸出數據，即神經網絡計算值輸出，并將其轉化成實際估價結果，供用戶參考使用。
4. 數據庫模塊。這部分模塊主要是對已交易的房地產案例信息，如交易情況、交易時間、特征描述、影響因素和評估價格等信息的存儲與處理。此模塊要具有基本的數據信息轉換功能，能夠將一些定性描述通過相應的處理轉換成定量描述，并賦予相應的分值。待估房地產也可以通過此模塊的轉換功能進行相應的數據轉換。
5.學習模塊。神經網絡學習是利用某種算法對網絡權值與閉值進行不斷的調整，目的是通過對有限案例的歸納總結找某種隱藏的客觀規律。BP神經網絡的學習既可以通過Visual Basic， C 語言等來實現，也可以通過MATLAB 提供的神經網絡工具箱實現。
6.評估模塊。在輸入模塊輸入待估項目基本特征因素，然后利用通過測試的學習模塊運行結果，采用某種計算方法得出待估房地產估價。
五、BP神經網絡模型的房地產估價流程
神經網絡地房地產價格評估的過程主要包括數據準備、神經網絡設計、學習樣本輸入、網絡學習和評估計算等部分，具體分析如下：
1.數據信息準備。分析總結影響房地產價格的各種因素，然后收集整理各種房地產交易信息，找出能夠量化的直接影響因素并進行具體的量化。
2.神經網絡設計。這部分設計主要包括網絡參數的設定和網絡拓撲結構的設計。網絡學習與結構參數主要包括網絡層數、網絡權值、網絡輸入輸出層參數、隱層單元個數、網絡最大期望誤差等等。其中，輸入和輸出層參數包括神經元維數和每個神經元所代表的具體物理量。
3.學習樣本輸入。學習樣本的各數據資料信息都要轉化成量化值，并使其標準化成系統識別的具體數值。學西樣本可以采用收集整理到的市場交易案例或者已有的歷史數據信息。
4.網絡訓練。也叫網絡學習，就是對網絡權值和閉值進行不斷調整的過程。利用已經輸入的學習樣本信息進行訓練，在網絡最大訓練次數和最大期望誤差范圍以內，檢查誤差是否達到精度要求，如果達標則保存訓練結果即權值閩值矩陣，不達標則繼續調整學習參數與網絡結構。
5.估價計算。輸入各種影響待估房地產價格因素的量化值，運用已經設定好的網絡模型和學習結果，進行評估以得到相應價格。
結語 BP神經網絡估價使用范圍非常廣泛，只要在房地產市場上能夠找出類似的交易案例，就可以使用此方法。基于BP神經網絡的房地產幾個評估模型，可以利用神經網絡自身極強的學習能力，從已有交易案例中找出房地產成交價格與其影響因素之間的客觀規律，從而提高評估工作效率，為房經營、發展和管理提供更好的服務。
參考文獻：
[1]韓力群.人工神經網絡理論、設計及應用〔M].北京：化學工業出版社，2002.
[2]王洪元，史國棟.人工神經網絡技術及其應用[MJ.北京：中國石化出版，2005.
篇2
在現代交通控制中，交通流量預測是一個重要基本環節，本文對其設計了徑向基網絡結合PCA的方法來預測，PCA減小相關路口維數，而網絡實現預測權值的計算，最終達到應用相關路口歷史數據預測目標路口流量的目的。
【關鍵詞】PCA方法 流量 預測 交通控制 系統工程
隨著中國城市不斷發展，包括電動車在內的各種車輛在不斷增長。然而現有主城區內的道路空間卻越來越有限，節假日及上下班高峰期，部分路段日漸擁堵。當機動車數量達到一定程度的時候，原有的道路交通道路、標志、設施等，不能滿足現代交通的需要，就會出現堵車現象。堵車只是現象和結果，原因是由于機動車數量達到一定程度以后，原有的道路交通設計已經不適合新的發展要求。一般來說出現原因有一是機動車數量過多； 二是交通設計不合理； 三是城市的整體規劃有問題；四是外來人口過多。解決的渠道是多方面的，從技術層面，交通流量預測可以通過交通控制發揮有力的作用，這里主要采用一種徑向基網絡的方法進行交通流的預測。
1 系統處理方案
將一組相關到路口的數據流量進行了錯誤剔除等預處理后，繼而加載到所提出的模型中來實現預測計算。這個計算總的實現框架如下：根據每個路口所記錄的歷史數據，應用主成分分析方法，對路網中路口關聯度進行分析，求解出跟目標路口之間的相關度函數和指數，然后利用主貢獻成分來求解相關路口；根據徑向基神經網絡，由相關路口數據流來訓練有關權值，得到下一時刻預測的目標路通流與相關路口歷史數據流之間的關系；最后綜合利用訓練好的神經網絡，以及采集到的數據，求解預測未來的交通流量。
2 PCA的路口數據相關性降維
單個路口的交通流信息往往是由大量的多源數據組成，并且城市路網中的交叉口路口也是非常之多，所有城市路網的交通流信息數據量是無法想象的。利用主成分分析法定量的分析路口間交通流量的相關性，可以用來降低數據維度和壓縮數據量。具體的操作步驟為：
（1）克服原始數據單位的不統一等問題，對原始數據進行必要的規格化處理，使規格化后的數據樣本成為標準的正態分布。
（2）所有路口都可是為一個獨立的樣本，如此建立路口間流量的相關系數矩陣，關系數矩陣表明了n個路口彼此之間的相關程度。
（3）通過矩陣運算求出相關系數矩陣 R 的所有特征值，進一步得到主成分，主成分基本上包含了所有成分的大部分信息。
通過主成分的計算和分析，就知道目標路通流主要相關的路口，就簡化了模型，使得預測模型更加精簡和實際。
3 徑向基神經網絡流量預測
3.1 徑向基網絡
神經網絡的基本單元稱為神經元，它是對生物神經元的簡化與模擬。神經元的特性在某中程度上決定了神經網絡的總體特性。大量簡單神經元的相互連結皆構成了神經網絡。一個典型的具有N維輸入的神經元組成，神經元的作用可用下面的數學式表達。
uk=wkjxj-θk （1）
yk=f（uk） （2）
常用的激勵函數有線形函數、分段線形函數、Sigmoid函數、雙曲正切函數等。神經網絡是由大量簡單神經元相互連結構成復雜網絡系統。單個神經元的功能是有限的，只有用許多神經元按一定的規則連接，構成神經網絡才具有強大的功能。徑向基函數（Radial Basic Function，RBF）神經網絡由三層組成。輸入層節點只傳遞輸入信號到隱層，隱層節點由像高斯核函數那樣的輻射狀作用函數構成，而輸出層節點通常是簡單的線形函數。隱層節點中的作用函數（基函數）對輸入信號將在局部產生響應。當輸入信號靠近基函數的中央范圍時，隱層節點將產生較大的輸出，由此看出來這種網絡具有局部逼近能力，所以徑向基函數網絡也稱為局部感知場網絡?；瘮底畛Ｓ玫氖歉咚购瘮担?/p>
RI（x）=exp[] i=1，2，…，m （3）
其中x是n維輸入向量；ci是第i個基函數的中心，與x具有相同維數的向量，σi是第i個感知的變量（可以自由選擇的參數），它決定了該基函數圍繞中心點的寬度；m是感知單元的個數。||x?ci||是向量x?ci的范數，它通常表示x和ci之間的距離，Ri（x）在ci處有一個唯一的最大值，隨著||x?ci||的增大，Ri（x）迅速衰減到零。對于給定的輸入x∈Rn，只有一小部分靠近x的中心被激活。輸入層實現從xRi（x）的非線形映射，輸出層實現從Ri（x）到 yk的線形映射，p是輸出節點數。即
yi=wikRi（x） k=1，2，…，p （4）
3.2 預測方法研究
本文以徑向基神經網絡作為基礎的預測模型，將相關路口歷史交通流量數據作為神經網絡的輸入，對目標路通流量進行短時預測。利用了相關路口的大量數據信息，又充分發揮了徑向基神經網絡特各種優點，使得更加預測更加高效，預測結果更加精確。針對待預測路口，將歷史數據第t時刻，第t1時刻，第t2時刻，第t3時刻的交通流量f （t），f（t1），f（t2），f（t3），等等共四個數據作為神經網絡的輸入，將 t4時刻的交通流量數據作為網絡的輸出結果。神經網絡模型為四個輸入，一個輸出。徑向基神經網絡模型通過計算軟件進行交通流預測計算。采用數據是部分歷史數據，過訓練調整網絡參數模型的權值。在權值得到以后，就可以利用相關路口對目標路口的交通流進行實時預測了。
篇3
>> 基于BP神經網絡與殘差分析的船舶交通流量預測 基于改進BP神經網絡的交通流量預測仿真 基于小波神經網絡的網絡流量預測 基于小波神經網絡的網絡流量預測研究 基于改進小波神經網絡的網絡流量預測研究 基于小波神經網絡的Shibor預測 基于遺傳BP神經網絡的短時交通流預測 基于BP神經網絡和模糊推理系統的短時交通流預測 基于BP神經網絡的高速公路短時交通流預測 一種網絡流量預測的小波神經網絡模型 基于小波神經網絡的建筑承發包價格預測研究 基于改進小波神經網絡的匯率預測研究 基于小波廣義回歸神經網絡的糧食產量預測模型 基于小波神經網絡的建筑工程項目工期風險預測研究 基于小波-神經網絡的短期風功率預測 基于小波神經網絡的污水出水COD預測模型 基于AIW—PSO小波神經網絡的上證指數預測 基于小波神經網絡的麥蚜發生量預測研究 基于模糊處理和遺傳優化的小波神經網絡股指區間預測 基于小波神經網絡的集中供熱智能預測 常見問題解答 當前所在位置：1.
[2]徐健銳.短時交通流預測中的若干問題研究[D].江蘇：江蘇大學，2010.
[3]姚智勝.基于實時數據的道路網短時交通流預測理論與方法研究[D].北京：北京交通大學，2007.
[4]MATLAB中文論壇.MATLAB神經網絡30個案例分析[M].北京：北京航空航天大學出版社，2010，4.
篇4
【關鍵詞】GPS；高程異常；BP神經網絡；擬合模型
Research on the Models of GPS Height Fitting Based on BP Neural Network
Li Yongquan
【Abstract】International and domestic multifarious control nets in use of GPS’s positioning techniques are only to solve the horizontal coordinates, but the height still follow to use the geometric leveling.Therefore, The basic theory of neural network and algorithm of BP are described, Discuss the problem of GPS height fitting based on BP neural network by trials. BP neural network is a kind of nonlinear mapping for its inputs and outputs，BP neural network is a high precise method for translating height.
【Key words】GPS；height anomaly；back propagation neural networks； fitting models
1. 引言
GPS平面定位的精度目前已經可以達到毫米級，但相對于平面定位精度，GPS在高程方面的定位精度較低。 神經網絡是一種高度自適應的非線性動力系統，神經網絡的數學理論本質上是非線性數學理論，通過BP神經網絡學習可以得到輸入和輸出之間的高度非線性映射，因此，使用神經網絡可以建立起輸入和輸出之間的非線性關系。BP神經網絡本身也是一種高精度的高程轉換方法。
2. 神經網絡的模型及BP算法
2.1 神經網絡的模型
（1）生物神經元模型。神經元模型是基于生物神經元的特點提出的，人腦由大量的生物神經元組成，神經元之間互相有連接，從而構成一個龐大而復雜的神經元網絡。神經元是大腦處理信息的基本單元，結構如圖1。神經元由細胞體、樹突和軸突三部分組成，其中突觸是神經元之間的連接。細胞體是由很多分子形成的綜合體，內部含有細胞核、細胞質和細胞膜。細胞體的作用是接受和處理信息。樹突是細胞體向外延伸的纖維體，是接受從其他神經元傳入信息的入口。軸突是神經元的信息通道，是細胞體向外延伸最長、最粗的樹枝纖維體，也叫神經纖維。（2）神經元模型。神經元一般表現為一個多輸入（多個樹突和細胞體與其他多個神經元軸突末梢突觸連接）、單輸出（每個神經元只有一個軸突作為輸出通道）的非線性器件，通用的結構模型如圖2所示。
(3）神經網絡模型。神經網絡的神經元之間的互連模式有前向網絡、有反饋的前向網絡、層內有相互結合的前向網絡和相互結合型網絡四種。
前向網絡神經元分層排列，組成輸入層、中間層（隱含層）和輸出層。每一層的神經元只接受來自前一層神經元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經過各層次的順序傳播，最后在輸出層上得到輸出。目前對前向網絡得出的一致的結論是：甚至是單中間層網絡，只要隱節點數目足夠多，前向網絡就可以通過訓練學習樣本，以任意精度逼近(或表達)期望目標。
2.2 神經網絡BP算法
(1）BP（Back Propagation）網絡模型結構。BP網絡的結構如圖4所示，BP網絡具有三層或三層以上神經元的神經網絡，包括輸入層、中間層（隱層）和輸出層。上下層之間實現全連接，而每層神經元之間沒有連接。當一對學習樣本提供給網絡后，神經元的激活值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出和實際輸出之間的方向，從輸出層反向經過各中間層回到輸入層，從而逐層修正各連接權值，這種算法稱為“誤差反向傳播算法”，即BP算法。
（2）BP算法的數學描述。BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。
BP網絡學習規則的指導思想是：對網絡權值和閾值的修正要沿著表現函數下降最快的方向――負梯度方向。
xk+1=xk-akgk(1)
其中xk是當前的權值和閾值矩陣，gk是當前表現函數的梯度，ak是學習速率。
三層BP網絡，輸入節點xi，中間層節點yi，輸出節點zl。輸入節點與中間層節點間的網絡權值為wji，中間層節點與輸出節點間的網絡權值為vlj。當輸出節點的期望值為tl時，模型計算公式如下。
中間層節點的輸出：
yi=f(∑iwjixi-θj)=f(netj)(2)
輸出節點的計算輸出：
zl=f(∑jvljyj-θl)=f(netl)(3)
3. BP神經網絡用于GPS高程擬合
3.1 山區高程異常擬合實例:以本溪GPS和水準資料作為樣本來源，進行BP高程異常擬合。
通過山區高程異常擬合實例，對數據分析可以得到如下結論，學習樣本數與測試樣本數之比在1/4之間時網絡穩定性較好。高程擬合的精度與學習樣本數量有關，學習樣本數越多，擬合精度就越高。
3.2 平原地區高程異常擬合實例:以某市D級GPS部分數據進行實驗研究
通過平原地區高程異常擬合實例，對數據分析可以得到如下結論，學習樣本數與測試樣本數之比在 1/3 之間時網絡穩定性較好。學習樣本數對測試對象的精度也有著重要的影響，一般隨著學習樣本數的增多，中誤差會有所改善。這主要是更多的學習樣本就更能表述出所研究問題的一些基本特征，進而仿真的效果就能更好。
4. 結束語
重點研究基于BP神經網絡的GPS高程異常擬合算法，詳細介紹了人工神經網絡基本理論，重點討論了基于BP神經網絡的GPS高程擬合，包括BP神經網絡的基本原理、主要特點。分析了神經網絡的BP算法，包括其數學模型、網絡結構。構造了基于BP神經網絡的GPS高程擬合模型，結合具體工程數據進行了神經網絡性能分析。
參考文獻
[1] 國家測繪局測繪發展研究中心.測繪發展研究動態[R].北京：國家測繪局，2008，8：1-7
[2] 李征航、黃勁松.GPS測量與數據處理[M].武漢：武漢大學出版社，2005，277-278
[3] 曹先革.基于人工神經網絡的GPS高程異常擬合方法研究[D]，北京：中國地質大學，2008
[4] 徐紹銓．GPS高程擬合系統的研究[J]，武漢：武漢測繪科技大學學報，1999，24(4),11-15
[5] 閻平凡.人工神經網絡與模擬進化計算[M]，北京:清華大學出版社，2000，5-6
[6] 徐麗娜.神經網絡控制[M].哈爾濱：哈爾濱工業大學出版社，1999，1-40
篇5
關鍵詞：加熱爐；BP神經網絡；流量控制
神經網絡具有自組織，自學習等優點，利用神經網絡對控制參數進行自整定，已達到控制要求。由于神經網絡學習過程較慢，可能導致局部極小點。本文提出一種基于改進神經網絡的參數自整定控制器，對神經網絡閥值和權值進行優化，避免權值和閥值陷入局部最小點。
1.加熱爐控制系統
由于煤氣、空氣的流量控制是實現爐溫控制的手段，因此它實際上從屬于爐溫控制回路，這一回路是保證加熱爐正常燃燒和鋼坯加熱的最基本的回路。通常情況下，流量控制回路是一個串級控制回路，爐溫控制器的輸出作為其設定值，因而達到間接控制爐溫的目的。流量控制回路工作的穩定程度以及控制性能的好壞將直接取決于該回路的控制量的設定值，并將直接影響到加熱爐爐溫的控制情況以及鋼坯的加熱過程。
2. 基于改進神經網絡的加熱爐參數優化控制方法
2.1 基于神經網絡的控制原理
把神經網絡模型與控制器有效結合，可以控制系統的輸出值與期望值之間的誤差達到最小。
基于神經網絡的控制器分為兩部分：一部分是經典的控制調制器；第二部分是神經網絡，通過神經網絡的自學習和自組織能力調節參數，使之達到最優。
2.2 改進神經網絡控制算法
梯度下降法的收斂速度較慢，而擬牛頓法計算又較復雜，共軛梯度法則力圖避免兩者的缺點。共軛梯度法也是一種改進搜索方向的方法，它是把前一點的梯度乘以適當的系數，加到該點的梯度上，得到新的搜索方向。
其迭代方程為
式中－最佳步長；
(1)
共軛梯度法比大多數常規的梯度下降法收斂快，并且只需增加很少的存貯量和計算量。對于權值很多的網絡，采用共軛梯度下降法是一個很好的選擇。
具體算法如下：
網絡初始化：確定神經網絡輸入層，隱含層神經元個數，以及各層權值初值，，給定學習速率和最大學習次數；
通過采樣的到給定值和輸出值，求出此時的誤差
求出神經網絡各層神經元的輸入、輸出：
輸入：
由經典增量式計算出控制的輸出
進行神經網絡學習，在線調整神經網絡權值，從而達到控制參數的自整定；
置，跳轉到第二步。
本文設計的改進神經網絡控制器可以在線修正網絡的權值和閥值，不但能收斂到全局最小點，并且可以提高系統的收斂速度。
3系統仿真及結果分析
為了驗證所提算法的有效性，采用計算機為仿真軟件。
仿真條件：本文將鞍山后英軋鋼分廠的加熱爐為研究對象，加熱爐模型為
式中表示時刻爐溫溫度和燃氣流量，表示時刻可測干擾和隨機噪聲。加熱爐作為非常復雜的被控對象，至今還沒有完整的數學模型，根據加熱爐大滯后，大慣性的特點，為了方便神經網絡的研究，本文將鞍山后英軋鋼分廠的加熱爐簡化為一個帶有純滯后的一階慣性環節，其傳遞函數為：
，式中增益為，時間常數為，純滯后時間為
根據仿真試湊法確定隱層神經元為個，構造一個三層網絡的結構為。輸出層與隱含層之間用非負函數，隱含層與輸入層之間用對稱函數,在訓練時選用網絡學習速率為。
將改進后的神經網絡的控制器用于加熱爐控制系統中，取輸入為階躍信號用中對加熱爐控制系統進行建模并仿真。
實驗一：傳統控制器下的階躍響應
圖1普通控制階躍響應曲線
實驗二：增量式控制器下的階躍響應
圖2增量式 控制階躍響應曲線
實驗三：基于改進神經網絡的控制器下的階躍響
圖 基于改進神經網絡的控制階躍響應曲線
4.結論
以上仿真結果說明，基于改進共軛梯度法神經網絡控制算法較好的解決了被控對象存在時變性和滯后性的問題，同時克服了算法收斂慢，不易達到全局最優的缺點，有效地提高了加熱爐控制系統的性能，具有一定的經濟效益。
參考文獻：
[1] 楊永耀, 呂勇哉. 鋼坯加熱爐計算機控制動態數學模型的開發. 自動化學報, 1987,13(4):257-264.
[2] 楊永耀, 梁軍. 加熱爐多模式控制冶金自動化, 1991, 15(5): 15-19.
篇6
關鍵詞：網格；資源調度；人工神經網絡；BP算法
中圖分類號：TP183
Grid resources schedule model based on the BP algorithm
ZHOU Fei-fei，HU Yan-xia
Ministry of Education’s major laboratory of Lanzhou Jiaotong University, Lanzhou,730070
ZhengZhou Urban and Rural Planning Bureau ,Zhengzhou,45000
Abstract: The grid is the main direction of high-performance. The major factor affects the grid functional and the performance is grid resource management and scheduling. Because of the complexity of the grid, its resource management compared with traditional distributed networks becomes more complex. The efficient grid resources management algorithms are hot and difficult of grid study. The neural network has intelligence and can get the best results in complex circumstances. this paper uses BP algorithm to solve the problem of grid resource scheduling. And introduced the concept of grid, back propagation algorithm, and proposed grid scheduling of resources result based on the BP algorithm.
Keywords：grid; resource scheduling；artificial neural network；Back propagation algorithm;
0 引言
網格作為新一代的互聯網，是今后高性能計算的主要方向，而有效的資源調度直接影響到網格的功能和性能，因此，對網格資源調度問題的研究具有重要的理論意義和巨大的實踐價值。人工神經網絡是一種模擬動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型，善于在復雜環境下，快速獲得滿足多種約束條件問題的最優化答案，把神經網絡的思想引入到網格的資源調度當中，將二者有效結合，能夠更好的解決網格的資源調度問題。
1 網格的基本概念
網格又被稱為“下一代互聯網”，用于集成或共享在地理上分布的各種資源(包括計算機系統、存儲系統、通信系統、文件、數據庫、程序等)，使之成為一個邏輯整體，實現資源在網絡中的全面共享。
目前，網格技術已經在科學計算領域得到了廣泛的應用，很好的解決了分布式超級計算、高吞吐率計算、數據密集型計算等問題。可以預見，隨著共享的資源越來越豐富，網格的應用領域將得到更大的拓展。
2 網格中的資源調度
網格中的資源指所有能夠通過網格遠程使用的實體，包括：計算機軟件(比如操作系統、數據庫管理系統、應用軟件、數據等)，計算機硬件(比如CPU、內存、硬盤、光盤感器、磁帶等)，設備和儀器(比如通信介質、天文望遠鏡、顯微鏡、傳感器、PDA、儀器儀表等)等物理資源以及人類資源(人的知識與能力)?！?】
由于網格是一個開放、動態的互聯網并行環境,用戶可以從網格的任何地方向網格平臺提交應用,而且由于網格所固有的分布性、動態性、異構性以及自治性等特征,使得網格資源、可能隨時發生改變。因此，網格資源管理系統是網格的核心組成部分，也是網格的重要研究方向。
2.1 網格資源調度策略
傳統的分布式系統中資源管理的主要任務是將多個用戶提交的程序調度到一個計算集群中以最大化系統的利用率。即將一個復雜的程序中的多個子程序調度到并行的計算機中以提高計算效率，減少運行時間。
而在網格中，由于網格系統的分布性、異構性和動態性，網格資源管理必須為用戶提供可靠的、一致的以及廉價的資源，而不用考慮資源訪問點的物理位置。[2]
我們使用有層的層次模型實現資源調度算法。此模型類似于網絡的五層沙漏模型。在邏輯上分為三層：用戶層、資源管理層及網格資源層。
用戶層是網格資源的使用者。各種應用均在這一層實現，該層的需求即網格系統提供的服務，是網格所要達到的目標。在本層中，用戶或應用系統通過面向服務的視圖向下層中的各種發送用戶請求，描述自愿選擇、任務進程創建和任務控制等。
資源管理層是本模型的核心層。由各種組成，是網格資源管理的執行者。能夠發現、收集和存儲不同領域的資源信息；接收用戶請求，并按分配策略將所需要的資源分配給用戶。
網格資源層是網格系統中的硬件基礎，包括各種資源，它是網格資源管理的對象。其基本功能就是控制區域內的資源，向上提供訪問這些資源的接口。
由以上分析可以看出，網格資源調度的實質，就是將多個相互獨立的任務由各種分配到可用資源上，使得資源得到充分利用并且任務的完成時間最小。
調度算法的目標是將所有的獨立的應用任務通過調度到可獲得的計算資源中去，從可利用的資源中選取最佳的資源，并盡量減少由于網格的動態性而對網格整體性能的影響。不好的資源調度算法，將會增加任務的執行時間并降低整個網格系統的吞吐量。因此，一個好的源調度算法，需要具有高效性和一定的智能性，使網格用戶能夠獲得所需要的資源，并且確保網格用戶不會過量使用資源。
由于神經網絡能夠模擬人腦的思維模式，具有很好的自適應性和學習能力，能夠實現難以用數字計算和技術實現的最優信號處理算法。因此，很適合網格資源調度算法。
3 BP神經網絡原理
神經網絡是一種模擬動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡能根據系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
3.1 神經網絡的概念
國際著名的神經網絡專家Hecht-Nielson給神經網絡的定義是：“神經網絡是一個以有向圖為拓撲結構的動態系統，它通過對連續或斷續式的輸入作為狀態響應而進行信息處理”?！?】
神經網絡系統是由大量的，同時也是很簡單的處理單元（稱為神經元），通過廣泛地互相連接而形成的復雜網絡系統。雖然每個神經元的結構和功能十分簡單，但由大量神經元構成的網絡系統的行為卻是豐富多彩和十分復雜的。
神經網絡適合于解決實際問題，它不僅可以廣泛應用于模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等工程領域，也可以廣泛應用于醫學、商業、金融和文學領域。隨著神經網絡理論本身以及相關理論、相關技術的不斷發展，神經網絡的應用定將更加深入。[4]
3.2 BP神經網絡的概念
BP (Back Propagation)神經網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，全稱為基于誤差反向傳播算法的人工神經網絡。BP神經網絡是目前研究最多、應用最廣泛的神經網絡模型。
BP神經網絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它使用自適應學習算法，通過反向傳播不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。
BP神經網絡模型拓撲結構包括輸入層（input）、隱含層(hide layer)和輸出層(output layer)。
通過圖可看出，層與層之間的神經元采用全互連的連接方式，通過相應的權系數相互聯系，隱含層內的神經元之間沒有連接。因此BP網絡可以看成是從輸入到輸出的一種高度非線性映射，映射中保持拓撲不變性，如果隱含層中神經元數目足夠多，則BP網絡就能模擬任何有理函數。由于BP網絡可在多個連續的輸入和一個或多個連續的輸出之間建立非線性映射這一特性，它常被用于智能預測。從而，我們使用BP神經網絡模擬網格資源調度過程。
3.2.1 BP神經網絡的工作過程
BP神經網絡由信息的正向傳播和誤差的反向傳播兩個過程組成：
信息的正向傳播過程：
輸入層各神經元負責接收來自外界的輸入信息，并傳遞給隱含層各神經元；隱含層負責信息變換，根據信息變化能力的需求，傳遞到輸出層。各神經元的信息，經進一步處理后，完成一次學習的正向傳播處理過程；輸出層向外界輸出信息處理結果。
誤差的反向傳播過程：
當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱含、輸入層逐層反傳。
周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者達到預先設定的學習次數為止。[5]
4 使用BP神經網絡的網格資源調度模型
由于BP神經網絡算法響應時間較快，適合大規模分布式的網格資源調度。為了能夠最大效率的調用網格資源，我們結合BP神經網絡算法思想，提出了基于BP網絡的網格資源調度模型。
模型流程如下：
(1)將用戶提交的任務請求(包含任務的任務量、通信量、任務提交時間、時間限度等參數)加入到網格中的任務隊列排隊。任務隊列可以根據不同用戶的不同需求(用戶等級、任務時間相應要求等)對進入隊列的任務進行排序。
(2) 調度系統中的計時器，每隔一定時間就從任務隊列中取出待處理的任務，并從監視器中獲得當前系統資源分配列表。
(3) 根據待處理任務及系統資源，使用BP算法產生一個最優化的任務分配表。
(4) 執行任務分配表中的任務。如果任務順利完成，則將任務占有的資源釋，如果任務失敗，則釋放該任務所占有的系統資源，并將失敗的任務插入到任務隊列中，以待下次調度。
(5) 當不能從任務隊列中獲得任務時，表明所有任務都已經完成。
5總結
在網格環境中，資源調度是一項非常復雜且極具挑戰性的工作。計算資源調度的好壞，效率的高低直接關系到網格系統的性能。相對別的網格計算資源調度算法與模型，本文提出使用BP算法的分層資源調度模型。
該模型由調度主程序負責全局資源調度，監控程序監控每個資源任務的完成情況，這種方法在能保證任務完成的前提下，靈活地對網格資源進行配置，充分發揮網格中各節點計算機的計算能力。
參考文獻：
1崔飛.基于市場的網格資源調度算法研究[J].中國科技論文在線
2都至輝，陳渝，劉鵬. 網格計算.[M]. 清華大學出版社, 2002
3黨建武，王陽萍，趙庶旭. 神經網絡理論.[M]. 蘭州大學出版社，2005,9
篇7
論文摘要：分析了模擬電路故障診斷的重要性和目前存在的困難，對基于小渡分析理論和神經網絡理論的模擬電路故障診斷方法進行了綜述．指出了小波神經網絡應用于模擬電路故障診斷存在的問題和未來的應用前景。
模擬電路故障診斷在理論上可概括為:在已知網絡拓撲結構、輸人激勵和故障響應或可能已知部分元件參數的情況下，求故障元件的參數和位置。
盡管目前模擬電路故障診斷理論和方法都取得了不少成就，提出了很多故障診斷方法，如故障字典法、故障參數識別法、故障驗證法等。但是由于模擬電路測試和診斷有其自身困難，進展比較緩慢。其主要困難有:模擬電路中的故障模型比較復雜，難以作簡單的量化;模擬電路中元件參數具有容差，增加了故障診斷的難度;在模擬電路中廣泛存在著非線性問題，為故障的定位診斷增加了難度;在一個實用的模擬電路中，幾乎無一例外地存在著反饋回路，仿真時需要大量的復雜計算;實際的模擬電路中可測電壓的節點數非常有限.導致可用于作故障診斷的信息量不夠充分，造成故障定位的不確定性和模糊性。
因此，以往對模擬電路故障診斷的研究主要停留在中小規模線性無容差或小容差的情況，有些方法也已成功地應用于工程實際。但如何有效地解決模擬電路的容差和非線性問題，如何解決故障診斷的模糊性和不確定性等是今后迫切需要解決的問題。小波神經網絡則因其利于模擬人類處理問題的過程、容易顧及人的經驗且具有一定的學習能力等特點，所以在這一領域得到了廣泛應用。
1小波分析理論在模擬電路故障診斷中的應用現狀分析
簡單地講，小波就是一個有始有終的小的“波浪”小波分析源于信號分析，源于函數的伸縮和平移，是Fourier分析、Gabor分析和短時Fourier分析發展的直接結果。小波分析的基木原理是通過小波母函數在尺度上的伸縮和時域上的平移來分析信號，適當選擇母函數.可以使擴張函數具有較好的局部性，小波分析是對信號在低頻段進行有效的逐層分解，而小波包分析是對小波分析的一種改進，它為信號提供了一種更加精細的分析方法，對信號在全頻段進行逐層有效的分解，更有利于提取信號的特征。因此，它是一種時頻分析方法。在時頻域具有良好的局部化性能并具有多分辨分析的特性，非常適合非平穩信號的奇異性分析。如:利用連續小波變換可以檢測信號的奇異性，區分信號突變和噪聲，利用離散小波變換可以檢測隨機信號頻率結構的突變。
小波變換故障診斷機理包括:利用觀測器信號的奇異性進行故障診斷以及利用觀測器信號頻率結構的變化進行故障診斷。小波變換具有不需要系統的數學模型、故障檢測靈敏準確、運算量小、對噪聲的抑制能力強和對輸入信號要求低的優點。但在大尺度下由于濾波器的時域寬度較大，檢測時會產生時間延遲，且不同小波基的選取對診斷結果也有影響。在模擬電路故障診斷中，小波變換被有效地用來提取故障特征信息即小波預處理器之后，再將這些故障特征信息送人故障分類處理器進行故障診斷。小波分析理論的應用一般被限制在小規模的范圍內，其主要原因是大規模的應用對小波基的構造和存儲需要的花費較大。
2神經網絡理論在模擬電路故障診斷中的應用分析
人工神經網絡(ANN)是在現代神經科學研究成果的基礎上提出來的，是一種抽象的數學模型，是對人腦功能的模擬。經過十幾年的發展，人工神經網絡已形成了數十種網絡，包括多層感知器Kohomen自組織特征映射、Hopfield網絡、自適應共振理論、ART網絡、RBF網絡、概率神經網絡等。這些網絡由于結構不同，應用范圍也各不相同。由于人工神經網絡本身不僅具有非線性、自適應性、并行性、容錯性等優點以及分辨故障原因、故障類型的能力外，而且訓練過的神經網絡能儲存有關過程的知識，能直接從定量的、歷史故障信息中學習。所以在20世紀80年代末期，它已開始應用于模擬電路故障診斷。隨著人工神經網絡的不斷成熟及大量應用，將神經網絡廣泛用于模擬電路的故障診斷已是發展趨勢。BY神經網絡由于具有良好的模式分類能力，尤其適用于模擬電路故障診斷領域，因而在模擬電路故障診斷系統中具有廣泛的應用前景，也是目前模擬電路故障診斷中用得較多而且較為有效的一種神經網絡。 3小波神經網絡的應用進展分析
3，1小波分析理論與神經網絡理論結合的必要性
在神經網絡理論應用于模擬電路故障診斷的過程中，神經網路對于隱層神經元節點數的確定、各種參數的初始化和神經網絡結構的構造等缺乏更有效的理論性指導方法，而這些都將直接影響神經網絡的實際應用效果。小波分析在時域和頻域同時具有良好的局部化特性，而神經網絡則具有自學習、并行處理、自適應、容錯性和推廣能力二因此把小波分析和神經網絡兩者的優點結合起來應用于故障診斷是客觀實際的需要。
目前小波分析與神經網絡的結合有兩種形式，一種是先利用小波變換對信號進行預處理，提取信號的特征向量作為神經網絡的輸人，另一種則是采用小波函數和尺度函數形成神經元，達到小波分析和神經網絡的直接融合第一種結合方式是小波神經網絡的松散型結合，第二種結合方式是小波神經網絡的緊致型結合。
3.2小波分析理論與神經網絡理論的結合形式
小波與神經網絡的松散型結合，即:用小波分析或小波包分析作為神經網絡的前置處理手段，為神經網絡提供輸人特征向魚具體來說就是利用小波分析或小波包分析，把信號分解到相互獨立的頻帶之內，各頻帶內的能童值形成一個向覺，該向童對不同的故障對應不同的值，從而可作為神經網絡的輸入特征向量一旦確定神經網絡的輸入特征向童，再根據經驗確定采用哪種神經網絡及隱層數和隱層單元數等，就可以利用試驗樣本對神經網絡進行訓練，調整權值，從而建立起所需的小波神經網絡模型。
小波與神經網絡的緊致型結合，即:用小波函數和尺度函數形成神經元，達到小波分析和神經網絡的直接融合，稱為狹義上的小波神經網絡，這也是常說的小波神經網絡。它是以小波函數或尺度函數作為激勵函數，其作用機理和采用Sigmoid函數的多層感知器基本相同。故障診斷的實質是要實現癥狀空間到故障空間的映射，這種映射也可以用函數逼近來表示。小波神經網絡的形成也可以從函數逼近的角度加以說明。常見的小波神經網絡有:利用尺度函數作為神經網絡中神經元激勵函數的正交基小波網絡、自適應小波神經網絡、多分辨率小波網絡、區間小波網絡等。
3.3小波分析理論與神經網絡理論結合的優點
小波神經網絡具有以下優點:一是可以避免M LY等神經網絡結構設計的育目性;二是具有逼近能力強、網絡學習收斂速度快、參數的選取有理論指導、有效避免局部最小值問題等優點。
在模擬電路故障診斷領域，小波神經網絡還是一個嶄新的、很有前途的應用研究方向。隨著小波分析理論和神經網絡理論的不斷發展，小波神經網絡應用于模擬電路故障診斷領域將日益成熟。
篇8
【關鍵詞】PCA神經網絡算法閾值區低功耗低面積積分器
一、引言
本文中為實現植入式的腦電信號特征提取，而設計的一種基于模擬模塊的硬件實現方法，實現對神經spike信號的神經網絡算法的特征提取的PCA2-1網絡，本文的神經網絡算法的硬件完全采用模擬電路來實現，以滿足植入式的芯片，需要具有低功耗，低面積的特點。本文中的特征提取選擇了主成分分析法（PCA），采用基于PCA算法的全模擬電路實現架構，由具有足夠線性范圍的模擬乘法器，基于亞閾值區的積分器，合理的加法器模塊，來實現設計低功耗，低面積的神經信號處理電路。最終驗證通過模擬電路實現的神經特征提取電路的權值變化和MATLAB計算出的權值變化相一致，以此來證明該系統的正確性。
二、PCA神經網絡
主分量分析的目的在于減少數據維數。其基本思想是提取出空間數據中的主要特征（主分量），減少數據冗余，去掉數據相關性，使得數據能夠在一個低維空間來處理。它確定一個方向向量w，使得輸入向量x在該方向上的投影y=wTx的方差最大。PCA神經網絡克服了傳統方法的缺點，它通過學習自動收斂到主分量方向而不用計算相關矩陣[2]。本文中的實現PCA的神經網絡為一個單層的前向網絡。
本文中的基于神經網絡的PCA的算法實現步驟如下：
（1）在t=1時，用小的隨機數賦給主元神經網絡的權值，另權值修正系數為一小的正數；
（2）對于在t=1，從訓練樣本集中選取樣本輸入網絡，計算：
由于積分器的輸出是權值w，所以對輸出幅度有較高要求。本文采用的積分器的OTA為兩個單端輸出的鏡像電流源結構。這樣輸出的幅度是全差分雙端輸出的2倍。而且兩個單端輸出很好的提高了電路的共模抑制比CMRR。OTA的輸出級為共源共柵的結構，這讓OTA的輸出
圖3為對輸入數據進行長時間的仿真后數據的圖像特性，可以看出w的值有很好的收斂特性。
三、總結
PCA算法在噪聲比較大的情況下容易聚類失敗，而本文中的系統是作為已經實現的低噪聲放大器和NEO信號去噪檢測之后的一級，所以選取PCA作為特征提取的方法是可行的。本文設計了一種基于神經網絡算法的信號特征提取的硬件實現，采用了完全的模擬電路來實現。并根據算法的特點，合理的選擇和改進積分器電路和乘法器電路的拓撲結構，來實現電路的功能。并實現了系統的低功耗，低面積的特點。有利于集成于植入式系統的實現。通過對輸入一組方波數據的仿真，通過短時間來驗證瞬態輸出的準確性，而長時間的仿真來驗證該系統可有效的讓權值w收斂。
參考文獻
[1] Hongge Li， Zhao Wei， Zhang Youguang. Micropower fully integrated CMOS readout interface for neural recording application[J]. 2010， 50（2）： 273-281.
[2] Oja E. Principal Components， Minor Components， and Linear Neural Networks[J]. Neural Networks， 1992，5（6）：927-935.
篇9
關鍵詞： 徑向神經網絡 故障診斷 觀測器
一、徑向神經網絡
在眾多的神經網絡中，徑向神經網絡是一種結構簡單、訓練速度快并且具有最佳逼近性能的多層前向神經網絡。多年來，人們對徑向神經網絡進行了大量的研究，并成功地應用于故障診斷領域。主要原因有：
（1）它能存儲有關過程的知識，直接從歷史故障信息中學習，可以根據對象歷史數據訓練網絡，然后將此信息與當前測量數據進行比較，比確定故障的類型。
（2）它具有濾除噪聲即在噪聲的情況下得出正確結論的能力，可以訓練人工神經網絡來識別信息，使其在噪聲環境中有效地工作。
（3）它具有很強的非線性逼近能力。
（4）它具有分辨故障原因及故障類型的能力。
徑向神經網絡（Radial Basis Function Neural Network，RBFNN）是20世紀80年代提出的一種以函數逼近理論為基礎的前向神經網絡，其設計思想就是將徑向基函數（RBF）應用于神經網絡作為激勵函數。不同于BP網絡的全局逼近性能，RBF是一種局部逼近網絡，對于每個訓練樣本，它只需對少量的權值進行局部的修正，因此速度很快，具有最佳的逼近性能。RBF神經網絡的機構與多層前向網絡結構類似，其拓撲結構如圖所示。
RBF神經網絡是由輸入層、隱含層和輸出層構成的三層前向神經網絡。第一層為輸入層，由信號源節點組成，其單元個數是由所描述問題的需要決定的；第二層為隱含層，是由一組徑向基函數構成的非線性映射層，這樣就將輸入矢量直接映射到隱含層空間，當徑向函數的中心確定以后，這種映射關系也就確定了；第三層為輸出層，提供從隱單元空間到輸出空間的一種線性變換。其中隱含層是網絡的核心，隱含層神經元的變換函數是一種局部分布的對中心點徑向衰減的非線性函數，利用徑向基函數作為隱含層神經元的基構成隱含層空間，實現輸入矢量到輸出矢量的映射變換。這里主要研究以高斯函數為變換函數的徑向基神經網絡。
RBF神經網絡的輸入與輸出之間可認為是一種映射關系：f（x）:R R
其中式中，i=1，2，…，n為隱含層節點數，n（y ，…，y ，…， y ）∈R 表示神經網絡的輸出，x∈R 為網絡輸入矢量，w∈R 表示輸出權值，g∈R 為徑向基函數，g 表示隱層第i個神經元的輸出值，w 表示第i個神經元到輸出層第j個神經元的權值。
式中，m ∈R 為徑向基神經元的中心，r ∈R為徑向基神經元的寬度，.表示2-范數或歐式距離。
徑向基神經網絡的權值、中心與寬度是徑向基神經元的三個重要參數。構造和訓練一個RBF神經網絡的就是要是網絡通過學習，確定出每個隱層神經元基函數的中心m 、寬度r 及隱層到輸出層的權值w，從而可以完成所需的輸入到輸出的映射。RBF網絡的三部分參數在映射中所起的作用是不同的。隱含層的徑向基函數完成的是從輸入空間到隱含層空間的非線性映射，而隱含層到輸出層的權值是實現從隱含層空間到輸出空間的線性映射，所完成的任務不同，決定了參數的訓練方法和策略不同。
徑向基神經元網絡的學習可以看成是誤差準則下，以誤差函數f（x）為目標函數的無約束最優化問題。
式中，x表示網絡的三個待求的參數（中心、權值與寬度）；y 為網絡輸出，y 為期望輸出，N為樣本總數。
對于解決無約束最優化問題，通常采用迭代的方法進行計算，在給定初值x 后，按照等式
逐步修改直至收斂于解，其中為迭代步數，a 為學習速度，p 代表搜索方向。當用上式進行迭代時，函數f（x）應該在每次迭代時都減小。研究結果顯示，最簡單的下降方向就是沿負梯度的方向，此時
式中，g 為f（x）在x 處的梯度，這樣我們就得到了最速下降的優化算法：
有上面的推導可以看出，算法的關鍵是梯度的計算，下面給出梯度的計算公式。為了便于推導計算，將RBF網絡的數學模型表示如下：
式中，s=1，2，L，h為輸出變量的個數；i=1，2，L，n為隱含層的個數；j=1，2，L，N（N為樣本總數）；k為迭代步數；y 為第s個輸出；w 為輸出層的權值；m 為神經元的中心；r 為神經元的寬度；x（j）為輸入樣本。
定義如下的誤差函數：
式中，y 為網絡輸出，y 為期望輸出。
根據上述式子，輸出權值的梯度為： =-e （k）Q （k）（11）
具體步驟為：
（1）隨即給定一組參數x ∶m ，r ，w ，并給定迭代終止精度ε的值。
（2）令RBF網絡隱含層數目n=n ，n =l+m為任意小的正整數（其中l和m分別表示系統輸入輸出的維數）。
（3）根據所給定的樣本，利用梯度法計算網絡的三個參數值，根據參數值計算網絡的輸出。
（4）根據樣本數據和網絡輸出計算誤差e（n），如果e（n）≤ε轉到下一步，否則讓n=n +n（其中n ＞0為整數），判斷是否n≤n （n 為預先設置的最大隱含層數目），滿足條件則轉上一步，否則轉下一步。
（5）記錄此時的n，m ，r ，w ，則得到RBF網絡隱含層的數目、網絡的中心、寬度和權值。
上述是基于最速度下降梯度法的徑向神經網絡算法可以看出，網絡結構的構建與參數調整可以同時完成，具有學習時間短、計算量小等特點。
二、神經網絡觀測器的建立
通常情況下，非線性系統的狀態空間模型可以表示如下：
x（k+1）=f（k，x（k））+g（k，x（k））u（k）+v（k）（14）
y（k+1）=h（k+1，x（k+1）+σ（k+1））（15）
式中，k為離散時間變量；x（k）∈R 為狀態變量；u（k）∈R 為輸入變量，y（k）∈R 為輸出向量；f:R R ，h:R R 為映射函數；v（k）和σ（k）分別為噪聲和模型不確定性函數。
根據RBF網路的最佳逼近性能，可以建立神經網絡辨識模型，對于任意小的ε，存在RBF網絡逼近于系統的實際輸出：
e=y -y ＜ε（16）
式中，y 為網絡輸出，y 為期望輸出，ε為輸出殘差。當無故障時，殘差信號由狀態估計的誤差和噪聲所決定，如果狀態估計的誤差足夠小，則殘差通常趨近于零。當傳感器故障時系統的狀態方程變為：
x（k+1）=f（k，x（k））+B（k，x（k））u（k）+v（k）（17）
y（k+1）=h（k+1，x（k+1））+σ（k+1）+D （k）（18）
式中，D ∈R 為傳感器故障分配矩陣，此時輸出殘差r（k）發生了很大的變化，所以根據殘差向量的改變進行傳感器的故障監測與隔離。
在構造出系統的觀測器之后，就可以將其用于系統的故障隔離。在本文中神經網絡觀測器是作為一個無故障的正常的模型來使用?；谏窠浘W絡的故障診斷系統結構如圖所示：
三、故障診斷
基于神經網絡的系統故障診斷的基本思想就是建立系統的辨識模型，根據模型輸出和實際系統輸出的殘差進行故障檢測與隔離，所以建立系統的辨識模型是研究的重點與核心。
針對于傳感器，使用如下的方法來進行故障診斷；
由于神經網絡具有很強的自學習能力，因此可以通過學習來獲得傳感器測量值，從而為故障診斷提供有效的信息。
首先，應用傳感器組中的任一個輸出信號和系統輸入作為神經網絡的輸入信號，將所有傳感器的輸出信號作為神經網絡的輸出信號，構成輸入樣本集合，應用RBF網絡離線訓練如下m個神經網絡模型：
y （k）=F ［y （k），u（k）］，i=1，2，…，m（19）
然后應用神經網絡觀測器可獲得m組，，…，，其中=［，，…，］ 是第i個觀測器得到的，網絡的輸入和訓練時的輸入相同。在系統正常運行條件下，也即無故障時，接近系統傳感器輸出y 。當第i個傳感器故障而其余的m-1個傳感器正常運行時，由第i個神經網絡觀測器所得的傳感器的輸出估值將會偏離的輸出估值，而其他神經網絡觀測器的輸出則不受影響，仍接近實際輸出。那么利用下面的邏輯檢測實現傳感器故障診斷。
定義閥值ε ＞0，j=1，2，…，m，計算判別函數。
式中，y 為第i個傳感器測量值，為由第i個傳感器的測量值獲得的第j個傳感器輸出的估計值。則有下面的邏輯：
四、小結
徑向神經網絡具有最優的逼近性能，可以精確地對系統進行辨識。利用神經網絡觀測器進行系統故障診斷，需要建立精確的神經網絡辨識模型。在精確模型的基礎上可完成對系統的故障診斷，這種抗干擾能力很強，對不確定、非線性系統有很好的效果。
(指導老師：何曉薇教授)
（作者系中國民航飛行學院飛行技術學院研究生）
篇10
關鍵詞：遺傳算法；BP神經網絡；時間序列；預測；
中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2015）31-0160-03
Application of Time Series Prediction based on the Genetic Algoriths and BP Neural Network
YANG Tong-man1，GUO Yu2
（1.College of Meteorology and Oceanography， PLA Univ. of Sci. & Tech. ，Nanjing 211101，China；2.Anhui University of Science and Technology，Huainan 232001，China）
Abstract： The basic principles of genetic algorithms and BP neural network algorithm for analysis， and will have good global search capability of genetic algorithm and can be arbitrary precision approach nonlinear function of neural network algorithm， genetic algorithms to optimize the characteristics of the BP algorithm ， time series forecasting algorithm based on genetic algorithm BP neural network build. And use the algorithm to do the closing stock market trading data prediction. Application results show that this method has good stability， high precision characteristics.
Key words：genetic algorithm；BP neural network；time series；prediction
隨著經濟、科學技術等的快速發展，每天來自商業、社會、科學、工程、醫學等各個領域的呈爆炸式增長的數據，注入我們的計算機網絡、萬維網以及各種數據存儲設備，并且這些數據集基本上都具有時變性的特征。因此，目前許多數據集中的數據都是以時間序列的數據形式存在的。在互聯網金融、科研項目、醫學、工程等各個領域，都存在著在歷史數據的基礎上預測未來的問題。至今，各行各業的研究人員已經建立了許多的時間序列預測模型及算法，這些預測算法針對線性系統的時間序列預測具有很好的效果。但是，面對自然和社會現象中存在的大量的非線性系統問題，這些方法并不能有效地解決趨勢預測問題，解決這類問題效果欠佳[1]。而人工神經網絡等智能理論的興起與發展，為時間序列預測提供了全新且有效的針對非線性預測的分析方法。BP神經網絡算法是非循環多級網絡的訓練算法，具有廣泛的適用性。但是BP算法也存在訓練速度慢、高緯曲面上局部極小的問題，并且在隱含層網絡節點數的選取上缺乏理論指導，這一系列的問題，大大降低了預測的精確性[2]。遺傳算法是一種通過模擬自然進化的過程，搜索出最優解的方法，它具有良好的全局搜索能力的特點。因此，本文利用遺傳算法的特點，通過對BP算法的初始權值以及閾值進行優化，以達到提高預測精確度的目的。
1基于遺傳算法的BP神經網絡預測算法
1.1遺傳算法
遺傳算法（Genetic Algorithm）又叫基因進化算法或進化算法，它是一種啟發式的搜索算法。它能在搜索過程中，自動的搜索全局并選擇優良的解，并能夠自適應的控制搜索過程以達到最優解[3]。遺傳算法是具有“生成+檢驗”的迭代過程的搜索算法[4]。其主要處理流程如下：
1） 首先對優化問題的解進行編碼；
2） 適應度函數，它主要依據優化問題的目標函數而定，是遺傳算法的關鍵；
3） 染色體的組合；
4） 變異。
1.2 BP神經網絡模型及算法
1.2.1人工神經網絡
人工神經網絡（Artificial Neural Networks），是對人類的大腦系統的一個特定的描述，它是一個理論化的數學模型。它由大量的處理單元通過適當的方式互聯構成，是一個大規模的非線性自適應系統[5]。神經網絡是通過對各種各樣的樣本，進行反復的學習和訓練，并不斷的調整各連接弧上的權值以及節點的閾值，直到各個權值及閾值達到理想的穩定狀態后，神經網絡就能正確的反映網絡的輸入樣本對輸出樣本的映射關系[6]，它是通過這些不斷的訓練來達到訓練學習的目的的。
1.2.2 BP神經網絡算法
BP神經網絡算法，是非線性的連續變換函數的多層感知器的誤差向后傳播（ ErrorBack Propagation，BP）算法。其基本思想是利用輸出層的誤差來估算輸出層的直接前導層的誤差，如此循環下去，將獲得所有其他各層的誤差估計，形成將輸出端表現出的誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程[5]。目前此算法已經在許多領域獲得了應用[7]。BP神經網絡算法能學習并存儲大量的輸入（input）-輸出（out）模式的映射關系，并且不需要在事前描述這種映射關系。BP算法的學習規則是使用最快速度的下降法，通過向后傳播，不斷的調整網絡各連接弧上的權值和節點的閾值，使得網絡的誤差平方和最小[3]。BP神經網絡算法的網絡結構包括輸入層，隱藏層和輸出層，如圖1所示。
圖1 BP算法的網絡結構示意圖
假設有一個三層BP神經網絡，并設其輸入層的第i個節點上的輸入向量ai；其隱含層上的第j個節點的輸入向量sj，輸出向量bj；其輸出層上的第k個節點的輸入向量ck，輸出向量ok；設其輸入層、隱層和輸出層的節點數分別為m、l、n。設輸入層和隱層節點間的聯接權Xij，隱層和輸出層節點間的聯結權Mjk，隱層和輸出層的各單元的輸出閾值分別是Hj和Ck，輸出層上的第k個節點的期望輸出值tk，若激活函數為f（x），則：
[sj=i=1maiωij-θjj=1，2，...，l]
[bj=f（sj）j=1，2，...，l]
[ck=j=1lbjvjk-γkk=1，2，...，n]
[ok=f（ck）k=1，2，...，n]
誤差函數為：
[E=12k（tk-ok）2]
BP神經網絡算法將按照誤差減小的最快的方向，也就是負梯度的方向，來改變各層之間的聯接權，使得網絡慢慢地收斂。聯接權的增量的變化為：
[Δω=-η?E?ω]
其中[η]為學習率。
考慮到學習率的變化會影響網絡的性能[9]，所以在權值調整公式中增加一個動量項，達到微調權值修正量防止振蕩的效果[3]。通過增加動量項不僅僅考慮了誤差在梯度上的作用，同時也考慮了誤差曲面上變化的方向。
[Δwij（n+1）=ηδj（n+1）yi（n+1）+aΔwij（n）]
其中a是動量因子，一般a[η]（0，1）動量項反映了以前的調整經驗，對下一時刻的調整起到一定阻尼作用。因此可以減小振蕩的趨勢，并促使聯接權值的變化方向為誤差曲面底部的平均方向。這不僅能夠降低網絡對誤差曲面上存在的局部的細節敏感性，還能夠在一定程度上緩解局部存在極小的問題。
1.3 遺傳算法對BP算法的優化
利用遺傳算法能夠在全局搜索的優勢，對BP算法的初始權值和閾值進行優化。其流程圖如圖2所示：
圖2 遺傳算法對BP算法優化流程圖
（1） 將BP算法的初始權值和權值優化，表示為編碼；隨機產生一組串長為n的群體，為初始群體；
（2） 將編碼串譯碼成尋優參數，并計算其對應的目標函數，從目標函數中獲得各個體的適應度值；
（3） 根據得到的各個體適應度值，選擇產生適應度值高的中間群體（父輩），并對其執行復制、交叉和變異的操作，產生新的群體；
（4） 返回步驟（2），并反復執行步驟（2）到步驟（4），使得群體能夠一代代的不斷的進化，直到滿足條件，輸出最優個體解為止。
2基于遺傳算法的BP神經網絡預測算法的應用
股票市場是一個高度復雜的非線性動態系統[8]，股價的波動通常都具有很強的非線性的特征。股價的走勢及其波動受制于各種政治、經濟、心理等諸多因素，以至于人們往往難以精確的預測股價的走勢。而股票的價格，卻是每一位投資者最關心的問題。自從有了股票交易市場，各種專家和投資資深者都在探索分析和預測股票價格走勢的方法，期望能夠準確地對股價的走勢進行預測。
基于以上因素，本實驗選擇了2004年11月到2010年3月的股市交易數據作為實驗數據。對2004年到2010年2月份的數據做模型訓練，并對2010年3月份的數據進行預測。本算法對股市交易數據中的收盤數據做了預測。從表（1）可以看出，該算法對3月份收盤數據的預測值與實際值的絕對誤差、相對誤差值都很小，精度很高。從圖（3）可以看出，預測數據與實際數據的趨勢很相近，幾乎重合。
表1 截取的5個樣本的預測結果
圖3 原始數據與預測數據趨勢圖
3 結論
本文針對非線性趨勢預測問題，在前人對BP算法存在的問題改進的基礎上，利用遺傳算法具有的良好全局搜索能力的特點，再次對BP神經網絡算法進行了優化，并將該算法應用于對股市交易收盤數據的預測。經過檢驗，證實了該方法的有效性。
參考文獻：
[1]曹星平，易東云，吳翊.基于神經網絡的時間序列預測方法進展[J].電腦與信息技術， 1999（6）.
[2]胡冰蕾.基于遺傳優化的BP神經網絡算法的短期負荷預測[J]. 供用電，2010（6）：42-44.
[3]任謝楠. 基于遺傳算法的BP神經網絡的優化研究及MATLAB仿真[D].天津師范大學，2014.
[4]王宏剛，錢鋒.基于遺傳算法的前向神經網絡結構優化[J]，2007，14（4）：387-190.
[5]蔣宗禮. 人工神經網絡導論[M].北京：高等教育出版社， 2001.
[6]王成寶，任傳祥，尹唱唱，等. 基于遺傳算法的BP神經網絡短時交通流預測[J]. 山東交通科技，2012（5）：5-7.
[7]Chen Hai-bo，Muller S G.Use of sequential learning for short- term traffic flow forecasting[J].TransportationResearch，2000，7（ 06） ： 11 - 13.
