神經網絡初始化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡初始化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡初始化方法范文

關鍵詞：垃圾郵件；深度置信網絡；分類；受限玻爾茲曼機；支持向量機

0 引言

電子郵件的速度快、成本低等優勢使其成為人們用于思想和信息交流的強大工具，然而伴隨而來的垃圾郵件成為當今網絡的一個重要問題[1]。根據Ferris的研究估計，垃圾郵件數量占美國一家企業組織總電子郵件的15%至20%。在這樣的情況下，垃圾郵件造成了大量的帶寬浪費和郵件系統超載。由于以上嚴重問題，必須采取措施來解決垃圾郵件現象。已有研究證明最好的方法是垃圾郵件過濾。

通常有兩種郵件過濾的方法：知識工程（Knowledge Engineering， KE）以及機器學習（Machine Learning， ML）?；诘谝环N方法的垃圾郵件過濾通常使用預定義的集合和用戶定義的規則，這樣的規則嘗試識別信息中垃圾郵件的典型特點；然而，已經證明在實踐中該方法的泛化能力較差。

實驗表明機器學習分類器具有更好的性能，因此大量的分類方法被提出來實現垃圾郵件檢測任務。Puniskis等[2]將神經網絡方法應用到垃圾郵件分類。也有其他研究人員將樸素貝葉斯法（Naive Bayes， NB）和支持向量機（Support Vector Machine， SVM）[3-9]應用到垃圾郵件分類任務中。深度置信網絡（Deep Belief Net， DBN）是擁有深層架構的前饋神經網絡，其中包含多個隱含層，而使用DBN的障礙在于如何訓練這樣的深層網絡。通常情況下，由于網絡權值的隨機初始化，基于梯度的優化容易陷入局部最小值[10]。Hinton等[11]提出了一種新的貪婪逐層非監督算法來初始化基于受限玻爾茲曼機（Restricted Boltzmann Machine， RBM）的DBN。這個算法提供了網絡權值的初始化方法，隨后使用基于梯度的算法如梯度下降法來微調網絡權值。研究指出，DBN初始化方法的有效性在多個數據集中得到驗證[12]。

在受限玻爾茲曼機的快速學習算法的驅動下， 本文提出了使用深度置信網絡來解決垃圾郵件問題，并且在三個充分研究的垃圾郵件數據集上評價分類方法的性能。將本文的算法和較好的垃圾郵件檢測方法支持向量機分類器[13]進行比較，結果表明，基于深度置信網絡的方法表現出和SVM相似的性能或者說比SVM更好的性能。

1 深度置信網絡分類

人工神經網絡（Artificial Neural Network， ANN）研究主要關注的是訓練網絡來找到正確的權重，可以正確地將輸入樣本分類。最成功的算法是著名的反向傳播（Back Propagation，BP）算法。反向傳播的問題是：ANN代表一個f（X，W）的非線性映射，其中：X是輸入向量，W是整個網絡的權重矩陣。隨著網絡層數的增加，函數f變得越來越復雜，如此一來將得到多個局部最小值。反向傳播算法根據權重W的初始化來收斂到某一最小值，但有時它會收斂到一個表現差的局部最小值而不是全局最小值。對于一些人工智能任務，有些局部最小值是沒有問題的，但是有些是不可以接受的。此外，隨著網絡層數的增加，訓練時間變得越來越長。反向傳播的另一問題是它需要大量的標簽數據，這對于許多需要分類的人工智能任務來說是不可能的。對于之前提到的問題，Hinton等[11]基于DBN和RBM介紹了一種快速學習算法來訓練深度人工神經網絡。

1.1 深度置信網絡模型

DBN由多層RBM和一層BP神經網絡構成，它的結構如圖1所示。其中，多層RBM網絡采用無監督的學習方法，而BP神經網絡采用有監督的學習方法。自底向上每一層RBM對輸入數據進行提取、抽象，盡可能保留重要信息，將最后一層RBM網絡的輸出信息作為BP神經網絡的輸入數據。由于每層RBM訓練只能使該層網絡參數達到最優，而不能使整個網絡達到最優，因此本文使用有監督的BP神經網絡將誤差反向傳播，自頂向下微調整個模型。同時，經過若干層RBM網絡優化得到的信息作為BP神經網絡的輸入數據，解決了BP神經網絡由于隨機初始值容易陷入局部最小值和收斂速度慢的問題。DBN網絡是一種深層學習模型，增加RBM網絡的層數，可以使提取的信息更抽象，網絡的精度更高。

3.3 實驗結果

下面描述DBN和SVM訓練的細節以及在三個數據集上的分類性能表現。對于LingSpam，設置k=1500，而對于SpamAssassin和Enron1設置k=1000。對于SpamAssassin，需要去掉其中的HTML標簽。三個數據集上的實驗都使用10折交叉驗證[15]。Lingspam已經被其創建者劃分為10份；對于其他兩個數據集，隨機將語料庫拆分成10份，并保證每一部分保留原有語料庫的垃圾郵件比例。

為了將DBN應用到垃圾郵件檢測，必須決定隱含層個數

以及每層隱含單元的個數的合適值。

根據已有研究，實驗選擇了比較簡單的有3個隱含層的網絡[11-12]；通過選擇不同隱含單元為網絡嘗試不同的配置，設置三個隱含層的神經元個數分別為50、50、200，每一層神經元的數量適度的變化并沒有顯著的影響結果。為了強調DBN方法對于不同架構的魯棒性，本文實驗使用相同的架構。

4 結語

通過逐層無監督的學習方法預訓練深度網絡的權值參數，解決了權值的初始化問題，提出了基于深度置信網絡的分類方法，并將其應用到垃圾郵件過濾中。實驗結果表明，深度置信網絡的分類方法在垃圾郵件過濾中有較好的表現，但是也有一些問題將在今后的工作中繼續探討，例如，如何更好地選擇深度置信網絡隱藏層數以及每層的單元個數來提高算法的性能。

參考文獻：

[1]PU C， WEBB S. Observed trends in spam construction techniques： a case study of spam evolution [C]// CEAS 2006： Proceedings of the Third Conference on Email and AntiSpam. Mountain View， California： CEAS， 2006： 104-112.

[2]PUNIKIS D， LAURUTIS R， DIRMEIKIS R. An artificial neural nets for spam Email recognition [J]. Electronics and Electrical Engineering， 2006， 69（5）： 73-76.

[3]ANDROUTSOPOULOS I， PALIOURAS G， MICHELAKIS E. Learning to filter unsolicited commercial Email [M]. Athens， Greece： "DEMOKRITOS"， National Center for Scientific Research， 2004.

【谷歌圖書查找】

[4]METSIS V， ANDROUTSOPIULOS I， PALIOURAS G. Spam filtering with naive Bayes ― which naive Bayes？ [C]// CEAS 2006： Proceedings of the Third Conference on Email and AntiSpam. Mountain View， California： CEAS， 2006： 27-28.

[5]ZHANG L， ZHU J， YAO T. An evaluation of statistical spam filtering techniques [J]. ACM Transactions on Asian Language Information Processing， 2004， 3（4）： 243-269.

[6]HOVOLD J. Naive Bayes spam filtering using wordpositionbased attributes [C]// CEAS 2005： Proceedings of the Second Conference on Email and AntiSpam. Palo Alto， CA： CEAS， 2005： 41-48.

[7]FUMERA G， PILLAI I， ROLI F. Spam filtering based on the analysis of text information embedded into images [J]. The Journal of Machine Learning Research， 2006， 7： 2699-2720.

[8]ALMEIDA T A， ALMEIDA J， YAMAKAMI A. Spam filtering： how the dimensionality reduction affects the accuracy of Naive Bayes classifiers [J]. Journal of Internet Services and Applications， 2011， 1（3）： 183-200.

[9]ALMEIDA T A， YAMAKAMI A， ALMEIDA J. Evaluation of approaches for dimensionality reduction applied with Naive Bayes antispam filters [C]// ICMLA09： Proceedings of the 2009 International Conference on Machine Learning and Applications. Piscataway： IEEE， 2009： 517-522.

[10]SUN Z， XUE L， XU M， et al. Overview of deep learning[J]. Application Research of Computers， 2012， 29（8）： 2806-2810. （孫志軍，薛磊，許明陽，等.深度學習研究綜述[J]. 計算機應用研究， 2012， 29（8）： 2806-2810.

[11]HINTON G E， OSINDERO S， TEH YW. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527-1554.

[12]BENGIO Y， LAMBLIN P， POPOVICI D， et al. Greedy layerwise training of deep networks [C]// NIPS06： Proceedings of the 2007 Twentieth Annual Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2007， 19： 153-160.

[13]BEUGES C J C. A tutorial on support vector machines for pattern recognition [J]. Data Mining and Knowledge Discovery， 1998， 2（2）： 121-167.

第2篇：神經網絡初始化方法范文

關鍵詞：小波分析；小波神經網絡；傳感器；非線性校正

中圖分類號：TN97 文獻標識碼：A文章編號：1009-3044(2007)05-11370-03

1 引言

傳感器是各類控制系統和測量系統的核心部件。其精度直接影響到整個系統的性能。大多數傳感器都容易受到環境的影響。同時，任何傳感器自身存在無法避免非線性因素。因此，在實際應用中，對傳感器進行非線性和環境影響的綜合校正是必不可少的工作。因此有大量的工作關注傳感器的修正問題。校正方法通常分為兩類。一類是硬件電路法。另一類則是為傳感器添加特殊的接口，對傳感器的非線性和環境誤差進行黑箱式的綜合逆向建模。這一類校正的傳統方法有：查表法，非線性AD編碼和BP神經網絡方法[4]。

小波神經網絡是一種建立于小波分析理論基礎之上，具有良好的多維函數逼近性能[2]，并存在高效的算法對網絡進行初始化和獲得權值[1]的新型網絡。在構建傳感器綜合修正模型中有著重要的價值。文獻[5]給出了使用小波神經網絡進行虛擬儀器非線性修正的模型，但在網絡的訓練算法中并未充分利用小波神經網絡具有的特性對網絡進行初始化和訓練，其訓練復雜度類似于BP網絡。本文采用離散二進小波框架來構造小波神經網絡，對熱電偶進行修正。并采用高效的構造算法對網絡進行初始化和權值訓練。通過數值仿真實驗，可知這種網絡收斂速度較傳統方法快，并避免了局部極值點。

2 傳感器神經網絡校正模型

假設，傳感器的系統傳輸函數可寫為：y=f(x,c1,c2,...,ck)。其中，輸入傳感器的變量為x。ck(k=1,2,...,k)為第K個環境參變量。在這里需要修正的因素存在于兩個環節。第一是當環境參量一定時，即 恒定不變的情況下，對f(x,c1,c2,...,ck)的非線性進行修正。另一因素則是傳感器輸入x一定的情況下環境參變量對f(x,c1,c2,...,ck)輸出產生的綜合影響。如果能夠找到函數f(x,c1,c2,...,ck)的接口函數

f-1(x,c1,c2,...,ck)，也就能夠實現傳感器的精確讀數。并能夠根據環境變量對采集量測量的影響調整讀數值。從而排除環境變量的干擾。一般情況下，系統的非線性是各個部分非線性綜合作用的結果，情況復雜。接口函數f-1(x,c1,c2,...,ck)往往并不存在解析表達式；考慮到神經網絡的非參數回歸（Nonparametric Estimation）能力，可以通過高精度的測量系統采集校正數據，訓練神經網絡逼近f-1(x,c1,c2,...,ck)，從而實現對傳感器的綜合校正（如圖1所示[5]）。實踐中，一般以傳感器輸出t和K個環境參量作為小波神經網絡的輸入，待測物理量y為期望輸出，對小波神經網絡進行訓練，當網絡達到要求之后，網絡推廣訓練樣例的結果即可獲得近似的傳感器接口函數f-1(x,c1,c2,...,ck)。

圖1 傳感器神經網絡校正原理

3 小波理論與小波神經網絡

小波神經網絡是建立在小波分析理論上的一種神經網絡工具。函數ψ(t)∈L2(Rd)為徑向函數，那么他的傅立葉變換 (ω)也為徑向函數。設 (ω)=η(ω)（其中η唯一單值函數）。若式（1）滿足，則函數ψ為一個小波函數。

如果函數ψ滿足（1），則函數f∈L2(Rd)的連續小波變換可定義為：

同時f(x)的逆小波變換定義為：

其中a∈R+和t∈Rd分別被稱為尺度系數和平移系數。

由于小波分解（變換）公式（2）將單變量函數f∈L2(Rd)映射到新的函數W(a,t)中，因此連續小波分解存在冗余。因此可以對其進行離散化處理而不必擔心丟失目標函數的信息。在此我們僅僅給出離散小波逆變換公式：

式（4）同時定義了隱層節點傳輸函數為小波函數，輸出層節點為線性神經元的小波神經網絡。其中wi，ai，ti作為網絡參數，取決于訓練樣本。

傳統的小波神經網絡采用BP法訓練。這一訓練算法確定尺度和平移系數ai，ti時，計算需要進行反傳，即需要計算小波函數的導數。這一過程將消耗大量的時間?？紤]到參數ai，ti計算的復雜性問題，如果能夠在構造網絡時，獲得ai，ti的固定值，僅僅對參數wi進行調整，則可以使得訓練時間大大縮短。

文獻[1]給出了固定尺度和平移參數ai，ti的小波神經網絡的一個構造方案，定義小波神經網絡為式（5），其中w0為一常數，方便逼均值不為零的函數，實際應用過程中通常先移動目標函數使其平均值靠近零，從而可以忽略掉這一常數。

構造過程分為三步。

第一步：構造小波函數ψ擴張和平移后的集合：

其中xk為訓練數據輸入。由于W為無限集，不可能完全構造?？紤]到一般的目標函數都支撐集有限，小波系數大部分是零元。因此，實際需要的小波集是有限的。于是，W的構造主要依據為目標函數的支集。計算各個參數，僅留下覆蓋在目標函數支集上的小波，去掉無用的小波。根據離散二進小波的原理，設ai為2的n∈Z次方，t為ai-n?k,k∈Zd。采用了二進方式簡化的W為：

確定n的范圍后，精簡過后的W包含的小波函數將大大減少。而參數n的范圍確定較為復雜，我們將在后面詳細討論。

第二步：通過某種機制確定小波神經網絡的隱層節點數目M。通常使用Akaike的最終預測誤差條件（FPE）[4]：

npa為回歸參數的數量。

第三步：從集合W中優化選擇出M元集合I∈W，構成網絡表達式：

其中wi為構造并初始化后的網絡節點的權值。由于W中包含的小波數量較大，相應的狀態空間無法進行全局的搜索。因此，文獻[1]給出了啟發式的選擇算法。這一算法特點在于，每一次的選擇都基于小波與目標函數的內積，即靠近程度。在選擇“靠近”的小波后，使用Gramdchmidt正交算法對剩下的小波函數進行規范正交化處理。重復這一過程，直到選擇出M個小波函數。同時，這一算法還給出了wi的初始值。

在小波集構造過程中，未能確定小波尺度函數范圍的選擇。根據小波理論，尺度參數范圍的下限應該根據目標函數所屬的多分辨空間來決定[6]。但在通常的情況下，目標函數屬于哪一個多分辨空間并不能預先知道。我們只能夠根據訓練數據的采樣情況來預估函數的多分辨空間。當尺度參數使小波函數支撐收縮到不能覆蓋兩個以上的數據采樣點時，則可認為此時的小波函數與目標函數在同一個多分辨空間，可將此時的尺度參數作為下限。同時，文獻[2]給出一種普通小波神經網絡的尺度和平移參數的初始化建議，能夠較為合理的初始化尺度和平移參數。在這里有一定的參考意義。綜合考慮上述選擇的啟發式算法，我們給出一種改進到二進小波神經網絡上的尺度函數范圍選擇方法。

考慮到所用二進小波。設所需逼近的函數區間為[a,b]，選擇最大的二進尺度的指數n為：

設訓練樣本點間隔為?駐x，則有二進小波尺度指數的最小值nmin為：

經過以上步驟對小波神經網絡（6）構造完成之后，網絡（6）已經高度逼近目標函數。如果逼近效果仍未能夠達到所需的要求，可繼續采用LMS算法對網絡繼續進行訓練。在之后的應用舉例中可以看出，小波神經網絡構造后訓練次數較普通的網絡少。在很多情況下，網絡構造完成后就已經達到了精度要求。因此，整個網絡可以在可控的時間內實現收斂。

4 網絡仿真試驗

使用所介紹的網絡對傳感器數據進行修正，并在Matlab上進行仿真。

熱電偶傳感器是一種溫度傳感器。根據比較兩端溫差產生的熱電效應對溫度進行檢測。表1給出了熱電偶傳感器的讀數表。表2為熱電偶在參考端溫度不為0℃時的修正值。

表1 鉑銠30-鉑銠6熱電偶(B型)分度表（ITS-90）

表2 B型熱電偶參考端溫度非0℃時的校正表（修正值加上所查的熱電勢）

從Matlab對應的圖（圖2）上可以看出，熱電偶在一端溫度恒定的情況下，傳感器曲線存在非線性。采用讀數修正表本質是對傳感器進行查表折線修正，在兩個精準值之間，讀數往往誤差較大。構造單輸入單輸出小波神經網絡，對表1所示曲線進行逆向建模，逼近表1函數的逆函數。設橫坐標為傳感器輸出，縱坐標為環境溫度?？傻贸瞿嫦蚝瘮档拇笾聢D像（圖3）。修正表的圖標描述見（圖4）。

同時，參考端溫度非零時需要調整讀數。將參考端溫度列為環境參量輸入系統進行校正。由于校正與測量的過程是簡單的加合過程，可采用簡化的模型[4]，即分開用兩個網絡進行建模，最終合成傳感器讀數。

修正采用單輸入但輸出的網絡結構。神經元上的小波函數采用墨西哥草帽小波。

圖4 B型熱電偶參考端溫度非0℃查表校正曲線

根據waveinfo函數提供的信息，墨西哥草帽小波的有效支撐為[-5，5]。訓練采樣點數量為19個，區間為[0，14]，由Akaike FPE標準可得，用于逆向函數建模的網絡隱層節點的數量為10。

由于函數在定義域上積分不為0。w0將會影響逼近。為了獲得良好的逼近效果。需要函數積分盡量靠近0。一個簡單的做法是先將逆函數延縱坐標下移w0。即下移到函數重心位置，本例中w0=11。移動過后，函數的積分接近于0。最終重構時，再將這一常數加入網絡。

需要注意的是，逆向函數訓練節點在定義域上步進長度不均勻。為了不丟失信息，在構造W時，以最小步長為?駐x基準構造網絡。由式（9），（10）計算，最終獲得二進小波函數集：

確定式（12）中的參數kn，使得每一個小波函數的支集與目標函數支集相交，完成對W的構造。從圖5中可看出小波函數集W包含44個小波，同時顯示了每一個小波與目標函數的相關程度。

圖5 小波函數元素與目標函數規內積示意圖

根據啟發式選擇算法經過一系列的選擇和正交歸一化，最終獲得權值集合wi。在采樣點上的回歸效果如圖6，均方誤差值為0.0022（相對誤差0.016%）。可在這一基礎上對網絡采用LMS算法進行進一步訓練，使網絡均方誤差小于10e-3。

圖6 網絡逼近效果

網絡推廣能力是一個重要的問題。重新設定傳感器輸出的電壓，從0mV到13mV均勻步長為網絡輸入。輸入網絡對數據進行驗證。最終逼近如圖7所示。

圖7 網絡推廣效果

與上述情況類似，構造環境參數修正網絡。需要注意的是，為了使得逼近效果更佳，可以對數據進行對稱延拓，根據數據表，在最左邊增加數據點：（-10，0.002），以獲得對稱訓練樣例。計算網絡節點為4時誤差達到最小化。均方誤差為：1.2499e-005（但是如果去除添加的點，余下數據逼近的均方誤差為：8.5028e-006）修正表的網絡逼近結果以及推廣效果如圖8（小于0的延拓數據需要忽略）。

圖8 修正曲線逼近及推廣效果圖

5 結論

通過以上的神經網絡仿真實驗可以看出，這種快速收斂的小波神經網絡能夠在可控的范圍內收斂到所需的最優值。并且，構造過程與問題規模大小成多項式復雜度。同時，小波神經網絡的高度非線性模型，使得這一網絡能夠應用于任何一種傳感器的非線性校正，而無需了解傳感器本身的原理?？紤]到需要進行統一尺度的小波網絡構建，本文沒有采用正交的小波神經元。理論證明，正交小波在權值的確定上有著更加高效的算法，并有著更為良好的逼近性能。有待進一步研究。

參考文獻：

[1]Q. Zhang. Using Wavelet Network in Nonparametric Estimation [J]. IEEE trans., neural networks, 1997(8),2:227-236.

[2]Q. Zhang, A. Benveniste.Wavelet Networks[J].IEEE trans., neural networks,1992(13),6:889-898.

[3]Shengtun Li,Shuching Chen.Function Approximation using Robust Wavelet Neural Networks [J]. ICTAI2002.2002:483-488.

[4]Jagdish Chandra Patra, Alex C. Kot, and Ganapati Panda. An Intelligent Pressure Sensor Using Neural Networks [J]. IEEE trans. Instrum., Meas., Vol. 49, No. 4, Aug 2000.

[5]譚超，許澤宏，李維一．基于小波神經網絡建立虛擬儀器非線性軟校正模型[J]．傳感器與儀器儀表．2005，13（1）：157-159．

[6]唐遠炎，王玲．小波分析與文本文字識別[M]．北京：科學出版社，2002．

第3篇：神經網絡初始化方法范文

關鍵詞：ZISC78；徑向基函數神經網絡（RBFNN）；實時；預報

1引言

神經網絡是近年來得到廣泛關注的一種非線性建模預報技術。它具有自組織、自學習、自適應和非線性處理、并行處理、信息分布存儲、容錯能力強等特性，對傳統方法效果欠佳的預報領域有很強的吸引力?；谏窠浘W絡的非線性信息處理方法已應用于軍事信息處理及現代武器裝備系統的各個方面，并有可能成為未來集成智能化的軍事電子信息處理系統的支撐技術。該技術在一些先進國家已部分形成了現實的戰斗力。

船舶在波浪中航行，會受到風、浪和流的影響，因而將不可避免地發生搖蕩運動。嚴重的搖蕩會使船員工作效率下降、物品損壞、軍艦的戰斗力下降。如果能夠預知未來一段時間船舶的運動情況，不僅有利于盡早采用先進控制算法控制艦載武器平臺隔離船舶運動的影響，使其始終穩定瞄準目標，而且還可獲得未來一個海浪周期內的船舶運動情況，以研究船載武器上層的控制策略，從而提高火力密度，因此，有必要研究在海浪中具有一定精度的海浪中船舶運動的短期預報。此外，如能有效準確地預報船舶的橫搖運動，對于提高船舶的耐波性和適航性也有重要意義。

國內外學者也將神經網絡用于船舶運動預報研究，但往往沒有考慮實時性等實現問題，因而不能實用化。神經網絡實現技術是神經網絡研究的一個重要方面。神經網絡實現可分為全硬件實現和軟件實現兩種。目前神經網絡的實現還主要以軟件模擬為主，由于現行的馮諾曼計算機體系結構不能實現并行計算，因而神經網絡軟件的實時應用還受到一定限制。

目前，一些著名集成電路制造公司如Intel、Mo-torola、松下、日立、富士通等均已推出自己的模擬或數字神經網絡芯片，這些芯片無論在網絡規模還是運行速度上都已接近實用化的程度，因而給神經網絡應用的發展以極大的推動。由于艦載武器系統，需選用具有在片學習功能的神經網絡芯片，即將網絡訓練所需的反饋電路及權值存儲、計算和修正電路都集成在了一個芯片，因而可實現全硬件的、具有自學習能力的神經網絡系統，也可以說，這是一種具有自適應能力的神經網絡。

2ZISC78的功能及工作原理

ZISC78是由IBM公司和Sillicon聯合研制的一種低成本、在線學習、33MHz主頻、CMOS型100腳LQFP封裝的VLSI芯片，圖1所示是ZISC78的引腳排列圖。ZISC78的特點如下：

內含78個神經元；

采用并行結構，運行速度與神經元數量無關；

支持RBF／KNN算法；

內部可分為若干獨立子網絡；

采用鏈連接，擴展不受限制；

具有64字節寬度向量；

L1或LSUP范數可用于距離計算；

具有同步／異步工作模式。

2．1ZISC78神經元結構

ZISC78采用的神經元結構如圖2所示，該神經元有以下幾種狀態：

(1)休眠狀態：神經網絡初始化時，通常處于這種狀態。

(2)準備學習狀態：任何時侯，神經網絡中的神經元都處于這種狀態。

(3)委托狀態：一個包含有原型和類型的神經元處于委托狀態。

(4)激活狀態：一個處于委托狀態的神經元，通過評估，其輸入矢量處于其影響域時，神經元就被激活而處于激活狀態。

(5)退化狀態：當一個神經元的原型處于其它神經元類型空間內，而大部分被其他神經元類型空間重疊時，這個神經元被宣布處于退化狀態。

2．2ZISC78神經網絡結構

從圖3所示的ZISC78神經網絡結構可以看出，所有神經元均通過“片內通信總線”進行通信，以實現網絡內所有神經元的“真正”并行操作?！捌瑑韧ㄐ趴偩€”允許若干個ZISC78芯片進行連接以擴大神經網絡的規模，而這種操作不影響網絡性能。

ZISC78片內有6bit地址總線和16bit數據總線，其中數據總線用于傳輸矢量數據、矢量類型、距離值和其它數據。

2．3ZISC78的寄存器組

ZISC78使用兩種寄存器：全局寄存器和神經元寄存器。全局寄存器用于存儲與所有神經元有關的信息，每片僅有一組全局寄存器。全局寄存器組中的信息可被傳送到所有處于準備學習狀態和委托狀態的神經元。神經元寄存器用于存儲所屬神經元的信息，該信息在訓練學習操作中寫入，在識別操作中讀出。

2．4ZISC78的操作

ZISC78的操作包括初始化、矢量數據傳播、識別和分類等三部分。

初始化包括復位過程和清除過程。

矢量數據傳播包括矢量數據輸入過程和神經元距離計算過程。神經元距離就是輸入矢量和神經元中存儲的原型之間的范數。通?？蛇xL1范數或Lsup范數：

其中，Xi為輸入矢量數據，Xs為存貯的原型數據。

對于識別和分類，ZISC78提供有兩種可選擇的學習算法RBF和KNN。其中RBF是典型的徑向基函數神經網絡。在該RBF模式下，可輸出識別、不確定或不認識的狀態；KNN模式是RBF模式的限制形式，即在KNN模式下，新原型的影響域總被設為1，輸出的是輸入向量和存儲原型之間的距離。需要指出的是，ZISC78具有自動增加或減小神經元個數以適應輸入信號的分類和識別功能，神經元個數的最大值和最小值在全局寄存器組中設定。

2．5ZISC78的組網

一個ZISC78芯片內可以通過寄存器操作定義若干個獨立的網絡。若干個ZISC78芯片通過層疊可以組成一個更大的神經網絡，組網芯片數量沒有限制，小于10個ZISC78組網時，甚至連電源中繼器件也不需要。所以，ZISC78具有最大的靈活性，能夠滿足不同的需要。

3仿真實例

為了驗證ZISC78用于船舶運動實時預報的精度，本文對徑向基函數神經網絡預報進行了仿真，圖4給出了基于徑向基函數神經網絡和船舶運動慣導實測信號預報的0．3秒（15步）誤差曲線圖。

通過以慣導實測數據ZHX＿lg．dat為例預報0．3秒（15步）以后的船舶運動，作者運用相空間重構理論已經判斷出本數據為非線性信號。

該仿真的最大預報誤差方差為6．4666e－004，該數據可以滿足戰技指標。

第4篇：神經網絡初始化方法范文

為降低神經網絡的冗余連接及不必要的計算代價，將量子免疫克隆算法應用于神經網絡的優化過程，通過產生具有稀疏度的權值來優化神經網絡結構。算法能夠有效刪除神經網絡中的冗余連接和隱層節點，并同時提高神經網絡的學習效率、函數逼近精度和泛化能力。該算法已應用于秦始皇帝陵博物院野外文物安防系統。經實際檢驗，算法提高了目標分類概率，降低了誤報率。

關鍵詞：神經網絡；量子免疫克隆算法；目標分類；冗余連接；網絡優化

中圖分類號： TP273

文獻標志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經網絡已經被廣泛地應用于模式分類、函數逼近、信號預測等各種領域，是近年來的研究熱點之一[1-2]。在應用過程中，研究人員發現，當神經網絡的規模過大會產生連接數量冗余大、計算代價過高的問題，降低了大規模神經網絡的實用性。針對此問題，研究人員提出了多種方法在保持神經網絡的前提下優化神經網絡的結構和參數權值。Leung等[3-4]改進了傳統的遺傳算法（Genetic Algorithm， GA）并將其應用于神經網絡的結構和權值優化過程，利用遺傳算法的快速收斂性來提高神經網絡的學習速度，其缺點在于當目標函數維數過大時容易陷入局部最優。Xiao等[5]使用混合優點（Hybrid Good Point， HGP）優化前向神經網絡的參數和結構，避免權值陷入局部最優，但其對網絡結構的優化沒有達到最優。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優點來同時優化神經網絡結構和參數，其算法收斂速度快、魯棒性好，缺點則在于計算代價較大。杜文莉等[7]提出了使用量子差分進化（Cooperative Quantum Differential Evolution， CQGADE）算法來優化神經網絡權值，使用量子遺傳算法優化網絡結構和隱層節點數，算法綜合了量子遺傳算法和量子差分算法的優點，收斂速度快，但其缺點在于需要同時協同兩種算法的優化結果，算法復雜度較高，且容易陷入局部最優。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統的GA與Taguchi方法結合起來，使得算法具有魯棒性好、收斂性快等優點，但其缺點在于獲得最優解的計算代價較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機制和免疫算法克隆選擇原理相結合，利用量子編碼的疊加性和隨機性構造抗體，利用遺傳算法的克隆操作產生原始種群和克隆子群實現種群擴張，使搜索空間擴大，提高了局部搜索能力；同時借助全干擾交叉操作避免陷入局部最優。QICA采用了多狀態量子比特編碼方式和通用的量子旋轉門操作， 引入動態調整旋轉角機制和量子交叉[11]。QICA在組合優化問題中具有良好的表現。

針對上述問題，提出了使用量子克隆免疫算法對神經網絡的結構和連接權值同時進行優化，通過產生具有一定稀疏度的連接權值對網絡隱層數量和連接權值進行優化，提高了算法的效率和收斂速度，避免了算法陷入局部最優。

1 帶開關權值的神經網絡模型

在經典的神經網絡理論中，網絡結構在初始化后便不再變動，僅通過權值的變化來計算產生結果，這種算法增加了神經網絡的結構復雜性，在實際應用中增加了計算結果的代價。Leung等[3-4]提出了帶開關權值的神經網絡，通過調整開關的通斷就能調整神經網絡的結構和連接數量，從而減少計算代價。帶開關權值的神經網絡模型如圖1所示[7]。

2.2 權值計算及優化方法

根據量子克隆免疫理論，將神經網絡權值計算及優化過程分為以下四個過程。

2.2.1 權值抗體初始化

量子克隆免疫算法是基于量子計算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個抗體中的量子位的狀態是不確定的，可以為0或1，其狀態表示為式（5）：

3.1 算法復雜度分析

量子克隆免疫算法的實質是通過量子理論的隨機特性提供豐富的種群數量，并通過使用遺傳算法對種群進行淘汰和進化，因此其算法的復雜度等于種群生成算法的復雜度：假設神經網絡有x個輸入，其隱層節點數量為N，輸出為y，則網絡中的輸入與隱層節點間的連接權值ω的數量為：x*N，隱層節點與輸出層的連接權值v的數量為：N*y。種群生成需要對所有節點進行權值初始化，并將隨機位置的n（nN）個節點的權值設置為0， 其算法復雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過程中使用遺傳算法，因此其算法的復雜度與傳統遺傳算法相同，其算法復雜度也為O（n2）。因此，使用量子免疫克隆的神經網絡優化算法的復雜度為O（n2）。

3.2 非線性函數逼近

選取復雜交互非線性函數（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓練，其余200組用于檢測性能。神經網絡的初始隱層神經元設置為20個，初始網絡結構為：2-20-1，初始連接權值為隨機值。在此條件下驗證不同稀疏度條件下對CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經網絡的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因為神經網絡中的連接權值數量降低，造成神經網絡的適應性差。具體逼近效果見表2。

從表2中可以看出，隱層節點數量直接影響著神經網絡的性能。高稀疏度條件下的計算量大，但逼近精度高；低稀疏度條件下的計算量小，但逼近精度較差。實驗表明當稀疏度大于0.6時，算法的逼近精度高于90%，優化后的網絡具有較好的非線性逼近能力。當神經網絡隱層節點數量低于12時逼近精度大幅下降，說明此時神經網絡處理信息的能力也隨之大幅減弱，隱層節點的最合適的數量為12～14個，這也符合文獻[14]的實驗結果。

圖4為不同稀疏度下，算法適應度的收斂情況。可以看出量子克隆免疫算法具有很好的收斂特性，算法收斂速度很快，能夠在很短的進化次數內收斂至極值，且稀疏度越低，神經網絡的連接權值數量越少，算法收斂速度越低，最優適應度越差。

表3為相同條件下，不同算法的最優計算結果，包括目標分類的準確度、隱藏層節點數量等?？梢钥闯觯斚∈瓒雀哂?.8時，本文算法收斂性和適應度均優于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說明算法具有很好的收斂速度、尋優精度和魯棒性。

3.3 微地震信號目標分類

實驗場地選擇在秦始皇兵馬俑博物館內K9901號坑旁。所有傳感器節點沿公路一側直線部署，距離公路1m左右?？赡墚a生地震波的活動物體包括人員行走、機動車和挖掘活動。將采集到的微地震信號進行濾波、分幀、特征提取等處理后輸入至神經網絡進行模式識別。

系統對傳感器采集到的數據進行分幀，并使用功率譜二次分析[17]算法對其進行處理，最后將經過預處理的數據輸入至神經網絡對其進行分類。根據其活動特點，將輸出目標分為三類：人員活動、挖掘活動以及機動車輛活動。傳感器采集到的三類活動的經典波形如圖5所示。

表6中給出了算法的最優計算結果，包括不同稀疏度條件下神經網絡的隱藏層節點數量、最優適應度以及分類準確率等。可以看出，算法能夠有效減少冗余的隱藏層節點數量，并降低節點連接數量。算法的稀疏度越高，其適應度越好，其分類的準確性越好，但稀疏度高帶來的則是計算代價增大、計算復雜度增加。當稀疏度低于0.7時，算法的適應度變差，目標的識別率為90%，在實際應用過程中帶來了誤判率較高的問題，降低了實用性。因此在秦始皇帝陵博物院野外文物安防系統中使用了稀疏度為0.7的算法對模式識別的神經網絡進行優化。

4 結語

本文提出了基于量子免疫克隆算法的神經網絡優化算法，該算法在訓練神經網絡優化權值的同時刪除了冗余連接和多余的隱層節點，實現了神經網絡結構和網絡權值的優化。通過經典非線性函數逼近和目標識別檢驗，算法能夠有效地優化神經網絡，提高神經網絡的優化效率，減少計算復雜度。使用優化后的神經網絡已經用于秦始皇帝陵博物院野外文物安防系統中。

參考文獻：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學習向量量化神經網絡的軟件可靠性預測[J].計算機應用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經網絡模型的確定性預測及應用[J].計算機應用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進化算法的神經網絡優化方法[J].清華大學學報：自然科學版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢峰.改進量子遺傳算法及其應用[J].計算機應用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進的量子遺傳算法及其在測試數據生成中的應用[J].計算機應用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強度的RBF神經網絡結構設計研究[J].自動化學報， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協同PSO算法的模糊辨識與神經網絡學習[D].上海：上海交通大學，2008.）

第5篇：神經網絡初始化方法范文

關鍵詞：BP神經網絡 硬盤播出系統 電平診斷 人工神經網絡

中圖分類號：TN948.4 文獻標識碼：A 文章編號：1007-9416(2012)07-0070-04

Application And Implementation of Level Diagnosis In Hard Disk Broadcasting System Based on BP Neural Network

Zeng Qiwei

(Television Station of Nan’an District, Chongqing, 400060, China)

Abstract：In this paper the diagnosis classification problems for hard disk broadcasting system are solved using BP（Back Propagation）neural network on MATLAB condition. First, based on BP neural network, a fault diagnosis model is proposed. Second, the realization principle of level diagnosis is analyzed based on set structure. Finally, the method for solving the level diagnosis with BP neural network is investigated. In conclusion: not only the simulation effect is obviously for the solution of level diagnosis problems on MATLAB condition based on BP neural network, but also facilitates the engineering technology application.

Key Words：BP neural network hard disk broadcasting system; level diagnosis artificial neural network

硬盤播出系統是電視播出單位技術核心，其中又以電平值為重要的參數指標。系統的信息處理能力關系著視音頻質量的好壞，電平診斷方法是解決此問題的關鍵。電平診斷的目的是監測系統各重要結點的輸入輸出電平值，以該值作為參考判斷故障結點環節。正是由于電平診斷的必要性，許多致力于電平診斷的方法應運而生。隨著計算智能的興起，出現了一些有著模擬計算、全局分布、并行處理等的新技術，基于聯結主義(connectionism)的人工神經網絡就是這樣一種技術，它具有良好的自組織性和自適應性，具備處理各類非線性系統的數值分析功能。基于人工神經網絡的電平診斷的核心是模式識別與分類，人工神經網絡能根據自身結構特性對電平值作分類處理，使其與參考故障類對比，從而得出診斷結果。BP神經網絡是一種重要的人工神經網絡模型，它是一種多層前向反饋神經網絡，其權值的調整采用反向傳播的學習算法，它可實現從輸入到輸出的任意的非線性映射，已被廣泛應用在模式識別與分類領域。

1、BP神經網絡的工作原理

1.1 BP神經元特性

用表示第i個輸入信號，表示第i個輸入信號到神經元之間的權值或簡稱權。由生物神經元在軸突上產生興奮或抑制脈沖響應的特性使人工神經元對輸入信號與權值進行向量相乘，得出總該神經元的網絡輸入：

1.2 激活函數的選擇

激活函數主要有線性函數、非線性斜面函數、閥值函數和Logistic函數等。由于電平診斷的結果是一組二進制組合，所以，BP神經網絡的隱藏層激活函數采用logistic函數，而輸出層激活函數采用線性函數。

Logistic函數的一種簡單公式為：

線性函數為：

式中，a,b為常數。a代表放大指數，b代表偏移量。

1.3 實現電平診斷的BP神經網絡模型與算法

1.3.1 BP神經網絡模型

為實現電平值的輸入與期望輸出值的并行處理，BP神經網絡采用層次結構模型。該模型是兩層神經網絡，其中一層為隱藏層，一層為輸出層（圖1）。

設輸入向量為：

經過變換后的輸出向量為：

設該BP神經網絡的期望輸出向量為Y，則輸入樣本集為{ (X,Y) | X為輸入向量，Y為X 對應的期望輸出向量}

1.3.2 BP神經網絡學習算法

BP神經網絡算法步驟如下：

(1)用不同的小偽隨機數初始化輸出層和隱藏層的權值；

(2)初始化精度控制參數ε，學習率α；

(3)循環控制參數E=ε+1；

循環最大次數M；

循環次數控制參數N=0；

(4)while E>ε and N

N=N+1;E=0;

第6篇：神經網絡初始化方法范文

關鍵詞：粒子群；神經網絡；私家車保有量；權值和閾值

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2011)19-4676-03

Total Number of Private Cars Prediction Based on Entropy-based PSOBP Neural Network

YANG Hua, ZHOU Rui

(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)

Abstract: In order to solve the existing problems such as the initial weights and threshold-sensitive, easily falling into local minima and slow convergence in the total number prediction of private cars by using BP neural network, this paper proposes the use of entropy-based particle swarm optimization algorithm BP neural network model. And we will use the model to predict the amount of private cars study and compare its results with the traditional BP algorithm and simulated annealing method. The results show that the new model is effective to prevent the network may fall into local minima and significantly improve the speed and accuracy of neural network model.

Key words: particle swarm; neural network; private car ownership; weights and threshold value; entropy; simulated annealing

據統計，截止到2008年底，我國的私家車量約為3501萬輛，占全國汽車保有量的60%以上。私家車數量的增多給我國帶來了環境污染和能源短缺等多種問題，私家車保有量的預測已經成為當下研究的一個重要問題。影響私家車保有量主要因素有：人均國內生產總值，全社會消費品零售總額，全社會固定資產投資總額， 運營公交車輛數，公交營運總數，公交車營運總里程，道路總長，居民人均可支配收入，居民儲蓄款余額，汽油(93號)年均價等。不難看出，影響私家車保有量的因素較多，而且各影響因素隨年份的變化而變化，各因素與私家車保有量之間存在非線性關系。因此，該文以1996年到2008年的私家車保有量數據的基礎上，將利用基于熵值法的PSOBP神經網絡算法對私家車保有量進行預測，仿真結果證明該模型具有較好的效果。

1 背景概述

當下，常用的預測的方法有[1]：時間序列法、相關分析法、回歸分析法、專家系統預測法等。相對傳統的預測方法，人工神經網絡[2]因其具有大規模分布式處理、非線性、自組織、自學習、聯想記憶等優良特性，是目前進行預測的較為先進的手段。但是,單純的神經網絡有許多缺陷,如訓練速度慢、易陷入局部極小點等。

粒子群優化算法(Particle Swarm Optimization，PSO)最早于1995 年由Kenney與 Eberhart[3]提出，該算法源于對鳥群捕食的模擬逐漸演化而來的隨機化搜索方法。該算法利用種群中的個體對信息的共享，自適應地調整搜索方向，具有局尋優能力，且流程簡單實現、無需復雜的調整。針對BP神經網絡存在收斂速度慢和易陷入局部極小值等缺陷，該文利用PSO的上述特點，提出一種基于PSO的BP網絡預測方法。該方法的思想為：利用PSO訓練BP網絡的權值和閾值，綜合BP神經網絡可以在大量的數據中提取規律和PSO全局搜索的優點對私家車保有量進行預測。

2 模型的建立及計算過程

2.1 模型輸入變量的選取

該文使用的私家車保有量的數據為1996年到2008年的數據(數據均來自中國統計年鑒)。由于影響私家車保有量的因素很多，但其中的一些因素對于預測來說并不能起到關鍵的作用，所以該文先利用熵值法[4]來確定各個影響因素的權重，以確定主要的影響因素。

在信息論中，熵是對不確定性的一種度量。信息量越大，不確定性就越小，熵也就越小；信息量越小，不確定性越大，熵也越大。根據熵的特性，我們可以通過計算熵值來判斷一個事件的隨機性及無序程度，也可以用熵值來判斷某個指標的離散程度，指標的離散程度越大，該指標對綜合評價的影響越大。

熵值法確定權重的步驟如下：

1) 按照公式1計算第j項指標下第i年私人汽車保有量占該指標的比重：

(1)

2) 第j項指標的熵值可由公式2得出

(2)

3) 計算第j項指標的差異系數。對于第j項指標，指標Xij的差異越大，對私人汽車保有量的作用也就越大，熵值就越小。以公式3來定義差異系數：

(3)

4) 按公式4求權重

(4)

于是可以得到各個指標的權重，如表1所示。

從表1中可以得到影響私家車保有量的各因素的影響程度，以權重=0.1為臨界條件來選擇影響私人汽車保有量的主要因素為：居民儲蓄款余額、全社會消費品零售總額、公交車營運總里程、道路總長。

2.2 PSO算法原理

在PSO算法中，優化問題的每個解都是搜索空間中的 “粒子”，粒子的位置代表問題的潛在解，每個粒子都有一個適應值和一個速度，其中適應值決定被優化函數，速度決定粒子運動的方向和距離。即算法初始化為一群隨機解，通過迭代尋優來更新自己。更新的過程中需要跟蹤兩個極值，分別是粒子本身所找到的最優解pbest和整個種群目前找到的最優解gbest。粒子根據以公式(5)和(6)更新自己的速度和位置：

(5)

(6)

式中d=1,2, …,n; i=1,2, …,m，m，n為搜索空間維數，m為種群粒子數；t為當前進化代數，w為慣性權重，r1，r2 為分布于[0，1]之間的隨機數；c1，c2為粒子的加速常數，稱為學習因子。此外，為使粒子速度不致過大，可設定速度上限Vmax，即當式5中Vid>Vmax時，取Vid=Vmax，當Vid

2.3 PSOBP模型的核心思想

研究表明對BP模型的初始權閾值先采用一定的策略進行優化，然后再采用BP算法進行二次優化確定最終權閾值可以提高模型的運行效率[5]。因此，該文將粒子群優化算法與BP算法融合，利用粒子群算法尋找模型的初始權值與閾值，然后再采用改進的算法得到模型最終的權值與閾值，并利用此值進行預測。這樣構造的模型可以克服單純BP神經網絡學習穩定性差、可靠性低與易陷入局部極小等缺點。

2.4 參數選擇及計算

PSO-BP算法模型對汽車保有量進行預測的步驟如下：

1) 確定粒子群規模，即粒子的個數m和維度n。粒子個數m=30。設模型結構為 M-N-1，其中，M為輸入結點數，N為隱層結點數，1為輸出結點數。

2) 設置慣性權重w的值。慣性權重的值比較重要，它會影響到粒子的全局搜索和局部搜索的能力。該文采用線性遞減權值策略[6]，如式(7)所示，它能使w由wini隨迭代次數線性遞減到wend。

W(t)=(wini-wend) ×(Tmax-t)/Tmax+wend (7)

式中，Tmax―最大進化代數，t―當前進化代數。wini―初始慣性的權值，wend―迭代至最大代數時的慣性的權值。其中wini =0.7，wend =0.3，Tmax =250。

3) 設置學習因子c1與c2的值。c1和c2分別代表將每個粒子推向pbest和gbest位置的統計加速項的權重，它們可以用來調整粒子自身經驗和社會群體經驗。 c1和c2是固定常數，該文中取c1= c2= 2。

4) 確定適應度函數。該文選擇的粒子適應度函數為：

(8)

式中：N―訓練的樣本數，y(ireal)―第i個樣本的期望值，yi―第i個樣本輸出值。算法迭代停止時適應度最低的粒子對應的位置為問題所求的最優解。

5) 初始化速度與位置。BP神經網絡的權值與閾值一般初始化為[-1,1]之間的隨機值， 故可將粒子群中每個粒子位置的參數取為[-1,1]之間的隨機值。

6) 計算適應度。根據公式(8)計算適應度。

7) 更新極值與速度。將種群當前的個體適應度值與迭代前的個體適應度值相比較， 若當前值更優，則替代迭代前的值，并保存當前位置為pbest，否則不做改變。同樣，對于gbest來說，若當前適應度值比歷史全局最優適應度值更優，則當前適應度值為最優，并保存當前位置為gbest。對于粒子的速度可以根據pbest與gbest的值，利用公式9[7]進行速度更新，其中r3是[0,1]之間的隨機數。

(9)

8) 更新解。根據步驟7得到的極值與速度調整BP神經網絡的權值與閾值即可對解進行更新。

此時，若訓練誤差達到期望誤差(取為0.001)或迭代次數達到最大(250代)且滿足相應的條件，則得到的對應值即為最優解，否則，返回步驟7繼續迭代。將最優解代入BP神經網絡模型中進行二次訓練，形成改進的私家車保有量預測模型。

3 實驗結果分析

3.1 數據來源及預處理

根據上述的熵值法分析后，BP神經網絡的4個輸入變量分別為：居民儲蓄款余額、全社會消費品零售總額、公交車營運總里程、道路總長。將原始數據利用式10進行歸一化[8]：

(10)

得到如表2的歸一化后的10組樣本數據。

3.2 預測結果的分析

將表2中的10組數據作為學習樣本來訓練網絡，輸出為私家車的保有量。該預測算法采用單隱層BP神經網絡。輸入樣本為4維向量，因此可確定輸入層有4個神經元。輸出數據只有一個，所以輸出層只有1個神經元。經過多次試驗，得到隱含層節點數為9個。即神經網絡的結構為4-9-1。

通過使用Matlab神經網絡工具箱進行預測[9]，將PSOBP算法和傳統BP算法以及模擬退火方法做比較,該文的基于熵值法的粒子群優化的神經網絡的運行時間為27.785s，訓練次數、時間較之于傳統BP算法和模擬退火法有所減少(見表3) 。圖1的結果也表明PSOBP算法的預測精度優于傳統的BP算法和模擬退火法。除此之外還將PSO-BP算法和傳統BP算法以及模擬退火方法三種算法對于2005-2008年的私家車保有量預測值繪制成表(表4)，相對誤差和平均誤差數據清晰可見。由此可知，粒子群算法與BP算法相合是十分有效的算法，其在一定程度上提升了傳統BP神經網絡的預測精度，且準確度明顯高于模擬退火法和傳統BP神經網絡算法。

4 結論

該文提出了一種基于熵值法的利用PSO優化的BP神經網絡的預測方法并應用于私家車保有量的預測當中。實驗測試結果表明新的預測方法對于私家車保有量的預測有更好的效果，對建立其他相關問題的預測模型有一定的參考價值。

參考文獻：

[1] 楊居義.基于BP神經網絡的地震預測研究[J].微電子學與計算機,2008,25(10):129-133.

[2] 羅曉曙.人工神經網絡理論[M].桂林:廣西師范大學出版社,2005:31-32.

[3] Eberhart R C, Kennedy J. A new optimizer using particles swarm theory[C]. //Proceeding of the Sixth International Symposium on Micro Machine and Human Science. Nagoya, Japan: IEEE Service Center, Piscataway, 1995: 39-43.

[4] 邱菀華.管理決策與應用熵學.[M].北京.機械工業出版社,2002:276-282

[5] 岳琳,張宏偉,王亮.粒子群優化算法在城市需水量預測中的應用[J].天津大學學報,2007,40(6):742-746.

[6] Shi Y H, Eberhart R C. A Modified Particle Swarm Optimizer[C].In: IEEE International conference of Evolutionary Computation, Anchorage, Alaska, 1998: 69-73.

[7] 曹紅珍,胡亮.具有隨機附加項的PSO改進算法[J]. 計算機工程與設計,2007,28(5):2245-2247.

[8] 周開利,康耀紅.神經網絡模型及其 MATLAB仿真程序設計[M].北京:清華大學出版社,2005.

第7篇：神經網絡初始化方法范文

BP神經網絡基于誤差反向傳播算法的多層前向神經網絡。其中BP網絡是目前應用最為廣泛的神經網絡模型之一。網絡隱節點過多會導致算法存在過擬合現象，影響了網絡的泛化能力，使得網絡最終失去實用價值。在滿足精度的要求下，逼近函數的階數越少越好，低階逼近可以有效防止"過擬合"現象。在實際應用中，還沒有成熟的方法確定網絡的隱節點，隱節點的確定基本上依賴經驗，主要式采用遞增或遞減的試探方法來確定網絡隱節點[1]。

2 遺傳算法

遺傳算法是自然淘汰、遺傳選擇的生物進化過程的計算模型，它是基于自然遺傳、選擇變異等生物機制的全局概率搜索算法。其應用優勢在于處理傳統搜索方法難于解決的復雜和非線性問題，包含問題編碼、初始化群。

3 基于遺傳算法的神經網絡訓練方法（GA-BP）

遺傳算法優化神經網絡的思路：改變BP算法依賴梯度信息來調整網絡權值的方法，利用遺傳算法全局性搜索的特點，尋找最佳網絡連接權和網絡結構，遺傳算法在進化過程中能以較大概率搜索到全局最優解存在的區域，在遺傳算法搜索到最優解附近之后，再采用訓練樣本優選最好的網絡連接權系數及網絡結構。

遺傳-神經網絡模型：

GA-BP算法的步驟：

3.2遺傳算法是以目標函數最大值為適應度函數，函數為：

3.3基本解空間編碼 遺傳算法優化網絡結構需對隱含層編碼。編碼的碼串由控制碼和權重系數碼組成。控制碼控制隱節點個數，由0-1組成的串，其中0表示無連接，1表示有連接。權重系數用浮點數編碼。按一定的順序組成一個長串，每個串對應一組解。

3.4初始群體由P個個體組成，每個個體由兩個部分組成，第1部分是串長為l1 的0-1串；第2部分是區間[umin-δ1，umax+δ2 上的l2個均勻分布隨機數。

3.5由控制碼得到網絡的隱節點數，由權重系數碼可以知道網絡的連接權值，輸入用于訓練樣本，按照式（2）計算個體適應度。

3.6保留群體中適應度最高的個體，不參與交叉和變異運算，直接將其復制到下一代。 對其它個體，按歸一化適應度大小為概率進行選擇，進行遺傳操作。當某個神經元被變異運算刪除時，相應的有關權重系數編碼被置為0，而當變異運算增加某個神經元時，則隨機初始化有關權重系數編碼。以Pc的概率對選擇后的個體的Wij神經元權值進行交叉算子如下：

3.7將新個體放到種群P中，沒有交叉、變異操作的個體直接生成新一代群體。反復4～8，每次群體就進化一代，連續進化到K代。把最終個體解碼得到相應解，ANN誤差平方和不合要求εGA則轉4，繼續遺傳操作，反復進行如果N次依然不能達到要求則訓練失敗。以GA遺傳出的優化初值作為初始權值，BP算法繼續訓練網絡，直到給定精度εBP（εBP<εGA）或迭代次數，最終個體解碼即得到網絡連接權及隱節點數。

4 遺傳算法的神經網絡對心電圖的自動識別

心電圖在診斷心血管疾病等臨床醫學領域得到了大量應用，近年來，基于心電圖的穩定性和唯一性，易于采集，不能復制和仿造等優勢，其在身份識別領域也具有廣泛的應用前景。

將測量電極放置在心臟或人體表面的一定部位，用心電圖機記錄出來的心臟電變化的連續曲線，即為心電圖。將立體的P、QRS、T環經過投影到額面、水平面和右側面上，臨床上用心向量圖表示；此即空間心電向量環的第一次投影。將額面心向量環的每一點依次再投影到各肢體導聯軸上，可記錄出各肢體導聯的心電圖；橫面心向量環在各胸導聯軸上的投影，可描記出各胸導聯的心電圖。此即心向量環的第二次投影。

4.1波形數據預處理 ①首先對心電信號進行高頻濾波處理。由于數據是通過FRANK導聯七電極采集的，所以心電信號必然夾雜有電極的50Hz交流干擾、肌電干擾等。需要對心電信號進行50Hz高頻濾波處理，以去除工頻和肌電干擾，可以采用多點平均值法進行濾波；②其次需要對心電圖作基線漂移處理。心電信號的漂移主要有放大器零點漂移和呼吸交流漂移。放大器零點漂移體現在基線偏離原點上下移動，交流漂移表面為基線傾斜。

4.2波形識別 由于心電向量圖是由各面心電圖的各波起止點間的所有點組成的，所以繪制向量圖前必須先將心電圖的各波的起止點確定下來，這就是波形識別。主要是對選擇的典型波形，識別出P波、QRS波、T波等各波段的特征點即峰點、起止點等。

4.3 QRS波群識別 QRS波群識別方法目前主要有閉值法、輪廓限制法、面積法、數字濾波法和傾斜法，該系統采用閉值法。這種方法通過對正交三導聯同時記錄的X、Y、Z心電信號進行空間向量模的運算，計算其空間向量長度，以最大空間向量長度作為閉值K，以K作為識別QRS波的依據。然后在K值前后一定時間內（30～80ms），對各點心電向量模值進行測量。如果連續若干點的模值相同，K前相同模值的第一個起點作為X、Y、Z三導聯公共起點和K后最遠點作為公共終點。再根據公共起點、終點范圍、檢測X、Y、Z導聯中的QRS波的峰點和谷點的時間和幅度。

4.4 T波檢測 T波比QRS波小，識別方法與QRS波有所不同。T波的識別方法在識別QRS波群基礎上，規定在K值后一定時間（100ms）左右，尋找空間向量的最大值做為T波闡值Ko.以Ko值做為識別T波的依據。T波檢測也用面積增量法，可直接或間接檢測出T波峰值，T波始、終點及寬度。S-T段上升與下降程度采用傳統的J+X法判別標準，J+X法中的J點是S點之后的第一個拐點，ST段被確定在J+X ms的心電信號部分，X的典型值為80ms，一般認為X在20～120ms范圍中。ST段水平根據基線可以計算出其絕對值，或可表示為相對于R波峰值的歸一化值。

4.5 P波檢測 P波的識別方法與T波類似，只是搜 尋區間和聞值規定不同。P波檢測是房室傳導阻滯，P-R間隔檢測的主要參數。但其幅度過小，實時檢測十分困難。因此目前采用的方法主要是面積增量法。

4.6心電圖的識別 本文收集了房室傳導阻滯、S-T段下降、S-T段抬高、T波低平、T波倒置、正常竇律、正常七類心電圖。提取其診斷特征值，將其輸入神經網絡進行訓練，識別正確率可達到96%[5-10]。

5 結束語

心電圖的識別分析，是一項籠瑣而又細致的工作。心電圖自動診斷可以將醫務人員從煩瑣的圖形識別中解脫出來，提高工作效率。本文采用遺傳算法優化三層BP神經網絡的連接權和網絡結構克服BP神經網絡的瓶頸，有效提高神經網絡泛化性能，并將其應用于心電圖自動識別，得到了較高的識別率。

第8篇：神經網絡初始化方法范文

關鍵詞：人臉朝向識別 學習向量量化 神經網絡 特征向量提取

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2016）05-0000-00

Abstract： Aiming at the low accuracy disadvantage of traditional facial orientation recognition algorithm， the paper employs the recognition method based on the Learning Vector Quantization neural network. By means of extracting the feature vector of eyes positions in the face images and studying the different facial image samples， the paper optimizes the weighting parameters of the LVQ neural network， which achieves good recognition result. The simulation results indicates that the facial orientation recognition based on the learning vector quantization neural network is feasible and effective， and the correct recognition rate can reach more than 95%. Besides， the paper ultimately proofs the accuracy and the validity of the learning vector quantization neural network is better than the Back-Propagation neural network.

Key Words： Facial orientation recognition， Learning vector quantization， Neural network，Feature vector extraction

人臉識別作為一個復雜的模式識別問題，是生物特征識別領域最困難的研究課題之一，其目的是從圖像中剔除背景、提取人臉區域。人臉識別系統主要包括圖像數據庫采集、人臉圖像預處理、人臉特征建模及識別匹配。計算機技術的告訴發展使人臉圖像在人機交互中發揮著越來越重要的作用，由于實際應用中，人臉外形的不穩定性以及光照條件的多樣性使人臉視覺圖像在位置、朝向以及旋轉角度等方面產生巨大的差異，因此對人臉進行準確識別變得異常困難。

學習向量量化（LVQ）神經網絡是一種用于訓練競爭層的有監督學習方法的輸入前向神經網絡，其算法是從Kohonen競爭算法演化而來的[1]。與其他模式識別和映射方法相比，它的優勢在于網絡結構簡單，并且不需要對輸入向量進行歸一化、正交化處理，只通過計算輸入向量與競爭層之間的距離，從而完成復雜的分類處理[2]。當人臉朝向與旋轉角度不同時，眼睛局部特征與人臉圖像的幾何關系有較強的可區分性，因此提取人眼位置信息的特征向量并獲得有助于人臉朝向分類的特征數據，將該特征信息作為LVQ神經網絡的輸入，可實現對任意給出的人臉圖像進行朝向的識別，通過仿真可證明該方法的有效性。

1學習向量量化（LVQ）神經網絡

學習向量量化神經網絡是在競爭網絡結構的基礎上提出的，是自組織（SOFM）神經網絡的一種有監督形式的擴展。在網絡學習過程中加入教師信號作為分類信息對權值進行微調，并對輸出神經元預先指定類別，LVQ神經網絡實現了二者有效的結合，能夠更好發揮競爭學習與有監督學習的優點。

1.1 LVQ神經網絡結構與工作原理

廣義學習向量量化神經網絡由三層神經元組成，即輸入層、隱藏的競爭層和線性輸出層[3]，其網絡結構如圖1所示。輸入層與競爭層之間采用全連接方式，競爭層與輸出層之間采用部分連接方式[4]。競爭層神經元個數通常取輸出層神經元個數的整數倍，每個競爭層神經元有且只有一個輸出層神經元與之相連接且連接權值固定為1，而每個線性輸出層神經元可以與多個競爭層神經元相連接[5]。在學習向量量化神經網絡訓練過程中，當某個輸入模式被送入網絡時，競爭層的神經元通過競爭學習規則產生獲勝神經元，獲勝神經元調整權值的結果是使權值進一步向當前的輸入向量靠近。當下次出現相似的輸入模式時，獲勝神經元更容易得到修改權值的機會。在反復的競爭學習中，競爭層的各神經元對應的權值逐步被調整為輸入樣本空間的聚類中心[6]。該神經元被激活后輸出狀態為“1”，而其他競爭層神經元的狀態均為“0”。因此，與被激活神經元相連的線性輸出層神經元狀態為“1”。其余輸出層神經元狀態為“0”，從而實現模式分類與識別。

LVQ各層的數學描述如下：設神經網絡輸入向量，其中為輸入層神經元個數；競爭層輸出，表達式為；輸出層實際輸出為，表達式為，網絡期望輸出為。輸入層與競爭層之間的權系數矩陣，其中列向量為競爭層第個神經元對應的權值向量；同理可得，競爭層與輸出層之間的權系數矩陣為，其中列向量為競輸出層第個神經元對應的權值向量。

1.2 LVQ神經網絡學習算法

向量量化是利用輸入向量的固有機構進行數據壓縮的技術，學習向量量化是在向量量化基礎上將輸入向量分類的監督學習方法[7]。LVQ網絡在訓練前指定好線性輸出層的神經元類別，在學習訓練過程中不再改變競爭層與輸出層之間的權系數矩陣，而是通過改變進行學習。該算法實質是根據訓練樣本的特征進行“獎勵與懲罰”的一種迭代學習算法，即對分類正確的樣本，“獎勵”與其距離最近的權值點。經過若干次訓練后，得到的權值不再變化，說明網絡達到收斂狀態[8]。而競爭層神經元的數目輸入待分類的模式樣本測試，根據最近鄰法則得到輸入樣本模式的類別屬性。

LVQ1具體算法步驟為：

（1） 初始化輸入層與競爭層間的權值，確定初始學習速率與訓練次數；

（2）將輸入向量輸入網絡，計算競爭層神經元與輸入向量的距離并尋找獲勝神經元：

（3）根據分類是否正確調整獲勝神經元的權值：當網絡分類結果與教師信號一致時，向輸入樣本方向調整權值；反之，其他非獲勝神經元的權值保持不變。

算法直接利用最小歐式距離選擇與輸入向量最接近的矢量，因此不需要對權值向量和輸入向量進行歸一化處理。

在上述LVQ學習算法中，有且只有一個神經元獲勝并得到更新調整權值的機會。為了改善分類效果，Kohonen對該算法進行了改進，并命名為LVQ2算法[9]。改進算法基于光滑的移動決策邊界逼近貝葉斯極限，其特點是引入“次獲勝”神經元，使得“獲勝”神經元與“次獲勝”神經元的權值向量都被更新[10]。

LVQ2具體計算步驟如下：

（1）初始化參數、計算競爭層神經元與輸入向量距離同LVQ1算法；

（2）選擇與輸入向量距離最小的兩個競爭層神經元；

（3）若神經元對應于不同類別且與當前輸入向量的距離滿足，其中為輸入向量可能落進的接近于兩個向量中段平面的窗口寬度，經驗值為左右，那么若神經元對應的類別=輸入向量類別，則，若神經元對應的類別=輸入向量類別，則。

（4）若神經元不滿足上述條件，則按照LVQ1步驟（3）中進行更新即可。

2基于學習向量量化神經網絡的人臉朝向識別方法

2.1輸入向量與目標向量的設計

觀察大量人臉圖像容易察覺，當人臉圖像旋轉角不一樣時，眼睛局部特征在圖像中的位置差異明顯，因此僅需提取描述眼睛局部位置信息的特征向量并作為LVQ神經網絡的輸入，分別用數字1，2，3，4，5表示五個朝向左方、左前方、前方、右前方、右方，并作為神經網絡的輸出。搜集10人共50幅不同朝向的人臉圖像，隨機選取其中30幅圖像作為訓練集，剩余20幅作為測試集，因此目標向量為305的向量，其中每列只有一個“1”，其余均為“0”。

2.2人臉特征向量的提取

如上文所述，文中將420420的圖像劃分為6行8列，人物雙眼的局部特征信息通過第二行的8個子矩陣描述，在利用Sobel算子對圖像進行邊緣檢測后第二行8個子矩陣中值為“1”的像素點個數可較為準確的表示人臉朝向。

2.3 LVQ神經網絡的創建與訓練

LVQ網絡設計的關鍵因素包括訓練樣本是否具有普遍性與代表性，訓練樣本容量能否滿足需要，競爭層神經元數量、初始權值等網絡參數取值是否得到優化。根據特征向量與訓練圖像數量可知輸入和輸出節點分別為30和5，競爭層神經元的個數通常取決于輸入輸出關系的復雜性。為防止因競爭層神經元數過多產生“死”神經元，競爭層節點數經驗值為線性輸出層節點數的24倍，本文選取15作為競爭層節點數；其次是選擇合適的學習率，為保證算法的收斂性與穩定性，學習率取恒定值或隨時間單調減小，通常取。本文期望誤差取值0.001，學習函數用LVQ1，最大訓練步數設為100，初始化參數后對LVQ神經網絡進行訓練，訓練算法達到預先指定的誤差容限后停止。訓練過程曲線如圖2所示，由圖可知網絡收斂性較好，滿足誤差要求。

3實驗結果與分析

3.1網絡測試識別率與訓練次數、學習算法關系

將測試的20幅不同朝向的人臉圖像輸入網絡，網絡識別率如表1所示。由表1結果可知，LVQ神經網絡識別人臉朝向可行且有效，總體上取得了較好的識別結果。從訓練次數分析，在一定范圍內訓練次數的增加會提高分類識別正確率，所需訓練時間也會增加，識別錯誤主要因為樣本數據較為復雜。當訓練集較少時識別率會相對較低，因此在防止出現過擬合的同時應盡量增加訓練集的樣本數目，可有效改善網絡識別結果。

從算法角度分析，結果顯示LVQ2算法雖然是對LVQ1算法的改進但同時引入了新的誤差，因此識別結果較差；同時LVQ1算法運用簡單，識別率較高，具體應用時應開發更好的優化學習算法，綜合考慮性能指標作折衷處理。

3.2 LVQ神經網絡與BP神經網絡識別效果對比

由于BP神經網絡的輸出為非二值數據，因此采用四舍五入方法：若網絡輸出小于0.5則認為是0，反之為1；并提前利用三位二進制數編碼對五個朝向進行表述，如表2所示。

設置訓練次數為100次，BP神經網絡仿真結果識別率僅為85%，并出現錯誤預測值 [0；0；0]，該狀態不屬于表2中任何一種，從結果判斷不出圖像中人臉朝向，而LVQ神經網絡不僅可以很好的規避這一缺點，同時算法識別準確率明顯較高。

4結語

本文提出了一種基于學習向量量化神經網絡的人臉朝向識別方法，該方法第一步提取人臉圖像中雙眼的局部位置特征向量，并將提取的向量送入網絡進行訓練測試實現人臉朝向的準確識別，然后通過仿真實驗證明利用LVQ神經網絡進行人臉朝向識別方法的有效性，該方法能夠發揮競爭學習和有監督學者的優點，且網絡結構簡單，有效提高了識別率。

參考文獻

[1] 秦愷，曹龍漢 等.基于LVQ神經網絡集成的柴油機氣門故障診斷[J].UPS應用，2014：47-50.

[2] 董妍慧.基于LVQ神經網絡模型的企業財務危機預警[J].大連海事大學學報，2008，7（1）：92-94.

[3] 胡波，王文娟.基于向量量化網絡的煤礦瓦斯監控系統改造[J].電力學報，2010，25（2）：162-164

[4] 朱玉斌，李華聰.基于LVQ網絡的航空發動機氣路故障特征提取方法研究[J].測控技術，2014，33（6）：24-27.

[5] 律方成，張波.LVQ神經網絡在GIS局部放電類型識別中的應用[J].電測與儀表，2014，51（18）：112-115.

[6] 戴金輝.基于混合神經網絡的入侵檢測技術的研究[D].東北大學碩士論文，2010：37-39.

[7] 程劍鋒，徐俊艷.學習矢量量化的推廣及其典型形式的比較[J].計算機工程與應用，2006（17）：64-66.

[8] 李琳，張永祥.學習向量量化（LVQ）神經網絡在周期信號識別方面的擴展應用[J].機械設計與制造，2006，6：120-122.

第9篇：神經網絡初始化方法范文

>> 基于人工神經網絡過閘流量模型在南水北調中線工程的應用 基于人工神經網絡的優化配置研究 基于BP神經網絡的彩色溫度軟測量 基于小波神經網絡的網絡流量預測研究 基于改進小波神經網絡的網絡流量預測研究 基于混沌神經網絡的區域物流量預測 基于BP神經網絡的鐵路客流量預測研究 基于人工神經網絡的煤炭需求預測 基于人工神經網絡的PPI預測模型 基于人工神經網絡的自適應距離保護 基于人工神經網絡的故障診斷 基于人工神經網絡的化工安全評價 基于人工神經網絡的人口預測 基于人工神經網絡的圖像識別 基于人工神經網絡的車牌識別探究 基于人工神經網絡的信息處理 基于人工神經網絡的巨大兒預測的研究 基于BP人工神經網絡的土壤含水量預測模型的研究 基于BP人工神經網絡的知識管理戰略選擇研究 基于人工神經網絡的水泵故障診斷技術研究 常見問題解答 當前所在位置：

關鍵詞：BP網絡；軟測量；過閘流量；MATLAB神經網絡工具箱

DOI： 10.3969/j.issn.1005-5517.2013.10.011

引言

通過閘門的水流量是一個非常重要的參數。只有獲得準確的流量值，才能實現對水資源的優化配置。目前對于過閘水流量的測量已形成了幾種方法：流速儀法、水力學公式法以及曲線法[1，2]。其中，被廣泛運用與現場測流中的方法是流速儀法，它也是流量測量中最重要的方法。流速儀法是通過實測斷面上的流速和水道斷面積來確定流量的方法。測量時先在斷面上布設測速垂線和測速點，再將流速儀放到測速點處測速，用分割法計算斷面面積，推算出流量。雖然這種測流方法是目前的主導方法，但卻存在著一些天生的缺陷：一是很難確定合適的測速垂線及測點，這是由于河道斷面形狀的不規則以及流速場分布情況復雜等原因造成的；二是實時性不高，測量時間比較長，從而導致管理部門不能及時了解過閘流量，耽誤啟閉閘門的最佳時機；三是需要的硬件資源比較多，因此大大增加了測流成本。鑒于此，研究一種新型的即簡單、操作方便實時性又高，并且精度滿足要求的測流方法已成為目前的迫切需求。而本文采用的BP網絡軟測量技術正好解決了以上諸多問題。

BP神經網絡軟測量模型

隱含層神經元數的確定

隱含層神經元數的選擇在理論上并沒有一個明確的規定。因此，選擇合適的神經元數就顯得十分麻煩。如果神經元太少，則網絡不能很好地學習，需要的訓練次數也多，訓練的精度也不高。反而言之，如果隱含層神經元數選的太多，雖然功能會越大，但是循環次數也就是訓練時間也會隨之增加。另外可能還會出現其他的問題，如導致不協調的擬合。一般的選擇原則是：在能夠解決問題的前提下，再加上一到兩個神經元以加快誤差的下降速度即可[7]。

這里，我們通過對不同神經元數進行訓練對比，以及通過簡單的交叉驗證法確定隱含層的神經元數為15個。基于BP網絡的過閘流量軟測量模型如圖1所示。

數據樣本的選取及處理

所用的人工神經網絡的訓練與測試集樣本來源于碧口水電廠右泄工作門2001年水文歷史數據。從中選取典型的60組數據，其中前40組作為訓練樣本，后20組作為測試樣本。限于篇幅只列出部分數據，如表1所示。

由于輸入樣本各參數的集中取值范圍不同，參數大小不一，為了使各類參數所起的作用大致相同，必須對輸入數據進行標準化，把輸入數據都規一到[0，1]閉區域內[8]。因此，我們對表1的數據做如下處理：H*G=HG/10；H*UP=HUP/1000；Q*=Q/Qmax。

運用MATLAB神經網絡工具箱對網絡進行訓練與測試

在運用MATLAB神經網絡工具箱對網絡進行訓練之前，要注意兩方面問題。一是初始權值的選擇，再個就是學習速率的選取。

由于系統是非線性的，初始值對于學習是否達到局部最小、是否能夠收斂以及訓練時間的長短的關系很大。一般選取初始權值為（-1，1）之間的隨機數。在MATLAB工具箱中可采用函數initnw.m初始化隱含層權值。學習速率決定每一次循環訓練中所產生的權值變化量。若學習速率過大可能導致系統的不穩定；但學習速率過小會導致訓練時間較長，收斂速度很慢，不過能保證網絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學習速率以保證系統的穩定性。學習速率的選取范圍在0.01到0.8之間。綜合考慮一下，本系統選取學習速率為0.1。BP網絡訓練程序如下所示[9]：

%定義輸入向量和目標向量

P=[0.5 0.6 0.8 ？？；0.7082 0.7081 0.7079 ？？]；

T=[0.3744 0.4533 0.3735 0.648？？]；

%創建BP網絡和定義訓練函數及參數

net=newcf（ minmax（P），[15，1]，{‘lo gsig’，‘purelin’}，‘traingd’）；

net=initnw（net，1）；

net.trainParam.epochs=5000；

net.trainParam.lr=0.1；

net.trainParam.goal=0.00001；

%訓練神經網絡

[net，tr]=train（net，P，T）；

待網絡訓練好后，利用選定的20組測試樣本對其進行測試，以測量其泛化能力。測試結果如圖2和圖3所示。

圖2為真實流量值與通過BP網絡軟測量模型的預測值之間的擬合曲線，方框代表預測值，圓點代表真實值。