《BP神經網絡》PPT課件.ppt

《《BP神經網絡》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《BP神經網絡》PPT課件.ppt（63頁珍藏版）》請在裝配圖網上搜索。

第2部分：BP神經網絡,主要內容 一. 人工神經網絡基本知識 生物神經網絡、生物神經元 人工神經網絡、人工神經元 人工神經網絡三要素 典型激活函數 神經網絡幾種典型形式 二. 前饋神經網絡、多層感知器、及非線性分類 三. BP神經網絡 四. 數據處理及神經網絡結構的選擇 五. 應用,人工神經網絡 是生物神經網絡的某種模型(數學模型) 是對生物神經網絡的模仿 基本處理單元為人工神經元,1. 生物神經系統(tǒng)與生物神經元 大量生物神經元的廣泛、復雜連接，形成生物神經網絡 (Biological Neural Network, BNN)。 實現各種智能活動 生物神經元(neuron)是基本的信息處理單元,(1)生物神經系統(tǒng) 生物神經元(neuron)是基本的信息處理單元,其組成： 樹突(dendrites), 接收來自外接的信息 細胞體(cell body), 神經細胞主體，信息加工 軸突(axon), 細胞的輸出裝置，將信號向外傳遞， 與多個神經元連接 突觸 （synapsse), 神經元經突觸向其它神經元（胞體或樹突）傳遞信號,(2)生物神經元的基本特征 神經元之間彼此連接 神經元之間的連接強度決定信號傳遞的強弱 神經元之間的連接強度可以隨訓練改變 學習、遺忘、疲勞 ----神經網絡中各神經元之間連接的強弱，按外部的激勵信號做自適應變化 興奮與抑制 信號可以起興奮作用，也可以起抑制作用 一個神經元接受信號的累積效果（綜合大小，代數和）決定該神經元的狀態(tài)(興奮、抑制) 每個神經元可以有一個“閾值”,2. 人工神經網絡與人工神經元,(1)基本的人工神經元模型,McCulloch-Pitts神經元模型 輸入信號；鏈接強度與權向量； 信號累積 激活與抑制,(1) 基本的人工神經元模型,(2) 輸出函數f,(2)幾種常見形式的傳遞函數(激活函數),(2) 輸出函數f,(2) 輸出函數f,主要內容 人工神經網絡基本知識 二. 前饋神經網絡、多層感知器、及非線性分類 三. BP神經網絡 四. 數據處理及神經網絡結 構的選擇 五. 應用,,各神經元接受來自前級的輸入，并產生輸出到下一級，無反饋，可用一有向無環(huán)圖表示。 網絡中的節(jié)點分兩類：輸入節(jié)點；計算節(jié)點(神經元節(jié)點) 節(jié)點按層(layer)組織 ： 第i層的輸入只與第i-1層的輸出相連。 輸入信號由輸入層輸入,由第一層節(jié)點輸出，傳向下層，…… 前饋：信息由低層向高層單向流動。 ------------------------------------------------- 可見層 輸入層 (input layer) 輸入節(jié)點所在層，無計算能力 輸出層 (output layer) 節(jié)點為神經元 隱含層( hidden layer) 中間層，節(jié)點為神經元,1.前饋(forward)神經網絡,,具有三層計算單元的前饋神經網絡結構,2. 感知器神經網絡(感知器)、感知器神經元,感知器神經元,單層感知器網絡,,感知器神經元的傳遞函數 單層感知網絡可以實現線性分類,2. 感知器神經網絡、感知器神經元(續(xù)),(1)多層感知器(MLP) 的一致逼近性,單個閾值神經元可以實現任意多輸入的與、或及與非、或非邏輯門。 任何邏輯函數可由兩層前饋網絡（一層計算單元）實現。 三層或三層以上的前饋網絡通常稱為多層感知器 多層感知器的適用范圍大大超過單層網絡。,3. 多層感知器（含兩層以上的計算單元）,多層感知器示意,當神經元的輸出函數為sigmoid等函數時，三層前饋網絡(含兩層計算單元)可以逼近任意的多元非線性函數。,主要內容 一. 人工神經網絡基本知識、神經元與感知器 二. 前饋神經網絡、多層感知器、及非線性分類 三. BP神經網絡 四. 數據處理及 神經網絡結構的選擇 五 應用,基于閾值神經元的多層感知器不足 隱含層不直接與外界連接，誤差無法直接估計 中間層神經元的激活函數為閾值函數(或階躍函數) 無法采用梯度下降法訓練神經元權值 基于BP算法的多層感知器(BP網絡) 各計算單元(神經元節(jié)點)傳遞函數：Sigmoid函數 誤差逐層反向傳播； 信號逐層正向傳遞,BP神經網絡訓練的兩個階段 (1)信號正向傳遞過程 輸入信息從輸入層經隱層逐層、正向傳遞，直至得到各計算單元的輸出 (2)誤差反向傳播過程 輸出層誤差從輸出層開始，逐層、反向傳播，可間接計算隱層各單元的誤差，并用此誤差修正前層的權值.,,,,,BP網絡的優(yōu)點 ①特別適合于求解內部機制復雜的問題 BP網絡實質上實現了一個從輸入到輸出的映射功能，而數學理論已證明它具有實現任何復雜非線性映射的功能 ②具有自學習能力 網絡能通過學習帶正確答案的實例集自動提取“合理的”求解規(guī)則 ③網絡具有一定的推廣、概括能力。,BP網絡的問題，如： ①BP算法的學習速度較慢 ②網絡訓練失敗的可能性較大 ③網絡結構的選擇尚無一種統(tǒng)一而完整的理論指導，一般只能由經驗選定。 ④網絡的預測能力（泛化能力、推廣能力）與訓練能力（逼近能力、學習能力）的矛盾 。。。。。。,主要內容 一. 人工神經網絡基本知識、神經元與感知器 二. 前饋神經網絡、多層感知器、及非線性分類 三. BP神經網絡 四. 數據處理及神經網絡結構的選擇 五 應用,PART1.輸入/輸出數據的處理 回歸或狀態(tài)預測，數據處理方式有所區(qū)別 建模前輸入輸出數據的預處理—正向標準化 建模后輸入輸出數據的后處理—反向標準化 特征的平移 特征的尺度調整 ?[0,1],[-1,1],[-a,a],[0,a],PART2.神經網絡的層次選擇 對多層網絡要確定選用幾個隱含層？ 1988年Cybenko指出，若各節(jié)點均采用S型函數，則 一個隱含層足以實現任意判決分類問題； 兩個隱含層足以實現輸入圖形的任意輸出 網絡層次選取依經驗和情況而定，通常不宜過多。,PART3.節(jié)點數目的確定 輸入層、輸出層、隱含層節(jié)點數 1. 輸入層節(jié)點數的確定 節(jié)點數=輸入向量的維數,2.輸出層節(jié)點數的確定 節(jié)點數取決于: 輸出的表示方法; 類別數目； 待逼近的函數數目。 (1)兩類別問題 單輸出型 1個判別函數，1個輸出節(jié)點 (2)多類別問題 輸出節(jié)點數是類別數：“C中取1(1-of-C)” C位“0-1”二進制編碼 輸出節(jié)點數是二進制編碼的狀態(tài)數 8類問題，3位二進制數 可能會需增加1個隱含層以滿足要求 (3)輸出節(jié)點數是待逼近的函數個數,隱含層節(jié)點數目越大，網絡學習能力越強，但不能保證預測能力好 —“過學習(過擬合)” overfitting 隱含層節(jié)點不能過少，網絡不能構建復雜決策面：節(jié)點數越小，網絡學習能力低 --“欠學習(欠擬合)” underfitting 如何選擇適當數目“隱含層”節(jié)點，以取得“過學習”與 “欠學習”之間的平衡？,3.隱含層節(jié)點數的確定,試湊法 結合問題先驗知識 結合特定算法 對隱含層節(jié)點數的選擇，Nielson等指出： 除了圖像情況，在大多數情況下，可使用4-5個隱含層節(jié)點對應1個輸入節(jié)點。 在圖像情況下，像素的數目決定了輸入節(jié)點的數目，此時隱含層結點可取輸入結點數的10%左右。 其它經驗,主要內容 一. 人工神經網絡基本知識、神經元與感知器 二. 前饋神經網絡、多層感知器、及非線性分類 三. BP神經網絡 四. 神經網絡結構的選擇 五 應用 回歸 狀態(tài)預測,1.狀態(tài)預測 --參考《MATLAB神經網絡30個案例分析》 例.基于BP神經網絡的數據分類—四類語音特征信號分析 每組語音信號為24維輸入； 四類語音信號：民歌、古箏、搖滾、流形 共計2000組語音信號 要求：基于BP網絡設計一個語音信號類別預測模型 代碼：見案例1,例：,2. 回歸估計 例：基于BP神經網絡的公路運量(客運量、貨運量)預測 公路運量與該地區(qū)人數、機動車數量、公路面積有關。 已知某地區(qū)20年的公路運量有關數據，對于未來某兩年，若明確該地區(qū)人數、機動車數量、公路面積，要求：預測該地區(qū)的公路運量。 分析： (1)明確模型輸入輸出關系 (2)建模： 原始數據讀?。粩祿藴驶幚?；網絡訓練； (3)模型評價： 對原始數據仿真，明確預測誤差 (4)輸出預測結果：對新數據預測結果,