基于BP算法的前饋神經網絡
BP神經網絡
首先給出只包含一個隱層的BP神經網絡模型（兩層神經網絡）：
BP神經網絡其實由兩部分組成：
- 前饋神經網絡：神經網絡是前饋的，其權重都不回送到輸入單元，或前一層輸出單元（數據信息是單向傳播的，不會回流），區別于循環神經網絡RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網絡中的權重。
BP神經網絡思想：
- 表面上：1. 數據信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結果與真實結果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質上：針對每個輸入樣本，采用隨機梯度下降算法，動態更新網絡中的權重和偏倚，以使網絡的輸出不斷地接近期望的輸出。
BP神經網絡算法推導（更新權重和偏倚）：
從上面推導可以發現：
對于任意從神經元i（輸出神經元/隱層神經元）至 神經元j（隱層神經元/輸出層神經元）的權重w ijwijw_{ij}，其權重更新量Δw ijΔwijDelta w_{ij}=學習步長η ηeta × × imes 前一層神經元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經元（y jyjy_{j}或o koko_{k}）的誤差
神經元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學習步長η ηeta × × imes 乘以神經元的誤差
BP神經網絡算法過程
網絡的初始化：包括權重和偏倚的初始化
計算隱含層的輸入輸出
計算輸出層的輸入輸出
誤差的計算：隱層和輸出層的誤差
權值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經元的步長η ηeta × × imes 相應的誤差err
判斷算法迭代是否結束：1.超過迭代次數，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過程是這樣的：輸出層每個節點都會得到一個誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時候就像是輸出層當輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據連接權重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫的有點難看，將就看吧。。）
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
神經網絡
+關注
關注
42文章
4812瀏覽量
103332 -
BP神經網絡
+關注
關注
2文章
127瀏覽量
30948
發布評論請先 登錄
相關推薦
熱點推薦
什么是BP神經網絡的反向傳播算法
BP神經網絡的反向傳播算法（Backpropagation Algorithm）是一種用于訓練神經網絡的有效方法。以下是關于BP
BP神經網絡在圖像識別中的應用
傳播神經網絡（Back Propagation Neural Network），是一種多層前饋神經網絡，主要通過反向傳播算法進行學習。它通常
使用NumPy實現前饋神經網絡
反向傳播算法來更新網絡權重和偏置。這里，我將詳細介紹一個包含單個隱藏層的前饋神經網絡的實現，但請注意，由于篇幅限制，完整的2000字可能無法
bp神經網絡預測模型建模步驟
BP神經網絡（Backpropagation Neural Network）是一種多層前饋神經網絡，其核心思想是通過反向傳播
BP神經網絡的學習機制
BP神經網絡（Backpropagation Neural Network），即反向傳播神經網絡，是一種基于梯度下降算法的多層前
BP神經網絡和人工神經網絡的區別
BP神經網絡和人工神經網絡（Artificial Neural Networks，簡稱ANNs）之間的關系與區別，是神經網絡領域中一個基礎且重要的話題。本文將從定義、結構、
BP神經網絡的基本結構和訓練過程
BP神經網絡，全稱為反向傳播神經網絡（Backpropagation Neural Network），是一種在機器學習、數據挖掘和模式識別等領域廣泛應用的人工神經網絡模型。其工作原理基
全連接前饋神經網絡與前饋神經網絡的比較
隨著人工智能技術的飛速發展，神經網絡作為其核心組成部分，在各個領域展現出了強大的應用潛力和價值。在眾多神經網絡類型中，全連接前饋神經網絡（F
前饋神經網絡的工作原理和應用
前饋神經網絡（Feedforward Neural Network, FNN），作為最基本且應用廣泛的一種人工神經網絡模型，其工作原理和結構對于理解深度學習及人工智能領域至關重要。本文
工商網監
評論