新聞中心

網絡優化的算法你知道嗎?

2021-02-10 14:10:07

網路優化算法

隨機性梯度下降算法

SGD算法則是利用隨機梯度下降算法對網絡參數進行優化。在損失函數上對當前點的對應梯度(或近似梯度)反方向的指定步長距離點上進行迭代搜索。大規模梯度下降法在對每個參數進行更新時都需要所有的訓練樣本,因此,隨著樣本數目的增加,訓練過程變得非常緩慢。通過每次迭代更新一次隨機梯度下降,從而提高了優化的效率。

網路優化算法

通用損耗函數

·平均誤差值。

平均誤差是指實際值與預測值之差平方的期望值,它通常用在回歸問題中,即交叉熵損失函數。

交熵是指實際的類標記分布和模型預測的類標記分布之間的距離,在分類問題中經常使用。

網路優化算法

優選過程-輸出層。

網路優化算法

中間層是一個優化過程。

反傳算法(backpropagation)和梯度下降算法(gradientdecent)對神經網絡參數進行調整。該算法主要是用來對單個參數進行優化,而反向傳播算法則提供了一種對所有參數都有效的梯度下降算法,使得神經網絡模型在訓練數據上的損失函數盡可能小。反傳算法是訓練神經網絡的核心算法,它能根據神經網絡中定義好的損失函數對神經網絡的參數進行優化,從而使神經網絡模型在訓練數據集上的損失函數達到小。神經網絡模型的參數優化過程直接決定模型的質量,因此神經網絡的優化是一個非常重要的步驟。

假定神經網絡的參數用θ來表示,J(θ)表示在給定的參數值下訓練數據集上損失函數的大小,則可以將整個優化過程抽象為尋找一個θ,使J(θ)達到Z。由于目前還沒有一種通用的方法直接求出任意損失函數的好的參數,因此實際應用中常用的神經網絡優化方法是梯度下降法。該算法通過迭代更新參數θ,不斷地沿梯度的反方向更新,使參數朝著總損失較小的方向變化。

1537521996485129.jpg

Z近瀏覽:

聯系我們

咨詢熱線:400-6394931

13210111361  周經理

山東省青島市城陽區正陽中路5號華鵬東城3號樓306

1628231337175514.jpg

  • 首頁
  • 產品
  • 留言
  • 電話
  • 抓住我的双乳咬我奶头视频看-欧美人妻少妇精品视频专区-国产又黄又爽又色又刺激视频-国产无套粉嫩白浆在线