正則化是什么意思(大數據中正則化是什么意思)

前言

通過設計不同層數、大小的網絡模型,可以為優化算法提供初始的函數假設空間(或者所示網絡容量)。但是隨著網絡參數的優化更新,模型的實際容量是可以隨之變化的。
以多項式函數模型為例:
y = r 0 + r 1 x + r 2 x 2 + r 3 x 3 … + r n x n + e r r o r y=r_0+r_1x+r_2x^2+r_3x^3…+r_nx^n+error y=r0+r1x+r2x2+r3x3…+rnxn+error
上述模型容量可以通過n來簡單衡量。在訓練的過程中,如果模型參數 r i = 0 r_i=0 ri=0,表征的函數模型也就降維了,那么網絡的實際容量也就相應的減小了。因此,通過限制網絡的稀疏性,可以來約束網絡的實際容量。

正則化

正則化正是通過在損失函數上添加額外的參數稀疏性懲罰項(正則項),來限制網絡的稀疏性,以此約束網絡的實際容量,從而防止模型出現過擬合。

因此,對模型的參數添加稀疏性懲罰項后,我們的目標損失函數就變為:

式子中的第一項為原始的損失函數,第二項是對網絡參數的稀疏性約束函數,也就是正則項。
下面我們重點來研究一下正則項。一般地,參數的稀疏性約束通過約束參數 θ \theta θ的L范數實現,即:

新的優化目標除了要最小化原來的損失函數之外,還需要約束網絡參數的稀疏性,優化算法會在降低損失函數的同時,盡可能地迫使網絡參數 θ \theta θ變得稀疏,他們之間的權重關系通過超參數????來平衡,較大的????意味著網絡的稀疏性更重要;較小的????則意味著網絡的訓練誤差更重要。通過選擇合適的????超參數可以獲得較好的訓練性能,同時保證網絡的稀疏性,從而獲得不錯的泛化能力。
常用的正則化方式有 L0,L1,L2 正則化。即0范數、1范數、2范數。

L0 正則化

L0 正則化是指采用 L0 范數作為稀疏性懲罰項 Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式,即

其中,L0范數定義為: θ i \theta_i θi中非零元素的個數。通過約束 Ω ( θ ) \Omega(\theta) Ω(θ)的大小,可以迫使網絡中的連接權值大部分為0。但是由于L0范數并不可導,不能利用梯度下降法進行優化,所以在神經網絡中的使用并不多。

L1 正則化

采用 L1 范數作為稀疏性懲罰項 Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式叫做 L1 正則化,即

其中,L1范數定義為: θ i \theta_i θi中所有元素的絕對值之和。L1 正則化也叫 Lasso
Regularization,它是連續可導的,在神經網絡中使用廣泛。

L2正則化

采用 L2 范數作為稀疏性懲罰項 Ω ( θ ) \Omega(\theta) Ω(θ)的正則化方式叫做 L2 正則化,即
其中L2范數定義為: θ i \theta_i θi中所有元素的平方和。L2 正則化也叫Ridge Regularization,它和 L1 正則化一樣,也是連續可導的,在神經網絡中使用廣泛。

正則化效果

下面實驗,在維持網絡結構等其他超參數不變的條件下,在損失函數上添加L2正則化項,并通過改變超參數 λ \lambda λ來獲得不同程度的正則化效果。
實驗效果如下:

可以看到,隨著正則化系數????的增加,網絡對參數稀疏性的懲罰變大,從而迫使優化算法搜索而得到網絡容量更小的模型。在???? = 0.00001時,正則化的作用比較微弱,網絡出現了過擬合現象;但是???? = 0.1時,網絡已經能夠優化到合適的容量,并沒有出現明顯過擬合和欠擬合的現象。
需要注意的是,實際訓練時,一般先嘗試較小的正則化系數????,觀測網絡是否出現過擬合現象。然后嘗試逐漸增大????參數來增加網絡參數稀疏性,提高泛化能力。但是,過大的????
參數有可能導致網絡不收斂,需要根據實際任務調節。

感謝各位的閱讀!關于“大數據中正則化是什么意思”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!