邏輯回歸(Logistic Regression)原理及過程

目錄

一：邏輯回歸簡介

二：邏輯回歸原理

三：邏輯回歸 損失函數

四：邏輯回歸 梯度下降算法

五：邏輯回歸 過程?

---

一：邏輯回歸簡介

Logistic模型是1938年Verhulst-Pearl在修正非密度方程時提出來的，是分類和預測算法中的一種。通過歷史數據的表現對未來結果發生的概率進行預測，是一個分類算法，常用于二類分類

做二分類問題解決方案：

分類算法、(預測)回歸算法

?原理，類似于一個函數，如下圖所示

二：邏輯回歸原理

下面舉個例子

一門考試之前學生的復習時間與這個學生最后是否Pass這門考試的數據如下

cellpadding="1" cellspacing="1" >

hours	1	1.25	1.5	1.75	1.75	2	2.25	2.5	3	3.25	3.5	4	4.25	4.5	4.75	5	5.5
pass概率	0.09	0.2	0.25	0.27	0.5	0.4	0.43	0.46	0.48	0.49	0.498	0.6	0.65	0.7	0.75	0.8	0.9

x:hours表示學生復習時常

z:pass概率

z=ax+b 復習時長與通過概率可以是線性關系

?找到最小損失值：

1 抽取兩條數據計算出a和b的值

2 帶入所有的數據，計算出y值

3 帶入損失函數求出損失值

4 重復 1 2 3

5 直到找到最小損失

若函數原型如下

有y = 1/1+e^-z & z=ax+b

得出下式

b+ax表示問題里的數據只有一個特征，同理如果有多個特征那么z的表達式為(a1x1+b1)+(a2x2+b2)+(...)?

三：邏輯回歸 損失函數

損失函數(loss function)或代價函數(cost function)是將隨機事件或者有關隨機變量的取值映射為非負實數以表示該隨機事件的“風險”?或“損失”的函數。在應用中，損失函數通常作為學習準則與優化問題和聯系，即通過最小化損失函數求解和評估模型

y = 10+3x；a=3；b=10

X	計算出Y	實際Y1	差值
1	13	13	0
2	16	14	2
3	19	20	1
4	22	21	1
5	25	25	0

求解最優解的a b

損失函數：|y-y1|? 或? (y-y1)^2

絕對損失函數求和：4

平方損失函數求和：6?

在比如：Y=8+4X；a=4；b=8

X	計算出Y	實際Y1	差值
1	12	13	-1
2	16	14	2
3	20	20	0
4	24	21	3
5	28	25	3

絕對損失函數求和：9

平方損失函數求和：23?

四：邏輯回歸 梯度下降算法

梯度下降是求解損失函數的一種最優化算法，通過梯度下降可以快速的計算出最小的損失值(它是基于搜索的最優方法)

梯度下降法(Gradient descent)是一個一階最優化算法，通常為稱為最速下降法；要使用梯度下降法找到一個函數的局部極小值，必須向函數上當前點對應梯度(或者是近似梯度)的反方向的規定步長距離點進行迭代搜索?

學習率：步幅

學習率越小，學習次數越多，計算量越大；

learing_rate也是一個超參

梯度下降算法步驟

1 用隨機值初始化權重和偏差

2 把輸入傳入算法，得出輸出值

3 計算預測值和真實值之間的誤差

4 對每一個產生誤差的特征，調整相應的(權重)值以減小誤差

5 重復迭代，直至得到權重的最佳值，使損失值達到最小?

五：邏輯回歸 過程?

邏輯回歸 訓練過程

損失函數：用來描述預測值和實際值的差別

梯度下降：用來將預測值與實際值的差別降低到最小?

邏輯回歸 分類過程?