【機器學習】算法原理詳細推導與實現(二):邏輯回歸
在上一篇算法中，線性回歸實際上是 連續型 的結果，即 \(y\in R\) ，而邏輯回歸的 \(y\) 是離散型，只能取兩個值 \(y\in \{0,1\}\)，這可以用來處理一些分類的問題。
logistic函數
我們可能會遇到一些分類問題，例如想要劃分 鳶尾花 的種類，嘗試基於一些特徵來判斷鳶尾花的品種，或者判斷上一篇文章中的房子，在6個月之後能否被賣掉，答案是 是 或者 否，或者一封郵件是否是垃圾郵件。所以這裡是 \(x\) ，這裡是 \(y\) 在一個分類問題中，\(y\) 只能取兩個值0和1，這就是一個二元分類的問題，如下所示：
可以使用線性回歸對以上數值進行劃分，可以擬合出如下那麼一條線，用 \(y=0.5\) 作為臨界點，如果 \(x\) 在這個臨界點的右側，那麼 \(y\) 的值就是1，如果在臨界點的左側，那麼 \(y\) 的值就是0，所以確實會有一些人會這麼做，用線性回歸解決分類問題：
線性回歸解決分類問題，有時候它的效果很好，但是通常用線性回歸解決像這樣的分類問題會是一個很糟糕的主意，加入存在一個額外的訓練樣本 \(x=12\)，如果現在對這個訓練集合做線性擬合，那麼可能擬合出來那麼一條直線：
這時候\(y\)的臨界點估計已經不太合適了，可以知道線性回歸對於分類問題來說，不是一個很好的方法。
假設 \(h_\theta(x) \in [0,1]\)，當如果已知 \(y\in \{0,1\}\)，那麼至少應該讓假設 \(h_\theta(x)\) 預測出來的值不會比1大太多，也不會比0小太多，所以一般不會選擇線性函數作為假設，而是會選擇一些稍微不同的函數圖像：
\[ g(z)=\frac{1}{1+e^{-z}} \]
\[ h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}} \]
\(g(z)\) 被稱為 sigmoid函數 ，也通常被稱為 logistic函數，它的函數圖像是：
當 \(z\) 變得非常小的時候，\(g(x)\) 會趨向於0，當\(z\)變得非常大的時候，\(g(x)\) 會趨向於1，它和縱軸相較於0.5。
邏輯回歸
那麼我們的假設\(h_\theta(x)\) 要嘗試估計 \(y\in \{0,1\}\) 的概率，即：
\[ P(y=1|x;\theta)=h_\theta(x) \]
\[ P(y=0|x;\theta)=1-h_\theta(x) \]
以上可以把兩個公式合併簡寫為（如果\(y=1\)那麼公式為\(h_\theta(x)\)；如果\(y=0\)那麼公式為\(1-h_\theta(x)\)）：
\[ P(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y} \]
如果對《概率論和數理統計》學得好的人不難看出，以上函數其實就是 伯努利分佈 的函數。
對於每一個假設值\(h_\theta(x)\)，為了使每一次假設值更準確，即當 \(y=1\) 時估計函數 \(P(y=1|x;\theta)=h_\theta(x)\) 趨向於1，當\(y=0\) 時估計函數 \(P(y=0|x;\theta)=1-h_\theta(x)\) 趨向於0。則對於每一個\((x_i,y_i)\)，參數 \(\theta\) 的似然估計 \(L(\theta)\)為：
\[ \begin{split} L(\theta)&=P(\vec{y}|X;\theta) \\ &=\prod_{i=1}^mP(y^{(i)}|x^{(i)};\theta) \\ &=\prod_{i=1}^m(h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-{y^{(i)}}} \end{split} \]
如果每一個\((x_i,y_i)\)都準確，即 \(P(y|x;\theta)\) 趨向於1，則應該使似然估計 \(L(\theta)\) 最大化，也就是轉化成熟悉的問題：求解 \(L(\theta)\) 的極大似然估計。
為了調整參數 \(\theta\) 使似然估計 \(L(\theta)\) 最大化，推導如下（取 \(log\) 是為了去掉疊乘方便計算）：
\[ \begin{split} l(\theta)&=logL(\theta) \\ &=\sum_{i=1}^m{y^{(i)}logh(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))} \end{split} \]
為了使這個函數最大，同樣可以使用前面學習過的梯度下降算法使對數似然估計最大化。之前學習的是要使誤差和 最小化，所以梯度下降的公式為：
\[ \theta:=\theta-\alpha\frac{\partial J(\theta)}{\partial\theta}=>\theta:=\theta-\alpha\nabla_\theta J(\theta) \]
而本次為了求解似然估計最大化，使用的是梯度上升：
\[ \theta:=\theta+\alpha\nabla_\theta l(\theta)=>\theta:=\theta+\alpha\frac{\partial l(\theta)}{\partial\theta} \]
對數似然性是和 \(\theta\) 有關，同樣的為了計算 梯度上升 最快的方向，要對上述公式求偏導得到極值，即是上升最快的方向：
\[ \begin{split} \frac{\partial l(\theta)}{\partial\theta_j}&=(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)})\frac{\partial}{\partial\theta_j}g(\theta^Tx) \\ &=(y\frac{1}{g(\theta^Tx)}-(1-y)\frac{1}{1-g(\theta^Tx)})g(\theta^Tx)(1-g(\theta^Tx))\frac{\partial}{\partial\theta_j}\theta^Tx \\ &=(y(1-g(\theta^Tx))-(1-y)g(\theta^Tx))x_j \\ &=(y-g(\theta^Tx))x_j \\ &=(y-h_{\theta}(x))x_j \end{split} \]
則對於 m 個樣本，則有：
\[ \frac{\partial l(\theta)}{\partial\theta_j}=\sum_{i=1}^m{(y-h_{\theta}(x))x_j} \]
\[ \theta_j:=\theta_j+\sum_{i=1}^m{(y^{(i)}-h_{\theta}(x^{(i)}))x^{(i)}_j} \]
所以總結來說：
邏輯回歸假設數據服從伯努利分佈，通過極大化似然函數的方法，運用梯度下降來求解參數，來達到將數據二分類的目的。
鳶尾花分類
為了劃分 鳶尾花 的種類，嘗試基於一些特徵來判斷鳶尾花的品種，選取100條鳶尾花數據集如下所示：
| 花萼長度（單位cm） | 花萼寬度（單位cm） | 種類 |
|---|---|---|
| 5.1 | 3.5 | 0 |
| 4.9 | 3.0 | 0 |
| 4.7 | 3.2 | 0 |
| 7.0 | 3.2 | 1 |
| 6.4 | 3.2 | 1 |
| … | … | … |
其中：
| 種類 | 含義 |
|---|---|
| 0 | 山鳶尾（setosa） |
| 1 | 變色鳶尾（versicolor） |
| 2 | 維吉尼亞鳶尾（virginica） |
數據集的圖像分佈為：
計算損失函數：
# 損失函數
def computeCost(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X * theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))
return np.sum(first - second) / (len(X))梯度下降函數為：
# 梯度下降
def gradient(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
parameters = int(theta.ravel().shape[1])
grad = np.zeros(parameters)
error = sigmoid(X * theta.T) - y
for i in range(parameters):
term = np.multiply(error, X[:, i])
grad[i] = np.sum(term) / len(X)
return grad最終預測準確率為：
accuracy = 99%結果分類的圖像為：
數據和代碼下載請關注公眾號【 TTyb 】，後台回復【 機器學習 】即可獲取：
【精選推薦文章】
智慧手機時代的來臨，RWD網頁設計已成為網頁設計推薦首選
想知道網站建置、網站改版該如何進行嗎?將由專業工程師為您規劃客製化網頁設計及後台網頁設計
廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益