Hike News
Hike News

機器學習-分類模型評估

Python機器學習 本文总阅读量次

Introduction

  • 前面對兩種分類模型皆調用score()方法查看準確率，其就是一種對模型的評估，
    • 返回預測結果正確的百分比
  • sklearn還存在許多對預測模型評估的方法皆收錄在sklearn.metrics中
  • 這一章節只著重在對分類模型的評估
  • 還有其他對分類模型評估的指標包括 精確率(precision) 與 召回率(recall)

混淆矩陣(confusion matrix)

在分類任務下，預測結果(predicted condition)與正確標記(true condition)之間存在四種不同的組合，構成所謂的混淆矩陣(適用於多分類)
confusion matrix

  • 可使用sklearn.metrics.confusion_matrix搭配matplotlib及seaborn.heatmap來繪製

Example

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics.classification import accuracy_score
from sklearn.metrics import confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns 

iris_data = load_iris()

def ConfusinMatrix():
    x_train, x_test, y_train, y_test = train_test_split(iris_data.data, iris_data.target)

    KNN = KNeighborsClassifier(n_neighbors=5)
    KNN.fit(x_train, y_train)
    y_predict = KNN.predict(x_test)

    mat = confusion_matrix(y_test,y_predict)

    print("accuracy score:", accuracy_score(y_test, y_predict))
    
    sns.heatmap(mat,square= True, annot=True, cbar= False)
    plt.xlabel("predicted value")
    plt.ylabel("true value")
    plt.show()

if __name__ == '__main__':
    ConfusinMatrix()
  • 要是使用jupyter notebook進行繪製可在導入matplotlib.pyplot後添加以下code，取代plt.show()
    1
    %matplotlib inline
    可讓圖形不會在新視窗呈現

Result

1
accuracy score: 0.9736842105263158

heatmap plot

其他評估方法

精確率(precision)

預測值為True情況下真實值仍為True所佔的比例(查得準)

  • 一般較少使用精確率來評估模型

召回率(recall)

真實值為True的情況下預測值仍為True所佔的比例(查得全，對正樣本的區分能力)

  • 例如癌症的分析，寧願錯估沒有癌症的人得癌，也不能將得癌症的人錯估成沒有癌症
  • 上述案例我們會希望召回率越高越好甚至100%，而沒有那麼在乎準確率

F1-score

  • 是一種用來評估模型穩健程度的標準

  • 其公式如下

  • 其反應的是再提高召回率的同時是不是有維持一定的準確率

  • 仍是越大越好，是一個綜合的評判標準

分類模型評估的API

  • 使用sklearn.metrics.classification_report

classification_report

  • 調用classification_report(y_true,y_pred,target_names=None)
  • y_true: 真實目標值
  • y_pred: estimator預測的目標值
  • target_names : 目標不同類別的名稱
  • 返回每個類別precision及recall

Example

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from sklearn.datasets import load_iris
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split
from sklearn.metrics.classification import accuracy_score
from sklearn.metrics import classification_report

iris_data = load_iris()

def model_metrics():
    x_train,x_test,y_train,y_test = train_test_split(iris_data.data,iris_data.target)
    
    NB = GaussianNB()
    NB.fit(x_train,y_train)
    y_predict = NB.predict(x_test)
    
    print("accuracy score:", accuracy_score(y_test,y_predict))
    print("report:\n",classification_report(y_test,y_predict,target_names=iris_data.target_names))

if __name__ == '__main__':
    model_metrics()

結果

1
2
3
4
5
6
7
8
9
accuracy score: 0.8947368421052632
report:
              precision    recall  f1-score   support

     setosa       1.00      1.00      1.00        16
 versicolor       0.77      0.91      0.83        11
  virginica       0.89      0.73      0.80        11

avg / total       0.90      0.89      0.89        38
Python機器學習