準確率的偽公式 確率什么意思

序言
自然語言處理(ML)、機器學習(NLP)、信息檢索(IR)等AI領域 , 評估(evaluation)是一項非常重要的工作 , 其模型或算法的評價指標往往有如下幾點:準確率(Accuracy) , 精確率(Precision) , 召回率(Recall)和綜合評價指標(F1-Measure) 。
簡單整理 , 以供參考 。
準確率(Accuracy)
準確率(Accuracy)是一個用于評估分類模型的指標 。說人話 , 模型預測正確數量所占總量的比例 。
準確率的偽公式:
準確率(Accuracy) = Number of correct predictions / Total number pf predictions = 正確預測數 / 預測總數
在二元分類中 , 可根據正類別與負類別按如下方式計算:
注:下方公式中 , TP = 真正例  ,  TN = 真負例  ,  FP = 假正例  ,  FN = 假負例 。

準確率的偽公式 確率什么意思

文章插圖

試舉例計算模型的準確率 , 假設某模型將100個腫瘤分為惡性(正類別)或良性(負類別):
【準確率的偽公式 確率什么意思】
準確率的偽公式 確率什么意思

文章插圖

根據上述例子的數據我們來計算該模型的準確率:

準確率的偽公式 確率什么意思

文章插圖

乍一看 , 該模型的準去確率為0.91 , 也就是91% , (100個樣本中有91個預測正確) , 這是不是可以表示我們的腫瘤分類器在識別惡性腫瘤方面酒標的非常出色呢?
帶著這個疑問 , 我們仔細分析一下正類別和負類別 , 深入理解該模型的效果 。
100個腫瘤樣本中 , 91個為良性 , 其中 , 1個FP(假正例)& 90個TN(真負例) , 9個為惡性 , 其中 , 1個TP(真正例)&8個FN(假負例) 。
整個樣本中有91個良性腫瘤 , 該模型將90個樣本正確識別為良性腫瘤 , 將1個樣本識別為惡性 , 這個效果很好 。但是 , 在9個惡性腫瘤樣本中 , 將8個樣本識別為良性 , 9個惡性腫瘤有8個未被診斷出來 , 8/9 , 這個結果多么可怕?。?!
91%的準確率 , 看起來還不錯 , 如果另一個腫瘤分類器模型總是預測良性 , 那么這個模型使用我們的樣本進行預測 , 也會得出相同的準確率 。
換句話說 , 該模型與那些沒有預測惡性腫瘤和良性腫瘤的模型差不多 。
還有 , 當我們使用分類不平衡的數據集(如:正類別標簽與負類別標簽數量存在明顯差異)時 , 就一項準確率并不能反映情況 。
為了更好的評估分類不平衡的數據集問題 , 下面引入精確率(Precision)和召回率(Recall)
精確率(Precision)
精確率為解決在被識別為正類別的樣本中 , 為正類別的比例 。精確率的公式定義如下:

準確率的偽公式 確率什么意思

文章插圖

Tips: 如果模型預測結果中沒有假正例 , 則模型的精確率為1 。
那我們來接著上面腫瘤預測的樣本結果來計算其精確率 , 好 , 接著看預測樣本分布圖:

準確率的偽公式 確率什么意思

文章插圖

其精確率的計算結果為:

準確率的偽公式 確率什么意思

文章插圖

可以看到該腫瘤預測模型的精確率為0.5 , 換句話說就是 , 該模型在預測惡性腫瘤方面的正確率是50% 。
召回率(Recall)
召回率為解決在所有正類別樣本中 , 被正確識別為正類別的比例 。召回率的公式定義如下:

準確率的偽公式 確率什么意思

文章插圖

Tips: 如果模型的預測結果沒有假負例 , 則模型的召回率為1.0 。
同樣使用上述腫瘤預測的樣本結果來計算其精確率 , 看預測樣本分布圖:

準確率的偽公式 確率什么意思

文章插圖

召回率的計算結果如下:

準確率的偽公式 確率什么意思

文章插圖

由以上結果可以看出 , 該模型的召回率為0.11 , 那么 , 就可以說 , 該模型的能夠正確識別出所有惡性腫瘤的百分比是11% 。
想要全面評估模型的有效性 , 必須同時檢查精確率與召回率 。但是 , 很遺憾 , 精確率和召回率往往是此消彼長 。也就是說 , 提高精確率通常會降低召回率 , 反之亦然 。
好 , 帶著這個問題 , 我們來看一個綜合評價指標(F1-Measure)
綜合評價指標(F1-Measure)
F-Measure是一種統計量 , 又稱F-Score,也是精確率(Presicion)和召回率(Recall)的加權調和平均 , 常用于評價分類模型的好壞 。-來自百度百科
F-Measure數學公式為:

準確率的偽公式 確率什么意思

文章插圖

如上式中 , P為Precision ,  R為Recall , a為權重因子 。
當a = 1時 , F值變為最常見的F1了 , 代表精確率和召回率的權重一樣 , 是最常見的一種評價指標 , 因此 , F1的數學公式為:

準確率的偽公式 確率什么意思

文章插圖

根據前面的出的精確率和召回率 , 便可得出其F1值:

準確率的偽公式 確率什么意思

文章插圖

F1 綜合了精確率和召回率的結果 , 當F1較高時 , 則說明模型或算法的效果比較理想 。