機器學習-調參

泛化誤差(Genelization error)

衡量模型在未知數據上的準確率

  • 模型在未知數據(測試集or袋外數據)上表現不好時,通常會說模型泛化程度不夠或是泛化誤差
  • 泛化誤差受到模型結構(複雜度)影響

Genelization error

  • 模型太簡單:模型欠擬合,泛化誤差大
  • 模型太複雜:模型過擬合,泛化能力不夠,泛化誤差大
  • 只有模型複雜度剛剛好才能夠達到泛化誤差最小
  • 調參之前要先判斷,模型當前處於圖像的哪一邊

樹模型調參

  • 模型太複雜或太簡單,都會讓泛化誤差高,我們追求是位於中間平衡點
  • 模型太複雜就會過擬合,太簡單就會欠擬合
  • 對樹模型和樹集成模型來說,樹深度越深,枝葉越多,模型越複雜
    • 剪枝就是為了降低模型複雜度
  • 樹模型和樹集成模型的目標,都是減少模型複雜度,將摸型往圖像左邊移動

Reference

  1. http://www.peixun.net/view/1281.html