泛化誤差(Genelization error)
衡量模型在未知數據上的準確率
- 模型在未知數據(測試集or袋外數據)上表現不好時，通常會說模型泛化程度不夠或是泛化誤差大
- 泛化誤差受到模型結構(複雜度)影響
- 模型太簡單：模型欠擬合，泛化誤差大
- 模型太複雜：模型過擬合，泛化能力不夠，泛化誤差大
- 只有模型複雜度剛剛好才能夠達到泛化誤差最小
- 調參之前要先判斷，模型當前處於圖像的哪一邊
樹模型調參
- 模型太複雜或太簡單，都會讓泛化誤差高，我們追求是位於中間平衡點
- 模型太複雜就會過擬合，太簡單就會欠擬合
- 對樹模型和樹集成模型來說，樹深度越深，枝葉越多，模型越複雜
- 剪枝就是為了降低模型複雜度
- 樹模型和樹集成模型的目標，都是減少模型複雜度，將摸型往圖像左邊移動