決定木からアンサンブルへ
決定木の限界を理解し、バギングとブースティングという 2 つのアンサンブルの直感をつかみます。
このトラックで学ぶこと#
このトラック（L5）では、テーブルデータコンペの主役である **勾配ブースティング（GBDT）**の 3 大ライブラリ（XGBoost / LightGBM / CatBoost）と、 ハイパーパラメータ最適化を学びます。L4 までの特徴量・検証の知識を、最強のモデル群と組み合わせます。
決定木の強みと弱み#
決定木は「条件分岐で予測する」直感的なモデルで、非線形やスケール差に強く前処理も少なくて済みます。 一方で、単体では不安定で過学習しやすいという弱点があります。
そこで、多数の木を組み合わせる**アンサンブル学習**が登場します。
2 つのアンサンブル#
| 方式 | 木の作り方 | 狙い | 代表 |
|---|---|---|---|
| バギング | 並列・独立に学習し平均/多数決 | 分散（ばらつき）を下げる | ランダムフォレスト |
| ブースティング | 逐次・前の誤りを次が補正 | バイアス（偏り）を下げる | 勾配ブースティング（GBDT） |
バギング: 木1 木2 木3 …（独立）→ 平均
ブースティング: 木1 → 残差を木2 → 残差を木3 …（逐次）→ 合計直感#
- バギング：少しずつ違うデータで木を作り、平均して安定させる
- ブースティング：前の木が外したところを次の木が重点的に学ぶことで、徐々に精度を上げる
メモ
どちらも「弱い木を多数束ねる」点は同じですが、独立に作って平均するのがバギング、 順番に誤りを補正するのがブースティング、という違いがあります。
理解度チェック#
次のステップ#
次は、バギングの代表であるランダムフォレストを詳しく見ます。