multi-level stacking とリーク防止
多段スタッキングの構成と、各段で OOF を厳密に守ってリークを防ぐ方法、費用対効果を学びます。
多段（multi-level）stacking#
メタモデルの出力を、さらに次のメタモデルの入力にする多段構成です。 Level 0（ベース）→ Level 1（メタ）→ Level 2（最終）と積み上げます。
Level 0: LGBM / XGB / CatBoost / 線形 / NN → 各 OOF
Level 1: Level0 の OOF を入力にしたメタモデル群 → さらに OOF
Level 2: Level1 の OOF を統合（平均 or 単純メタモデル）各段で OOF を貫く#
リークを防ぐ原則は単純です。どの段でも、上の段に渡す予測は必ず OOFにすること。 fold 分割は全段で同一の分割を使うと管理しやすく、漏れを防げます。
注意
段が増えるほどリークの経路も増えます。「ある段で in-fold 予測を混ぜた」だけで 検証スコアは跳ね上がり、シェイクアップで本番崩壊します。各段の OOF を機械的に守りましょう。
費用対効果を見極める#
多段 stacking は強力ですが、複雑さ・学習時間・再現の難しさが急増します。
| 手法 | 効果 | コスト/リスク |
|---|---|---|
| 単純/加重平均 | 小〜中 | 低 |
| 単段 stacking | 中〜大 | 中 |
| 多段 stacking | 大（ことがある） | 高（リーク・過学習・再現性） |
ヒント
多くのコンペでは 単純平均や単段 stacking で大半の伸びが得られます。多段は終盤に 「あと一歩」を詰めるための手段で、まず交差検証の信頼性を確保してから足すのが鉄則です。
理解度チェック#
次のステップ#
次は、こうした複雑な実験を破綻させないための実験管理と再現性を学びます。