Kaggle で学ぶ機械学習レッスンの一覧です（初版）。
ターゲットエンコーディングを CV 内で正しく適用し、平滑化でリークと過学習を抑える方法を学びます。
train と test の分布差を分類器で検出し、検証設計や特徴選択に活かす方法を学びます。
テスト予測を仮の正解として学習に加える疑似ラベルの手順と、リークを避ける注意点を学びます。
評価指標に合わせて予測を後処理し、閾値や順位を最適化してスコアを底上げする方法を学びます。
意図せぬリークの発見・防止と、コンペが許す範囲でのリーク活用・外部データの扱いを学びます。
ダウンキャスト・チャンク読み込み・Polars/Dask で、大規模データを限られたメモリで扱う方法を学びます。
チームマージの判断、役割分担、提出・実験の共有管理など、チーム戦のコツを学びます。
画像/音声/NLP/表/時系列それぞれの定石と、自分に合うコンペの選び方を学びます。
Expert → Master → Grandmaster へ至る現実的な道筋と、続けるための心構えを学びます。
順伝播・逆伝播・最適化の流れと、ディープラーニングの過学習対策を理解します。
Tensor・autograd・学習ループ・Dataset/DataLoader という PyTorch の基本要素を学びます。
MLP と Entity Embedding でカテゴリ変数を扱う方法、表形式で DL が効く場面を学びます。
畳み込みとプーリングの考え方、画像分類 CNN の基本構造を学びます。
事前学習済みモデル（timm）のファインチューニング、データ拡張、TTA を学びます。
テキストの前処理と、BoW / TF-IDF による特徴量化＋線形モデルの強いベースラインを学びます。
Transformer と BERT の考え方、Hugging Face でのファインチューニング、LLM 活用の概観を学びます。
特徴量ベースと系列モデルの使い分け、時系列の検証とリーク回避を学びます。
Kaggle 環境で DL を現実的に回すための GPU/TPU 活用、混合精度、メモリ節約の実務を学びます。
なぜ複数モデルを束ねると強くなるのか、誤差の多様性と相関の観点から理解します。
最も手軽なアンサンブルである各種平均と blending の使い分けと、重みの決め方を学びます。
OOF 予測を特徴量としてメタモデルで統合する stacking の仕組みと、正しい組み方を学びます。
多段スタッキングの構成と、各段で OOF を厳密に守ってリークを防ぐ方法、費用対効果を学びます。
シード固定・構成管理・実験ログ・Notebook 整理で、再現できる実験サイクルを回す方法を学びます。
期間を通じた進め方と、信頼できる CV を軸にスコアを伸ばす反復戦略を学びます。
Public と Private の違い、shake-up が起きる理由、最終提出の選び方を学びます。
公開知見の取り込み方、引用とライセンスの尊重、コミュニティへの還元を学びます。
テーブルデータ Kaggle のスコアを左右する特徴量エンジニアリングの全体像と、リーク防止の原則を学びます。
Label / One-Hot / Ordinal / Frequency / Target エンコーディングの特徴と、リークを避けた使い方を学びます。
数値特徴のスケーリング、ビニング、対数/Box-Cox 変換、交互作用特徴の作り方を学びます。
日時の分解、周期性の表現、地理特徴、グループ集約特徴の作り方とリーク回避を学びます。
テキストの count / TF-IDF の入口と、高カーディナリティなカテゴリの扱い方を学びます。
モデルの重要度、permutation importance、null importance で効く特徴を見極める方法を学びます。
KFold / Stratified / Group / TimeSeriesSplit を、データの構造に合わせて選ぶ方法を学びます。
CV と LB の関係の読み方、リーケージの検出と防止、adversarial validation の入口を学びます。
決定木の限界を理解し、バギングとブースティングという 2 つのアンサンブルの直感をつかみます。
バギングの代表ランダムフォレストの仕組みと、扱いやすく頑健なベースラインとしての使い方を学びます。
残差を逐次的に学習する GBDT の仕組みと、学習率・木の本数・深さの関係を理解します。
正則化が強力な XGBoost の基本的な使い方と、早期終了を使った学習を学びます。
高速・省メモリな LightGBM の特徴（leaf-wise・num_leaves・カテゴリ対応）と使い方を学びます。
カテゴリ変数を自動処理し、ordered boosting でリークを抑える CatBoost の使い方を学びます。
XGBoost / LightGBM / CatBoost の特徴と使い分け、共通する重要パラメータと早期終了を整理します。
グリッド/ランダム探索と Optuna によるベイズ最適化で、ハイパーパラメータを効率的に探索します。
入門コンペで結果を出すための進め方。まず提出して、CV を信じて小さく改善するループを学びます。
Titanic コンペの課題設定を理解し、生存に効きそうな特徴を EDA で見つけます。
最小構成の前処理とモデルで Titanic の submission.csv を作り、初提出までを通します。
交差検証で安定評価し、特徴量を足してベースラインからスコアを伸ばす改善ループを実践します。
House Prices 回帰コンペの課題を理解し、歪んだ目的変数を対数変換する理由を学びます。
多数の欠損とカテゴリを処理し、回帰モデルで House Prices の submission を作って提出します。
特徴量を強化し、複数モデルの予測を平均するブレンディングでスコアを底上げします。
submission の作り方を総まとめし、形式エラーの典型と対処法を身につけます。
Kaggle がどんなプラットフォームか、なぜ機械学習の実践学習に最適なのかを理解します。
Kaggle アカウントを作成し、コンペ参加・GPU 利用に必要な電話認証まで済ませます。
Competitions・Datasets・Code(Notebooks)・Discussions・Models・Learn の役割を把握します。
ブラウザで動く Kaggle Notebook の使い方、GPU/TPU・クォータ・データ接続・バージョン管理を学びます。
コンペページの各タブ、submission.csv の作り方、Public/Private リーダーボードの違いを理解します。
Kaggle の 4 カテゴリ、メダルの獲得条件、Novice から Grandmaster までの称号体系を理解します。
kaggle.json で認証し、コマンドラインからデータ取得・提出を自動化する方法を学びます。
Kaggle Notebook・Google Colab・ローカル環境の長所短所を理解し、自分に合った進め方を選びます。
機械学習の基本的な考え方と、教師あり・教師なし・強化学習という 3 つの枠組みを理解します。
解きたい課題を回帰・分類のどちらに落とし込むか、目的変数とタスク定義の考え方を学びます。
データ分割の役割、汎化・過学習・未学習、バイアスとバリアンスのトレードオフを理解します。
交差検証で性能を安定して評価する方法、層化・グループ・時系列分割の使い分けを学びます。
回帰タスクの代表的な評価指標 RMSE・MAE・RMSLE・R² の意味と使い分けを学びます。
混同行列を起点に、Accuracy・Precision・Recall・F1・ROC-AUC・LogLoss を理解します。
fit / predict / transform という共通インターフェースと、Pipeline で前処理と学習をまとめる方法を学びます。
基本となる線形回帰・ロジスティック回帰・決定木の特徴を理解し、Titanic でベースラインを作ります。
機械学習で頻出する Python 文法を最短で復習し、Kaggle Notebook の基本操作を押さえます。
ndarray の生成と操作、ループを避けるベクトル化、broadcasting の仕組みを学びます。
Series と DataFrame の基本、CSV の読み込み、列・行の選択、条件によるフィルタリングを学びます。
groupby による集計、merge/join での結合、pivot_table、apply/map による変換を学びます。
分布・相関・カテゴリ別の傾向を、matplotlib と seaborn で可視化する基本を学びます。
目的変数の理解から欠損・型・相関の確認、データリークの兆候発見まで、EDA の流れを体系的に学びます。
欠損値と外れ値の検出方法、代表的な対処方針、そしてデータリークを避ける適用順序を学びます。