用語集
機械学習・Kaggle の主要用語をまとめています。本文中の用語リンクからもここへ移動できます。
- カテゴリ変数カテゴリカル変数 / 質的変数 / categorical
- 性別や都市名のように離散的な水準を取る変数。多くのモデルは数値化が必要。
- ワンホットエンコーディングone-hot encoding / One-Hot / ダミー変数
- カテゴリの各水準を 0/1 の列に展開する数値化手法。水準が多いと列が増える。
- ラベルエンコーディングlabel encoding
- カテゴリの各水準に整数を割り当てる数値化手法。木系モデルと相性が良い。
- ターゲットエンコーディングtarget encoding
- カテゴリ変数を目的変数の統計量（平均など）で数値化する手法。CV 内で正しく適用する。
- 標準化スタンダードスケーリング / standardization / z-score 標準化
- 各特徴を平均 0・標準偏差 1 に変換する前処理。スケール差のある特徴をそろえる。
- 関連レッスン:L1: NumPy 基礎
- 正規化（Min-Max）min-max スケーリング / normalization / 正規化
- 各特徴を一定範囲（多くは 0〜1）へ線形変換する前処理。外れ値の影響を受けやすい。
- 関連レッスン:L1: NumPy 基礎
- ビニング（離散化）ビニング / 離散化 / binning
- 連続値を区間に区切ってカテゴリ化する変換。非線形な関係や外れ値の緩和に使う。
- 対数変換log変換 / log transform
- 右に裾を引く分布に対数を取り、分布を圧縮して扱いやすくする変換。
- 次元削減dimensionality reduction
- 特徴量の数を減らして本質的な構造を残す処理。可視化や過学習抑制に役立つ。
- 主成分分析（PCA）PCA / 主成分分析
- 分散が最大になる方向へ射影して次元削減する代表的な手法。
- 教師あり学習supervised learning
- 入力と正解（目的変数）の組から、入力→出力の対応を学習する枠組み。
- 教師なし学習unsupervised learning
- 正解ラベルを使わず、データ自体の構造（クラスタや分布）を見つける枠組み。
- 強化学習reinforcement learning / RL
- 試行錯誤を通じて報酬が最大になる行動方針を学ぶ枠組み。ゲームや制御で使われる。
- 分類classification / 分類問題
- 目的変数が離散的なクラスである予測タスク（例：生存/非生存）。
- 回帰regression / 回帰問題
- 目的変数が連続値である予測タスク（例：価格の予測）。
- 汎化汎化性能 / generalization
- 訓練に使っていない未知データでも高い性能を出せること。機械学習の最終目標。
- 未学習（過少適合）未学習 / 過少適合 / underfitting
- モデルが単純すぎて、訓練データの傾向すら捉えきれていない状態。
- バイアス・バリアンスバイアスバリアンス / bias-variance
- 誤差を、単純さによる偏り（バイアス）と過敏さ（バリアンス）に分解する考え方。
- ハイパーパラメータハイパラ / hyperparameter
- 学習前に人が設定する設定値（木の深さや学習率など）。チューニングの対象。
- 正則化regularization / L1正則化 / L2正則化
- モデルの複雑さに罰則を加え、過学習を抑える手法（L1/L2 など）。
- 損失関数目的関数 / loss function / コスト関数
- 予測と正解のズレを数値化する関数。学習はこれを最小化する方向に進む。
- 勾配降下法gradient descent / 最急降下法
- 損失の勾配方向にパラメータを少しずつ更新して最小値を探す最適化手法。
- 学習率learning rate / lr
- 勾配降下で 1 回に進むステップの大きさ。大きすぎると発散、小さすぎると遅い。
- エポックepoch
- 訓練データ全体を 1 周学習する単位。複数エポック繰り返して学習を進める。
- バッチサイズbatch size / ミニバッチ / バッチ
- 1 回のパラメータ更新に使うサンプル数。学習の安定性と速度に影響する。
- 線形回帰linear regression
- 特徴量の線形結合で連続値を予測する基本モデル。解釈しやすくベースラインに好適。
- ロジスティック回帰logistic regression
- 線形結合をシグモイドで確率に変換する分類モデル。二値分類の定番ベースライン。
- 決定木decision tree
- 条件分岐で予測する木構造のモデル。単体は弱いが、アンサンブルの基礎になる。
- ランダムフォレストrandom forest / RF
- 多数の決定木をバギングで束ねたモデル。安定して扱いやすい定番手法。
- 勾配ブースティング（GBDT）GBDT / 勾配ブースティング
- 決定木を逐次的に足し込むアンサンブル手法。XGBoost / LightGBM / CatBoost が代表。
- XGBoostxgb
- GBDT の代表的ライブラリ。高精度・正則化が強力で、表形式コンペの定番。
- LightGBMlgbm / lgb
- 葉ごとに成長する高速な GBDT 実装。大規模データでも速く、Kaggle で多用される。
- CatBoostcat boost
- カテゴリ変数の扱いに強い GBDT 実装。前処理が少なく済むのが特長。
- ニューラルネットワークNN / neural network
- 層状のユニットで非線形な関係を学習するモデル。深層化したものが深層学習。
- ディープラーニング深層学習 / deep learning / DL
- 多層のニューラルネットで表現を自動獲得する手法。画像・自然言語などに強い。
- 転移学習transfer learning / ファインチューニング / fine-tuning
- 大規模データで事前学習済みのモデルを、手元のタスクに合わせて再利用・微調整する手法。少ないデータでも高精度を狙える。
- アンサンブル学習アンサンブル / ensemble
- 複数モデルの予測を組み合わせ、単体より高い精度・安定性を得る手法の総称。
- バギングbagging / ブートストラップ集約
- データを復元抽出して並列に学習し、平均/多数決で統合する手法（例：RF）。
- ブースティングboosting
- 前のモデルの誤りを次のモデルが補うよう逐次学習する手法（例：GBDT）。
- スタッキングstacking
- 複数モデルの予測（OOF）を入力としてメタモデルで統合するアンサンブル手法。
- ブレンディングblending
- 複数モデルの予測を加重平均やランク平均などで単純に統合する手法。
- OOF（Out-of-Fold）OOF / Out-of-Fold
- 交差検証で、各 fold の検証側に対して得た予測。スタッキングやスコア評価に使う。
- ホールドアウト検証holdout / ホールドアウト
- データを訓練用と検証用に一度だけ分けて評価する最も単純な検証方法。
- K 分割交差検証K-Fold / KFold / k分割
- データを K 個に分け、各回 1 つを検証・残りを訓練として K 回評価する手法。
- 層化 K 分割交差検証Stratified K-Fold / StratifiedKFold / 層化抽出
- 各 fold のクラス比率を全体と同じに保つ K-Fold。不均衡な分類で重要。
- グループ K 分割交差検証Group K-Fold / GroupKFold
- 同一グループ（同一ユーザー等）が訓練と検証に跨らないよう分割する K-Fold。
- 時系列分割TimeSeriesSplit / 時系列CV
- 過去で学習し未来で検証する、時間順を守った分割。時系列データのリーク防止に必須。
- 敵対的検証（Adversarial Validation）敵対的検証 / Adversarial Validation
- train/test を判別する分類器を作り、両者の分布差を検出・対策する手法。
- 早期終了（Early Stopping）早期終了 / Early Stopping
- 検証スコアが改善しなくなった時点で学習を打ち切り、過学習を防ぐ手法。
- 平均二乗誤差（MSE）MSE / 平均二乗誤差
- 誤差を二乗して平均した回帰指標。大きな誤差を強く罰する。
- RMSE（二乗平均平方根誤差）RMSE
- MSE の平方根。目的変数と同じ単位で誤差を表せる回帰指標。
- MAE（平均絶対誤差）MAE / 平均絶対誤差
- 誤差の絶対値を平均した回帰指標。外れ値の影響を受けにくい。
- RMSLE（対数二乗平均平方根誤差）RMSLE
- 対数を取った値で計算する RMSE。比率の誤差を重視し、大きな値の影響を抑える。
- 決定係数（R²）R2 / 決定係数 / R-squared
- 予測が目的変数の分散をどれだけ説明できたかを表す回帰指標（1 に近いほど良い）。
- 正解率（Accuracy）Accuracy / 正解率
- 全予測のうち正解した割合。不均衡データでは性能を見誤りやすい点に注意。
- 適合率（Precision）Precision / 適合率
- 陽性と予測したうち実際に陽性だった割合。誤検知の少なさを表す。
- 再現率（Recall）Recall / 再現率
- 実際の陽性のうち正しく陽性と当てた割合。見逃しの少なさを表す。
- F1 スコアF1 / F1スコア / F値
- 適合率と再現率の調和平均。両者のバランスを 1 つの値で評価する指標。
- 対数損失（LogLoss）LogLoss / 対数損失 / クロスエントロピー
- 予測確率の良さを測る指標。自信を持って外すほど大きく罰せられる。
- ROC 曲線ROC / ROC曲線
- 閾値を変えたときの真陽性率と偽陽性率の関係を描いた曲線。AUC の基礎。
- AUCROC-AUC
- ROC 曲線下の面積。二値分類の順位付け性能を表す評価指標（1 に近いほど良い）。
- 混同行列confusion matrix
- 予測と正解の組み合わせ（TP/FP/FN/TN）を集計した表。分類指標の出発点。
- サブミッション（提出）submission / 提出 / submission.csv
- 予測結果をコンペ指定の形式（多くは CSV）で提出すること、またはそのファイル。
- 関連レッスン:L0: コンペの構造と提出
- ベースラインbaseline / ベースラインモデル
- 最初に作る最小限のモデル。以降の改善を測る基準（出発点）になる。
- 疑似ラベリングpseudo labeling / 擬似ラベル
- テストデータへの予測を仮の正解として訓練に加える半教師あり的なテクニック。
- データ拡張data augmentation / オーグメンテーション / TTA
- 回転・反転・ノイズ付与などで学習データを水増しし、汎化を高める手法。