ニューラルネット基礎

順伝播・逆伝播・最適化の流れと、ディープラーニングの過学習対策を理解します。

このトラックで学ぶこと#

このトラック（L7）では、**ディープラーニング**を PyTorch を軸に学び、 画像（CV）・テキスト（NLP）・時系列のコンペに踏み込む基礎と、転移学習・実務最適化を扱います。

ニューラルネットの構造#

ニューラルネットワークは、層状に並んだユニットが入力を非線形変換して出力を作るモデルです。 各ユニットは「重み付き和 → 活性化関数」で計算します。

入力 → [線形変換 → 活性化(ReLU 等)] × 複数層 → 出力

学習の流れ：順伝播と逆伝播#

1. 順伝播（forward）：入力から予測を計算する
2. 損失の計算：予測と正解のズレを損失関数で測る
3. 逆伝播（backprop）：損失を各重みで微分し勾配を求める
4. 最適化：勾配降下法（SGD/Adam）で重みを更新する

これをエポック・バッチサイズ単位で繰り返し、損失を下げていきます。

過学習対策#

DL は表現力が高く過学習しやすいため、対策が重要です。

• Dropout：学習時にユニットをランダムに無効化して共適応を防ぐ
• Weight decay（L2 正則化）：重みを小さく保つ
• 早期終了：検証スコアが改善しなくなったら止める
• データ拡張：データを水増しして汎化を高める（特に画像）

理解度チェック#

次のステップ#

次は、これを実装する PyTorch の基本（Tensor・autograd・学習ループ）を学びます。