2026/08から取り消し線は範囲外。ただしオプションとしてはシラバスに残っている。
1.数学的基礎
(1)線形代数
ⅰ.行列演習
行列テンソルの積勾配行列のランクテンソルアダマール積
ⅱ.固有値分解・特異値分解
固有値固有ベクトル対角化特異値特異ベクトル
(2)確率・統計
ⅰ.一般的な確率分布(確率の基礎)
確率変数同時確率条件付き確率周辺確率確率質量関数確率密度関数期待値分散共分散
ⅰ.一般的な確率分布(ベルヌーイ分布・多項分布)
ベルヌーイ試行二項分布カテゴリカル分布
ⅰ.一般的な確率分布(ガウス分布・t分布)
混合ガウス分布中心極限定理
ⅱ.確率モデルにおけるパラメータ推定
- ベイズ則
- ナイーブベイズ
- 平均二乗誤差
- 対数尤度
- ダイバージェンス
- 最尤推定
- MAP推定
- ベイズ推定
(3)情報理論
ⅰ.情報理論
- 自己情報量
- 相互情報量
- エントロピー
- 条件付きエントロピー
- 結合エントロピー
- クロスエントロピー
- KLダイバージェンス
- JSダイバージェンス
2.機械学習
(1)機械学習の基礎
ⅰ.パターン認識(k近傍法・近傍法)
- kd-tree
- 近似最近傍
ⅰ.パターン認識(距離計算)
- コサイン距離
- ユークリッド距離
- マンハッタン距離
- Lp距離
- マハラノビス距離
ⅱ.機械学習の分類
- 機械学習
- 教師あり学習
- 教師なし学習
- 半教師あり学習
ⅲ.教師あり学習①(線形回帰、Lasso回帰・Ridge回帰)
ノルム過少適合過剰適合最小二乗法相関係数多重共線性L1正則化L2正則化
ⅳ.教師あり学習②(ロジスティック回帰)
ロジットシグモイド関数ロジスティック関数ソフトマックス関数オッズ/オッズ比
ⅴ.教師あり学習③(サポートベクターマシン)
サポートベクターマージン最大化ハードマージン・ソフトマージンカーネル法
ⅵ.教師あり学習④(決定木、Random Forest、勾配ブースティング)
分類木・回帰木CARTGini係数アンサンブルバギングブースティング
ⅶ.教師なし学習①(次元圧縮)
主成分分析寄与率SNECrowding Problemt-SNE
ⅷ.教師なし学習②(クラスタリング)
k-means階層的クラスタリングデンドログラムウォード法群平均法
ⅸ.機械学習の課題(過剰適合・過少適合)
- 汎化誤差
- 訓練誤差
- バイアス
- バリアンス
- 正則化
- 次元の呪い
ⅹ.検証集合(訓練データ・検証データ・テストデータ)
- 訓練誤差
- 汎化誤差
ⅹ.検証集合(交差検証)
- ホールドアウト法
- k-分割交差検証法
ⅺ.性能指標
- 正解率(Accuracy)
- 適合率(Precision)
- 再現率(Recall)
- F値
- ROC曲線
- AUC
- Intersection-over-Union (IoU)
- mean Average Precision(mAP)
- 多クラス分類の評価指標(micro平均/macro平均)
- RMSE/MSE
- MAE
- 混同行列
- パープレキシティ
3.深層学習の基礎
(1)順伝播型ネットワーク
ⅰ.多層パーセプトロン
- 全結合層
- 重み
- バイアス
ⅱ.出力層と損失関数
- 平均二乗誤差(MSE)
- 平均絶対誤差(MAE)
- バイナリクロスエントロピー
- クロスエントロピー誤差
- ソフトマックス関数
- one-hotベクトル
- マルチラベル分類
- 順序回帰
ⅲ.活性化関数
- シグモイド関数
- 温度パラメータ
- 勾配消失
- ReLU
- Leaky ReLU
- GELU
- tanh
- 双曲線関数
(2)深層モデルのための最適化
ⅰ.基本的なアルゴリズム
- 確率的勾配降下法(SGD)
- 学習率
- 最急降下法
- ミニバッチ
- Pathological Curvature
- Momentum
- Nesterov Accelerated Gradient
ⅱ.誤差逆伝播法
- 誤差逆伝播法
- 連鎖律
- 偏微分によるデルタ
- 勾配消失
- 自動微分
- 計算グラフ
ⅲ.適応的な学習率を持つアルゴリズム
- AdaGrad
- RMSProp
- Adam
ⅳ.パラメータの初期化戦略
- Xavier法/Glorot法
- Kaiming法/He法
(3)深層モデルのための正則化
ⅰ.パラメータノルムペナルティー
- L1正則化
- スパース表現
- L2正則化
- weight decay
ⅱ.確率的削除
- ドロップアウト
- ドロップコネクト
ⅲ.陰的正則化
- 早期終了
- バッチサイズ
- 学習率の調整
(4)畳み込みニューラルネットワーク
ⅰ.畳み込みニューラルネットワーク(基本的な畳み込み演算)
- 単純型細胞と複雑型細胞
- 受容野(receptive field)
- 特徴マップ
- フィルタ
- カーネル
- パディング
- ストライド
- im2col
- チャネル
ⅰ.畳み込みニューラルネットワーク(特別な畳み込み)
- point-wise畳み込み(1×1畳み込み)
- depth-wise畳み込み
- グループ化畳み込み
- アップサンプリングと逆畳み込み
ⅰ.畳み込みニューラルネットワーク(プーリング)
- Max pooling
- Lp pooling
- Global Average Pooling
(5)リカレントニューラルネットワーク
ⅰ.リカレントニューラルネットワーク
- 順伝播の計算
- 逆伝搬の計算(Back Propagation Through Time; BPTT)
- 双方向RNN
ⅱ.ゲート機構
- 勾配消失
- 忘却ゲート
- 入力ゲート
- 出力ゲート
- LSTM(長期記憶と短期記憶)
- GRU
- リセットゲート
- メモリーセル
ⅲ.系列変換
- エンコーダ・デコーダ
- sequence-to-sequence(seq2seq)
- アテンション(注意)機構
(6)Transformer
ⅰ.Transformer
- Self-Attention
- Scaled Dot-Product Attention
- Source Target Attention
- Masked Attention
- Multi-Head Attention
- Positional Encoding
(7)汎化性能向上のためのテクニック
ⅰ.データ集合の拡張(画像のデータ拡張)
- ノイズ付与
- Random Flip
- Random Erase
- Random Crop
- Random Contrast
- Random Brightness
- Random Rotate
- RandAugment
- MixUp
ⅰ.データ集合の拡張(自然言語のデータ拡張)
- EDA
- MixUp
ⅰ.データ集合の拡張(音声のデータ拡張)
ノイズ付与ボリューム変更ピッチシフトMixUpSpecAugment
ⅱ.正規化
- Batch Normalization
- Layer Normalization
- Instance Normalization
- Group Normalization
ⅲ.アンサンブル手法
- バギング
- ブースティング
- ブートストラップ
- スタッキング
ⅳ.ハイパーパラメータの選択(基本的なハイパーパラメータ調整)
- 学習率
- 隠れ層の数 (レイヤー層数)
- ユニット数
- ドロップアウトの割合
- バッチサイズ
ⅳ.ハイパーパラメータの選択(ハイパーパラメータの最適化)
- グリッドサーチ
- ランダムサーチ
- ベイズ最適化
4.深層学習の応用
(1)画像認識
ⅰ.ResNet, WideResNet
- 残差接続(skip-connection)
- ボトルネック構造
- Residual Block
ⅱ.Vision Transformer
- Shifted window
- CLS token
- Position embedding
(2)物体検出
ⅰ.FasterR-CNN, MaskR-CNN
- Bounding Box
- mAP
- ROI
- end-to-end
- 2ステージ検出
- Selective Search
- Fast R-CNN
- Region Proposal Network (RPN)
- Anchor box
- アンカー
- ROI Pooling
- ROI Align
- インスタンスセグメンテーション
ⅱ.YOLO, SSD
- 1ステージ検出
- デフォルトボックス
- Non-Maximum Suppression (NMS)
- ハードネガティブマイニング
ⅲ.FCOS
- アンカーフリー(Anchor-Free)
- Feature Pyramid Network(FPN)
- センターネス(Center-ness)
- アンビギュアスサンプル
(3)セマンティックセグメンテーション
ⅰ.FCN, U-Net
- スキップコネクション
- アップサンプリング
- インスタンスセグメンテーション
- パノプティックセグメンテーション(Panoptic Segmentation)
(4)自然言語処理
ⅰ.WordEmbedding
- 潜在的意味インデキシング(LSI)
- Word2vec
- n-gram
- skip gram
- CBOW
- ネガティブサンプリング
ⅱ.大規模言語モデル (LLM) [BERT]
- Masked Language Modeling(MLM)
- Next Sentence Prediction(NSP)
- 事前学習
- ファインチューニング
- positional embeddings
- segment embeddings
ⅱ.大規模言語モデル (LLM) [GPT-n]
- 基盤モデル
- Next token prediction
- Few Shot learning
- Zero Shot learning
- Prompt Based Learning
- RAG
(5)音声処理
ⅰ.サンプリング、短時間フーリエ変換、メル尺度
サンプリング定理窓関数ナイキスト周波数短時間フーリエ変換高速フーリエ変換ケプストラムメルスペクトログラムMFCC
ⅱ.WaveNet
音声合成(Text-to-Speech)Dilated Causal ConvolutionGTU(Gated tanh unit)Residual BlockSkip Connection
ⅲ.CTC
End-to-Endモデルビームサーチ前向き・後ろ向きアルゴリズム
(6)生成モデル
ⅰ.識別モデルと生成モデル
- 識別モデル
- 自己回帰
- 生成モデル
- 拡散モデル
- フローベース生成モデル
ⅱ.オートエンコーダ
- オートエンコーダ
- Denoising autoencoder
- VAE
- Reparameterization Trick
- 変分下限
ⅲ.GAN(基本的なGAN)
- 生成器ネットワーク
- 識別器ネットワーク
- モード崩壊 (mode collapse)
- Wasserstein GAN
- DCGAN
ⅲ.GAN(条件付きGAN)
- Conditional GAN
- CycleGAN
(7)深層強化学習
ⅰ.深層強化学習のモデル
- DQN
- 行動価値関数
- TD学習
- Q学習
- Experience replay
- A3C
- 方策勾配法(Policy Gradient)
- Actor-Critic法
(8)様々な学習方法
ⅰ.転移学習
- ファインチューニング
- ドメイン適応 (domain adaptation)
- ドメインシフト
ⅱ.半教師あり学習と自己教師あり学習
- Self-Training
- Co-Training
- Contrastive learning
ⅲ.能動学習(Active Learning)
Uncertainty SamplingLeast ConfidentRepresentative Sampling
ⅳ.距離学習(Metric Learning)[2サンプルによる比較]
- 表現学習
- Siamese network
- contrastive loss
ⅳ.距離学習(Metric Learning)[3サンプルによる比較]
- Triplet loss
- Triplet network
ⅴ.メタ学習(Meta Learning)[初期値の獲得]
MAMLModel-Agnosticメタ目的関数(meta-objective)
(9)深層学習の説明性
ⅰ.判断根拠の可視化
- XAI (eXplainable AI)
- Grad-CAM
- Integrated Gradients
ⅱ.モデルの近似
- 局所的な解釈
- 大域的な解釈
- LIME
- SHAP
- ShapleyValue
- 協力ゲーム理論
5.開発・運用環境
(1)エッジコンピューティング
ⅰ.モデルの軽量化
- エッジコンピューティング
- プルーニング(枝刈り)
- 蒸留(Distillation)
- 量子化(Quantization)
(2)分散処理
ⅰ.並列分散処理
- 分散深層学習
- モデル並列化
- データ並列化
ⅱ.連合学習(Federated learning)
クロスデバイス学習クロスサイロ学習Federated AveragingLocal ModelGlobal Model
(3)アクセラレータ
ⅰ.デバイスによる高速化
- 単一命令列複数データ (SIMD; Single Instruction Multiple Data)
- 単一命令複数スレッド (SIMT; Single Instruction Multiple Thread)
- 複数命令列複数データ (MIMD; Multiple Instruction Multiple Data)
- GPU (Graphics Processing Unit)
- TPU (Tensor Processing Unit)
(4)環境構築
ⅰ.コンテナ型仮想化
- 仮想化環境
- ホスト型
- ハイパーバイザー型
- コンテナ型
- Docker
- Dockerfile