E資格｜シラバスとサイトマップ

１．数学的基礎

（１）線形代数

ⅰ.行列演習

• 行列
• テンソルの積
• 勾配
• 行列のランク
• テンソル
• アダマール積

ⅱ.固有値分解・特異値分解

• 固有値
• 固有ベクトル
• 対角化
• 特異値
• 特異ベクトル

（２）確率・統計

ⅰ.一般的な確率分布（確率の基礎）

• 確率変数
• 同時確率
• 条件付き確率
• 周辺確率
• 確率質量関数
• 確率密度関数
• 期待値
• 分散
• 共分散

ⅰ.一般的な確率分布（ベルヌーイ分布・多項分布）

• ベルヌーイ試行
• 二項分布
• カテゴリカル分布

ⅰ.一般的な確率分布（ガウス分布・t分布）

• 混合ガウス分布
• 中心極限定理

ⅱ.確率モデルにおけるパラメータ推定

• ベイズ則
• ナイーブベイズ
• 平均二乗誤差
• 対数尤度
• ダイバージェンス
• 最尤推定
• MAP推定
• ベイズ推定

（３）情報理論

ⅰ.情報理論

• 自己情報量
• 相互情報量
• エントロピー
• 条件付きエントロピー
• 結合エントロピー
• クロスエントロピー
• KLダイバージェンス
• JSダイバージェンス

２．機械学習

（１）機械学習の基礎

ⅰ.パターン認識（k近傍法・近傍法）

• kd-tree
• 近似最近傍

ⅰ.パターン認識（距離計算）

• コサイン距離
• ユークリッド距離
• マンハッタン距離
• Lp距離
• マハラノビス距離

ⅱ.機械学習の分類

• 機械学習
• 教師あり学習
• 教師なし学習
• 半教師あり学習

ⅲ.教師あり学習①（線形回帰、Lasso回帰・Ridge回帰）

• ノルム
• 過少適合
• 過剰適合
• 最小二乗法
• 相関係数
• 多重共線性
• L1正則化
• L2正則化

ⅳ.教師あり学習②（ロジスティック回帰）

• ロジット
• シグモイド関数
• ロジスティック関数
• ソフトマックス関数
• オッズ/オッズ比

ⅴ.教師あり学習③（サポートベクターマシン）

• サポートベクター
• マージン最大化
• ハードマージン・ソフトマージン
• カーネル法

ⅵ.教師あり学習④（決定木、Random Forest、勾配ブースティング）

• 分類木・回帰木
• CART
• Gini係数
• アンサンブル
• バギング
• ブースティング

ⅶ.教師なし学習①（次元圧縮）

• 主成分分析
• 寄与率
• SNE
• Crowding Problem
• t-SNE

ⅷ.教師なし学習②（クラスタリング）

• k-means
• 階層的クラスタリング
• デンドログラム
• ウォード法
• 群平均法

ⅸ.機械学習の課題（過剰適合・過少適合）

• 汎化誤差
• 訓練誤差
• バイアス
• バリアンス
• 正則化
• 次元の呪い

ⅹ.検証集合（訓練データ・検証データ・テストデータ）

• 訓練誤差
• 汎化誤差

ⅹ.検証集合（交差検証）

• ホールドアウト法
• k-分割交差検証法

ⅺ.性能指標

• 正解率(Accuracy)
• 適合率(Precision)
• 再現率(Recall)
• F値
• ROC曲線
• AUC
• Intersection-over-Union (IoU)
• mean Average Precision(mAP)
• 多クラス分類の評価指標（micro平均/macro平均）
• RMSE/MSE
• MAE
• 混同行列
• パープレキシティ

３．深層学習の基礎

（１）順伝播型ネットワーク

ⅰ.多層パーセプトロン

• 全結合層
• 重み
• バイアス

ⅱ.出力層と損失関数

• 平均二乗誤差(MSE)
• 平均絶対誤差(MAE)
• バイナリクロスエントロピー
• クロスエントロピー誤差
• ソフトマックス関数
• one-hotベクトル
• マルチラベル分類
• 順序回帰

ⅲ.活性化関数

• シグモイド関数
• 温度パラメータ
• 勾配消失
• ReLU
• Leaky ReLU
• GELU
• tanh
• 双曲線関数

（２）深層モデルのための最適化

ⅰ.基本的なアルゴリズム

• 確率的勾配降下法（SGD）
• 学習率
• 最急降下法
• ミニバッチ
• Pathological Curvature
• Momentum
• Nesterov Accelerated Gradient

ⅱ.誤差逆伝播法

• 誤差逆伝播法
• 連鎖律
• 偏微分によるデルタ
• 勾配消失
• 自動微分
• 計算グラフ

ⅲ.適応的な学習率を持つアルゴリズム

• AdaGrad
• RMSProp
• Adam

ⅳ.パラメータの初期化戦略

• Xavier法/Glorot法
• Kaiming法/He法

（３）深層モデルのための正則化

ⅰ.パラメータノルムペナルティー

• L1正則化
• スパース表現
• L2正則化
• weight decay

ⅱ.確率的削除

• ドロップアウト
• ドロップコネクト

ⅲ.陰的正則化

• 早期終了
• バッチサイズ
• 学習率の調整

（４）畳み込みニューラルネットワーク

ⅰ.畳み込みニューラルネットワーク（基本的な畳み込み演算）

• 単純型細胞と複雑型細胞
• 受容野（receptive field）
• 特徴マップ
• フィルタ
• カーネル
• パディング
• ストライド
• im2col
• チャネル

ⅰ.畳み込みニューラルネットワーク（特別な畳み込み）

• point-wise畳み込み（1×1畳み込み）
• depth-wise畳み込み
• グループ化畳み込み
• アップサンプリングと逆畳み込み

ⅰ.畳み込みニューラルネットワーク（プーリング）

• Max pooling
• Lp pooling
• Global Average Pooling

（５）リカレントニューラルネットワーク

ⅰ.リカレントニューラルネットワーク

• 順伝播の計算
• 逆伝搬の計算（Back Propagation Through Time; BPTT）
• 双方向RNN

ⅱ.ゲート機構

• 勾配消失
• 忘却ゲート
• 入力ゲート
• 出力ゲート
• LSTM（長期記憶と短期記憶）
• GRU
• リセットゲート
• メモリーセル

ⅲ.系列変換

• エンコーダ・デコーダ
• sequence-to-sequence（seq2seq）
• アテンション（注意）機構

（６）Transformer

ⅰ.Transformer

• Self-Attention
• Scaled Dot-Product Attention
• Source Target Attention
• Masked Attention
• Multi-Head Attention
• Positional Encoding

（７）汎化性能向上のためのテクニック

ⅰ.データ集合の拡張（画像のデータ拡張）

• ノイズ付与
• Random Flip
• Random Erase
• Random Crop
• Random Contrast
• Random Brightness
• Random Rotate
• RandAugment
• MixUp

ⅰ.データ集合の拡張（自然言語のデータ拡張）

• EDA
• MixUp

ⅰ.データ集合の拡張（音声のデータ拡張）

• ノイズ付与
• ボリューム変更
• ピッチシフト
• MixUp
• SpecAugment

ⅱ.正規化

• Batch Normalization
• Layer Normalization
• Instance Normalization
• Group Normalization

ⅲ.アンサンブル手法

• バギング
• ブースティング
• ブートストラップ
• スタッキング

ⅳ.ハイパーパラメータの選択（基本的なハイパーパラメータ調整）

• 学習率
• 隠れ層の数 (レイヤー層数)
• ユニット数
• ドロップアウトの割合
• バッチサイズ

ⅳ.ハイパーパラメータの選択（ハイパーパラメータの最適化）

• グリッドサーチ
• ランダムサーチ
• ベイズ最適化

４．深層学習の応用

（１）画像認識

ⅰ.ResNet, WideResNet

• 残差接続（skip-connection）
• ボトルネック構造
• Residual Block

ⅱ.Vision Transformer

• Shifted window
• CLS token
• Position embedding

（２）物体検出

ⅰ.FasterR-CNN, MaskR-CNN

• Bounding Box
• mAP
• ROI
• end-to-end
• 2ステージ検出
• Selective Search
• Fast R-CNN
• Region Proposal Network (RPN)
• Anchor box
• アンカー
• ROI Pooling
• ROI Align
• インスタンスセグメンテーション

ⅱ.YOLO, SSD

• 1ステージ検出
• デフォルトボックス
• Non-Maximum Suppression (NMS)
• ハードネガティブマイニング

ⅲ.FCOS

• アンカーフリー（Anchor-Free）
• Feature Pyramid Network（FPN）
• センターネス（Center-ness）
• アンビギュアスサンプル

（３）セマンティックセグメンテーション

ⅰ.FCN, U-Net

• スキップコネクション
• アップサンプリング
• インスタンスセグメンテーション
• パノプティックセグメンテーション（Panoptic Segmentation）

（４）自然言語処理

ⅰ.WordEmbedding

• 潜在的意味インデキシング（LSI）
• Word2vec
• n-gram
• skip gram
• CBOW
• ネガティブサンプリング

ⅱ.大規模言語モデル (LLM) ［BERT］

• Masked Language Modeling(MLM)
• Next Sentence Prediction(NSP)
• 事前学習
• ファインチューニング
• positional embeddings
• segment embeddings

ⅱ.大規模言語モデル (LLM) ［GPT-n］

• 基盤モデル
• Next token prediction
• Few Shot learning
• Zero Shot learning
• Prompt Based Learning
• RAG

（５）音声処理

ⅰ.サンプリング、短時間フーリエ変換、メル尺度

• サンプリング定理
• 窓関数
• ナイキスト周波数
• 短時間フーリエ変換
• 高速フーリエ変換
• ケプストラム
• メルスペクトログラム
• MFCC

ⅱ.WaveNet

• 音声合成（Text-to-Speech）
• Dilated Causal Convolution
• GTU（Gated tanh unit）
• Residual Block
• Skip Connection

ⅲ.CTC

• End-to-Endモデル
• ビームサーチ
• 前向き・後ろ向きアルゴリズム

（６）生成モデル

ⅰ.識別モデルと生成モデル

• 識別モデル
• 自己回帰
• 生成モデル
• 拡散モデル
• フローベース生成モデル

ⅱ.オートエンコーダ

• オートエンコーダ
• Denoising autoencoder
• VAE
• Reparameterization Trick
• 変分下限

ⅲ.GAN（基本的なGAN）

• 生成器ネットワーク
• 識別器ネットワーク
• モード崩壊 (mode collapse)
• Wasserstein GAN
• DCGAN

ⅲ.GAN（条件付きGAN）

• Conditional GAN
• CycleGAN

（７）深層強化学習

ⅰ.深層強化学習のモデル

• DQN
• 行動価値関数
• TD学習
• Q学習
• Experience replay
• A3C
• 方策勾配法（Policy Gradient）
• Actor-Critic法

（８）様々な学習方法

ⅰ.転移学習

• ファインチューニング
• ドメイン適応 (domain adaptation)
• ドメインシフト

ⅱ.半教師あり学習と自己教師あり学習

• Self-Training
• Co-Training
• Contrastive learning

ⅲ.能動学習（Active Learning）

• Uncertainty Sampling
• Least Confident
• Representative Sampling

ⅳ.距離学習（Metric Learning）［2サンプルによる比較］

• 表現学習
• Siamese network
• contrastive loss

ⅳ.距離学習（Metric Learning）［3サンプルによる比較］

• Triplet loss
• Triplet network

ⅴ.メタ学習（Meta Learning）［初期値の獲得］

• MAML
• Model-Agnostic
• メタ目的関数（meta-objective）

（９）深層学習の説明性

ⅰ.判断根拠の可視化

• XAI (eXplainable AI)
• Grad-CAM
• Integrated Gradients

ⅱ.モデルの近似

• 局所的な解釈
• 大域的な解釈
• LIME
• SHAP
• ShapleyValue
• 協力ゲーム理論

５．開発・運用環境

（１）エッジコンピューティング

ⅰ.モデルの軽量化

• エッジコンピューティング
• プルーニング（枝刈り）
• 蒸留(Distillation)
• 量子化（Quantization）

（２）分散処理

ⅰ.並列分散処理

• 分散深層学習
• モデル並列化
• データ並列化

ⅱ.連合学習（Federated learning）

• クロスデバイス学習
• クロスサイロ学習
• Federated Averaging
• Local Model
• Global Model

（３）アクセラレータ

ⅰ.デバイスによる高速化

• 単一命令列複数データ (SIMD; Single Instruction Multiple Data)
• 単一命令複数スレッド (SIMT; Single Instruction Multiple Thread)
• 複数命令列複数データ (MIMD; Multiple Instruction Multiple Data)
• GPU (Graphics Processing Unit)
• TPU (Tensor Processing Unit)

（４）環境構築

ⅰ.コンテナ型仮想化

• 仮想化環境
• ホスト型
• ハイパーバイザー型
• コンテナ型
• Docker
• Dockerfile