ゼロから作るDeep Learning ❸

まえがき

第1ステージ　微分を自動で求める
    ステップ1　箱としての変数
        1.1　変数とは
        1.2　Variableクラスの実装
        1.3　【補足】NumPyの多次元配列
    ステップ2　変数を生み出す関数
        2.1　関数とは
        2.2　Functionクラスの実装
        2.3　Functionクラスを使う
    ステップ3　関数の連結
        3.1　Exp関数の実装
        3.2　関数を連結する
    ステップ4　数値微分
        4.1　微分とは
        4.2　数値微分の実装
        4.3　合成関数の微分
        4.4　数値微分の問題点
    ステップ5　バックプロパゲーションの理論
        5.1　チェインルール
        5.2　バックプロパゲーションの導出
        5.3　計算グラフで表す
    ステップ6　手作業によるバックプロパゲーション
        6.1　Variableクラスの追加実装
        6.2　Functionクラスの追加実装
        6.3　SquareとExpクラスの追加実装
        6.4　バックプロパゲーションの実装
    ステップ7　バックプロパゲーションの自動化
        7.1　逆伝播の自動化のために
        7.2　逆伝播を試す
        7.3　backwardメソッドの追加
    ステップ8　再帰からループへ
        8.1　現時点のVariableクラス
        8.2　ループを使った実装
        8.3　動作確認
    ステップ9　関数をより便利に
        9.1　Pythonの関数として利用
        9.2　backwardメソッドの簡略化
        9.3　ndarrayだけを扱う
    ステップ10　テストを行う
        10.1　Pythonのユニットテスト
        10.2　square関数の逆伝播のテスト
        10.3　勾配確認による自動テスト
        10.4　テストについてのまとめ
    コラム　：自動微分

第2ステージ　自然なコードで表現する
    ステップ11　可変長の引数（順伝播編）
        11.1　Functionクラスの修正
        11.2　Addクラスの実装
    ステップ12　可変長の引数（改善編）
        12.1　1つ目の改善：関数を使いやすく
        12.2　2つ目の改善：関数を実装しやすく
        12.3　add関数の実装
    ステップ13　可変長の引数（逆伝播編）
        13.1　可変長引数に対応したAddクラスの逆伝播
        13.2　Variableクラスの修正
        13.3　Squareクラスの実装
    ステップ14　同じ変数を繰り返し使う
        14.1　問題の原因
        14.2　解決策
        14.3　微分をリセットする
    ステップ15　複雑な計算グラフ（理論編）
        15.1　逆伝播の正しい順番
        15.2　現状のDeZero
        15.3　関数の優先度
    ステップ16　複雑な計算グラフ（実装編）
        16.1　世代の追加
        16.2　世代順に取り出す
        16.3　Variableクラスのbackward
        16.4　動作確認
    ステップ17　メモリ管理と循環参照
        17.1　メモリ管理
        17.2　参照カウント方式のメモリ管理
        17.3　循環参照
        17.4　weakrefモジュール
        17.5　動作確認
    ステップ18　メモリ使用量を減らすモード
        18.1　不要な微分は保持しない
        18.2　Functionクラスの復習
        18.3　Configクラスによる切り替え
        18.4　モードを切り替える
        18.5　with文による切り替え
    ステップ19　変数を使いやすく
        19.1　変数に名前を付ける
        19.2　ndarrayのインスタンス変数
        19.3　len関数とprint関数
    ステップ20　演算子のオーバーロード（1）
        20.1　Mulクラスの実装
        20.2　演算子のオーバーロード
    ステップ21　演算子のオーバーロード（2）
        21.1　ndarrayと一緒に使う
        21.2　floatやintと一緒に使う
        21.3　問題点1：左項がfloatやintの場合
        21.4　問題点2：左項がndarrayインスタンスの場合
    ステップ22　演算子のオーバーロード（3）
        22.1　負数
        22.2　引き算
        22.3　割り算
        22.4　累乗
    ステップ23　パッケージとしてまとめる
        23.1　ファイル構成
        23.2　コアクラスへの移し替え
        23.3　演算子のオーバーロード
        23.4　実際の__init__.pyファイル
        23.5　dezeroのインポート
    ステップ24　複雑な関数の微分
        24.1　Sphere関数
        24.2　matyas関数
        24.3　Goldstein-Price関数
    コラム　：Define-by-Run

第3ステージ　高階微分を実現する
    ステップ25　計算グラフの可視化（1）
        25.1　Graphvizのインストール
        25.2　DOT言語でグラフを書く
        25.3　ノードの属性を指定する
        25.4　ノードを結ぶ
    ステップ26　計算グラフの可視化（2）
        26.1　可視化コードの使用例
        26.2　計算グラフからDOT言語への変換
        26.3　画像化までを含めた変換
        26.4　動作確認
    ステップ27　テイラー展開の微分
        27.1　sin関数の実装
        27.2　テイラー展開の理論
        27.3　テイラー展開の実装
        27.4　計算グラフの可視化
    ステップ28　関数の最適化
        28.1　ローゼンブロック関数
        28.2　微分を求める
        28.3　勾配降下法の実装
    ステップ29　ニュートン法を用いた最適化（手計算）
        29.1　ニュートン法による最適化の理論
        29.2　ニュートン法による最適化の実装
    ステップ30　高階微分（準備編）
        30.1　確認作業①：Variableのインスタンス変数
        30.2　確認作業②：Functionクラス
        30.3　確認作業③：Variableクラスの逆伝播
    ステップ31　高階微分（理論編）
        31.1　逆伝播で行う計算
        31.2　逆伝播で計算グラフを作る方法
    ステップ32　高階微分（実装編）
        32.1　新しいDeZeroへ
        32.2　関数クラスの逆伝播
        32.3　より効率的な逆伝播へ（モードの追加）
        32.4　__init__.pyの変更
    ステップ33　ニュートン法を使った最適化（自動計算）
        33.1　2階微分を求める
        33.2　ニュートン法による最適化
    ステップ34　sin関数の高階微分
        34.1　sin関数の実装
        34.2　cos関数の実装
        34.3　sin関数の高階微分
    ステップ35　高階微分の計算グラフ
        35.1　tanh関数の微分
        35.2　tanh関数の実装
        35.3　高階微分の計算グラフの可視化
    ステップ36　高階微分以外の用途
        36.1　doublebackpropの用途
        36.2　ディープラーニングの研究での使用例
    コラム　：ニュートン法とdoublebackpropの補足

第4ステージ　ニューラルネットワークを作る
    ステップ37　テンソルを扱う
        37.1　要素ごとの計算
        37.2　テンソルを使用したときのバックプロパゲーション
        37.3　【補足】テンソルを使用したときのバックプロパゲーション
    ステップ38　形状を変える関数
        38.1　reshape関数の実装
        38.2　Variableからreshapeを使う
        38.3　行列の転置
        38.4　【補足】実際のtranspose関数
    ステップ39　和を求める関数
        39.1　sum関数の逆伝播
        39.2　sum関数の実装
        39.3　axisとkeepdims
    ステップ40　ブロードキャストを行う関数
        40.1　broadcast_to関数とsum_to関数
        40.2　DeZeroのbroadcast_toとsum_to関数
        40.3　ブロードキャストへの対応
    ステップ41　行列の積
        41.1　ベクトルの内積と行列の積
        41.2　行列の形状チェック
    ステップ42　線形回帰
        42.1　トイ・データセット
        42.2　線形回帰の理論
        42.3　線形回帰の実装
        42.4　【補足】DeZeroのmean_squared_error関数
    ステップ43　ニューラルネットワーク
        43.1　DeZeroのlinear関数
        43.2　非線形なデータセット
        43.3　活性化関数とニューラルネットワーク
        43.4　ニューラルネットワークの実装
    ステップ44　パラメータをまとめるレイヤ
        44.1　Parameterクラスの実装
        44.2　Layerクラスの実装
        44.3　Linearクラスの実装
        44.4　Layerを使ったニューラルネットワークの実装
    ステップ45　レイヤをまとめるレイヤ
        45.1　Layerクラスの拡張
        45.2　Modelクラス
        45.3　Modelを使って問題を解く
        45.4　MLPクラス
    ステップ46　Optimizerによるパラメータ更新
        46.1　Optimizerクラス
        46.2　SGDクラスの実装
        46.3　SGDクラスを使って問題を解く
        46.4　SGD以外の最適化手法
    ステップ47　ソフトマックス関数と交差エントロピー誤差
        47.1　スライス操作のための関数
        47.2　ソフトマックス関数
        47.3　交差エントロピー誤差
    ステップ48　多値分類
        48.1　スパイラル・データセット
        48.2　学習用のコード
    ステップ49　Datasetクラスと前処理
        49.1　Datasetクラスの実装
        49.2　大きいデータセットの場合
        49.3　データの連結
        49.4　学習用のコード
        49.5　データセットの前処理
    ステップ50　ミニバッチを取り出すDataLoader
        50.1　イテレータとは
        50.2　DataLoaderを使う
        50.3　accuracy関数の実装
        50.4　スパイラル・データセットの学習コード
    ステップ51　MNISTの学習
        51.1　MNISTデータセット
        51.2　MNISTの学習
        51.3　モデルの改良
    コラム　：ディープラーニングのフレームワーク

第5ステージ　DeZeroで挑む
    ステップ52　GPU対応
        52.1　CuPyのインストールと使用方法
        52.2　cudaモジュール
        52.3　Variable/Layer/DataLoaderクラスの追加実装
        52.4　関数の追加実装
        52.5　GPUでMNISTを学習
    ステップ53　モデルの保存と読み込み
        53.1　NumPyのsave関数とload関数
        53.2　Layerクラスのパラメータをフラットに
        53.3　Layerクラスのsave関数とload関数
    ステップ54　Dropoutとテストモード
        54.1　Dropoutとは
        54.2　InvertedDropout
        54.3　テストモードの追加
        54.4　Dropoutの実装
    ステップ55　CNNのメカニズム（1）
        55.1　CNNのネットワーク構造
        55.2　畳み込み演算
        55.3　パディング
        55.4　ストライド
        55.5　出力サイズの計算方法
    ステップ56　CNNのメカニズム（2）
        56.1　3階テンソル
        56.2　ブロックで考える
        56.3　ミニバッチ処理
        56.4　プーリング層
    ステップ57　conv2d関数とpooling関数
        57.1　im2colによる展開
        57.2　conv2d関数の実装
        57.3　Conv2dレイヤの実装
        57.4　pooling関数の実装
    ステップ58　代表的なCNN（VGG16）
        58.1　VGG16の実装
        58.2　学習済み重みデータ
        58.3　学習済みのVGG16を使う
    ステップ59　RNNによる時系列データ処理
        59.1　RNNレイヤの実装
        59.2　RNNモデルの実装
        59.3　「つながり」を切るためのメソッド
        59.4　サイン波の予測
    ステップ60　LSTMとデータローダ
        60.1　時系列データのためのデータローダ
        60.2　LSTMレイヤの実装
    コラム　：これから先へ

付録A　インプレース演算（ステップ14の補足）
        A.1　問題の確認
        A.2　コピーと上書きについて
        A.3　DeZeroの逆伝播では

付録B　get_item関数の実装（ステップ47の補足）

付録C　GoogleColaboratoryで動かす

おわりに
参考文献
索引