関連サイト
本書の関連ページが用意されています。
内容紹介
◆深層学習の基本を知る
AI研究の一分野として注目を集める深層学習（ディープラーニング）に関する教科書として世界的な評価を受けている解説書。深層学習の理解に必要な数学、ニューラルネットワークの基礎から、CNN（畳み込みニューラルネットワーク）やRNN（回帰結合型ニューラルネットワーク）などのすでに確立した手法、さらに深層学習の研究まで、深層学習の基礎を理論を含めてしっかり学習したい人に最適な内容になっています。近年の深層学習研究をリードする著名な研究者たちが執筆した入門者必読の書と言えるでしょう。
この本は，深層学習（ディープラーニング）の決定版とも言える教科書で，全世界で多くの読者がこの本を使って勉強しています．著者の3人は深層学習の学術コミュニティでは大変に有名な方です．特に，Yoshua Bengio氏は，近年の深層学習を切り拓き，コミュニティを引っ張ってきた張本人であり，Geoffrey Hinton氏，Yann LeCun氏と並んで，カナディアン・マフィアとも呼ばれる，まさに深層学習の開祖です．また，Ian Goodfellow氏は，Bengio氏の弟子ですが，近年の深層学習分野における偉大な発明である，敵対的生成ネットワーク（GAN）を考案した人物であり，30歳そこそこですでに大きな功績を挙げている人物です．Aaron Courville氏は，Bengio氏の研究室で研究員・助教をやっており，多くの研究業績を持つとともに，Bengio氏の活動を支えてきました．つまり，この本は，Bengio氏を中心とする有名研究者らによって書かれたということになります．
深層学習の分野は，大変に動きが早く，本書のオリジナルである英語版がオンラインに公開されてから，長い間，執筆途中の状態が続き，出版に至りませんでした．その間も，内容の拡充は続き，特に，最初の数学の基礎の部分は大きく追加され，本書を読むにあたって前提となる知識も多く収録されました．本書は，数学の基礎から，ニューラルネットワークの基礎，CNNやRNNなどのすでに確立した手法，そして，深層学習の研究という流れで本書は構成されています．特に，最終の20章の深層生成モデルが，Ian Goodfellow氏の専門とするところであり，ここが本書の最高潮とも言える部分です．
本書でもカバーされていない話題として，例えば，転移学習や蒸留，深層学習における目的関数の性質，圧縮や高速化などの実装上の課題，深層強化学習などが挙げられます．しかし，深層学習の基礎を勉強するために必要なことはカバーされており，特に理論も含めてしっかり勉強したい方には最適の本だと思います．
（「まえがき」より）
書誌情報
- 著者: Ian Goodfellow, Yoshua Bengio, Aaron Courville(著), 岩澤有祐, 鈴木雅大, 中山浩太郎, 松尾豊(監訳), 黒滝紘生, 河野慎, 味曽野雅史, 保住純, 野中尚輝, 冨山翔司, 角田貴大(訳)
- 発行日: 2018-03-07 (紙書籍版発行日: 2018-03-07)
- 最終更新日: 2018-03-14
- バージョン: 1.0.1
- ページ数: 600ページ(PDF版換算)
- 対応フォーマット: PDF
- 出版社: アスキードワンゴ
対象読者
著者について
Ian Goodfellow
Research Scientist at OpenAI.
Yoshua Bengio
Professor of Computer Science at the Université de Montréal.
Aaron Courville
Assistant Professor of Computer Science at the Université de Montréal.
岩澤有祐
東京大学工学系研究科技術経営戦略学専攻特任研究員
監訳，第9章，第15章
鈴木雅大
東京大学工学系研究科技術経営戦略学専攻
監訳，本書冒頭（ウェブサイト，謝辞，表記），第I部冒頭，第II部冒頭，第III部冒頭，第16章，第17章，第18章，第19章，第20章
中山浩太郎
東京大学工学系研究科技術経営戦略学専攻特任講師
監訳，第12章
松尾豊
東京大学工学系研究科技術経営戦略学専攻特任准教授
監訳，まえがき，第1章
黒滝紘生
東京大学工学系研究科技術経営戦略学専攻
第2章，第13章，第14章
河野慎
慶應義塾大学政策・メディア研究科
第3章，第7章
味曽野雅史
東京大学情報理工学系研究科システム情報学専攻
第4章，第6章
保住純
東京大学工学系研究科技術経営戦略学専攻
第5章
野中尚輝
東京大学工学系研究科技術経営戦略学専攻
第8章，第11章
冨山翔司
東京大学工学系研究科技術経営戦略学専攻
第10章
角田貴大
オックスフォード大学物理学科物性物理学専攻
第20章
目次
第1章 はじめに
- 1.1 誰がこの本を読むべきか
- 1.2 深層学習の動向の歴史
第I部 応用数学と機械学習の基礎
第2章 線形代数
- 2.1 スカラー，ベクトル，行列，テンソル
- 2.2 行列とベクトルの乗算
- 2.3 単位行列と逆行列
- 2.4 線形従属と張る空間
- 2.5 ノルム
- 2.6 特殊な行列とベクトル
- 2.7 固有値分解
- 2.8 特異値分解
- 2.9 ムーア・ペンローズ擬似逆行列
- 2.10 トレース演算子
- 2.11 行列式
- 2.12 例：主成分分析
第3章 確率と情報理論
- 3.1 なぜ確率なのか
- 3.2 確率変数
- 3.3 確率分布
- 3.4 周辺確率
- 3.5 条件付き確率
- 3.6 条件付き確率の連鎖律
- 3.7 独立と条件付き独立
- 3.8 期待値，分散と共分散
- 3.9 一般的な確率分布
- 3.10 一般的な関数の有用な性質
- 3.11 ベイズ則
- 3.12 連続変数の技術的詳細
- 3.13 情報理論
- 3.14 構造化確率モデル
第4章 数値計算
- 4.1 オーバーフローとアンダーフロー
- 4.2 悪条件
- 4.3 勾配に基づく最適化
- 4.4 制約付き最適化
- 4.5 例：線形最小二乗法
第5章 機械学習の基礎
- 5.1 学習アルゴリズム
- 5.2 容量，過剰適合，過少適合
- 5.3 ハイパーパラメータと検証集合
- 5.4 推定量，バイアス，バリアンス
- 5.5 最尤推定
- 5.6 ベイズ統計
- 5.7 教師あり学習アルゴリズム
- 5.8 教師なし学習アルゴリズム
- 5.9 確率的勾配降下法
- 5.10 機械学習アルゴリズムの構築
- 5.11 深層学習の発展を促す課題
第II部 深層ネットワーク：現代的な実践
第6章 深層順伝播型ネットワーク
- 6.1 例：XORの学習
- 6.2 勾配に基づく学習
- 6.3 隠れユニット
- 6.4 アーキテクチャの設計
- 6.5 誤差逆伝播法およびその他の微分アルゴリズム
- 6.6 歴史ノート
第7章 深層学習のための正則化
- 7.1 パラメータノルムペナルティ
- 7.2 条件付き最適化としてのノルムペナルティ
- 7.3 正則化と制約不足問題
- 7.4 データ集合の拡張
- 7.5 ノイズに対する頑健性
- 7.6 半教師あり学習
- 7.7 マルチタスク学習
- 7.8 早期終了
- 7.9 パラメータ拘束とパラメータ共有
- 7.10 スパース表現
- 7.11 バギングやその他のアンサンブル手法
- 7.12 ドロップアウト
- 7.13 敵対的学習
- 7.14 接距離，接線伝播法，そして多様体接分類器
第8章 深層モデルの訓練のための最適化
- 8.1 学習と純粋な最適化の差異
- 8.2 ニューラルネットワーク最適化の課題
- 8.3 基本的なアルゴリズム
- 8.4 パラメータの初期化戦略
- 8.5 適応的な学習率を持つアルゴリズム
- 8.6 二次手法の近似
- 8.7 最適化戦略とメタアルゴリズム
第9章 畳み込みネットワーク
- 9.1 畳み込み処理
- 9.2 モチベーション
- 9.3 プーリング
- 9.4 無限に強い事前分布としての畳み込みとプーリング
- 9.5 基本的な畳み込み関数の変種
- 9.6 構造出力
- 9.7 データの種類
- 9.8 効率的な畳み込みアルゴリズム
- 9.9 ランダムあるいは教師なし特徴量
- 9.10 畳み込みネットワークの神経科学的基礎
- 9.11 畳み込みネットワークと深層学習の歴史
第10章 系列モデリング：回帰結合型ニューラルネットワークと再帰型ネットワーク
- 10.1 計算グラフの展開
- 10.2 回帰結合型ニューラルネットワーク
- 10.3 双方向RNN
- 10.4 Encoder-DecoderとSequence-to-Sequence
- 10.5 深層回帰結合型ネットワーク
- 10.6 再帰型ニューラルネットワーク
- 10.7 長期依存性の課題
- 10.8 エコーステートネットワーク
- 10.9 複数時間スケールのためのLeakyユニットとその他の手法
- 10.10 長期短期記憶とその他のゲート付きRNN
- 10.11 長期依存性の最適化
- 10.12 明示的なメモリ
第11章 実用的な方法論
- 11.1 性能指標
- 11.2 初期のベースラインモデル
- 11.3 データの追加収集の判断
- 11.4 ハイパーパラメータの選択
- 11.5 デバッグの戦略
- 11.6 例：複数桁の数字認識
第12章 アプリケーション
- 12.1 大規模深層学習
- 12.2 コンピュータビジョン
- 12.3 音声認識
- 12.4 自然言語処理
- 12.5 その他のアプリケーション
第III部 深層学習の研究
第13章 線形因子モデル
- 13.1 確率的PCAと因子分析
- 13.2 独立成分分析（ICA）
- 13.3 Slow Feature Analysis
- 13.4 スパース符号化
- 13.5 PCAの多様体解釈
第14章 自己符号化器
- 14.1 不完備な自己符号化器
- 14.2 正則化付き自己符号化器
- 14.3 表現力，レイヤーサイズ，および深さ
- 14.4 確率的な符号化器と復号化器
- 14.5 雑音除去自己符号化器
- 14.6 自己符号化器による多様体学習
- 14.7 縮小自己符号化器
- 14.8 予測スパース分解
- 14.9 自己符号化器の応用
第15章 表現学習
- 15.1 層ごとの貪欲教師なし事前学習
- 15.2 転移学習とドメイン適応
- 15.3 半教師あり学習による原因因子のひもとき
- 15.4 分散表現
- 15.5 深さがもたらす指数関数的な増大
- 15.6 潜在的原因発見のための手掛かり
第16章 深層学習のための構造化確率モデル
- 16.1 非構造化モデルの課題
- 16.2 グラフを使用したモデル構造の記述
- 16.3 グラフィカルモデルからのサンプリング
- 16.4 構造化モデリングの利点
- 16.5 依存関係の学習
- 16.6 推論と近似推論
- 16.7 構造化確率モデルへの深層学習のアプローチ
第17章 モンテカルロ法
- 17.1 サンプリングとモンテカルロ法
- 17.2 重点サンプリング
- 17.3 マルコフ連鎖モンテカルロ法
- 17.4 ギブスサンプリング
- 17.5 分離されたモード間の混合の課題
第18章 分配関数との対峙
- 18.1 対数尤度の勾配
- 18.2 確率的最尤法とコントラスティブ・ダイバージェンス
- 18.3 擬似尤度
- 18.4 スコアマッチングとレシオマッチング
- 18.5 雑音除去スコアマッチング
- 18.6 雑音対照推定
- 18.7 分配関数の推定
第19章 近似推論
- 19.1 最適化としての推論
- 19.2 期待値最大化
- 19.3 MAP推定とスパース符号化
- 19.4 変分推論と変分学習
- 19.5 学習による近似推論（Learned approximate inference）
第20章 深層生成モデル
- 20.1 ボルツマンマシン
- 20.2 制限付きボルツマンマシン
- 20.3 深層信念ネットワーク
- 20.4 深層ボルツマンマシン
- 20.5 実数値データに対するボルツマンマシン
- 20.6 畳み込みボルツマンマシン
- 20.7 構造化出力や系列出力のためのボルツマンマシン
- 20.8 その他のボルツマンマシン
- 20.9 確率的演算を通る誤差逆伝播
- 20.10 有向生成ネットワーク
- 20.11 自己符号化器からのサンプリング
- 20.12 生成的確率ネットワーク
- 20.13 他の生成スキーム
- 20.14 生成モデルの評価
- 20.15 結論