関連サイト
本書の関連ページが用意されています。
内容紹介
本書ではベイズ最適化の理論・アルゴリズムを基礎から応用まで詳細に説明し、ブラックボックス最適化ソフトウェア「Optuna」の利用方法も紹介しています。増補改訂版では、Optunaのバージョンアップに合わせて第4章を全面的に修正・加筆。ベイズ最適化の実践・開発をサポートしています。また第5章では「リグレット解析」と呼ばれる理論を新たに取り上げました。ベイズ最適化を学ぶための基礎体力が身につけられるよう、理論と実践の両面を更に充実させています。
書誌情報
- 著者: 今村 秀明, 松井 孝太
- 発行日: 2025-08-01 (紙書籍版発行日: 2025-07-31)
- 最終更新日: 2025-08-01
- バージョン: 1.0.0
- ページ数: 368ページ(PDF版換算)
- 対応フォーマット: PDF, EPUB
- 出版社: 近代科学社
対象読者
ベイズ最適化,ベイズ統計,統計学,AI,機械学習,実験計画,ブラックボックス最適化,ハイパーパラメータ最適化,ガウス過程回帰モデル,獲得関数,Optuna,エントロピー探索,ベイズ線形回帰 ,カーネル関数,モンテカルロ法,最適化アルゴリズム,ベイズモデリング,数理最適化,勾配法に興味がある人
著者について
今村 秀明
2018年 東京大学理学部情報科学科卒
2020年 東京大学大学院情報理工学系研究科コンピュータ科学専攻修士号
2020年 4 月から株式会社 Preferred Networks リサーチャー．
学生時代はベイズ最適化の理論などを研究．現在は同 AutoML チームにてブラックボックス最適化ソフトウェア Optuna の開発および汎用原子レベルシミュレータ Matlantis を利用したブラックボックス最適化の応用研究開発に従事．
著書に「Optunaによるブラックボックス最適化」
松井 孝太
2014年 名古屋大学大学院情報科学研究科計算機数理科学専攻博士課程
後期課程単位取得退学
2017年 博士（情報科学）
2025年4月から京都大学大学院医学研究科社会健康医学系専攻医療統計学分野准教授．同5月から滋賀大学データサイエンス・AIイノベーション研究推進センター 特任准教授（兼任）．専門は統計的機械学習，生物統計学．特に医学や材料科学などのスモールデータな領域のための，転移学習や適応的実験計画の手法を用いたデータ解析手法の研究開発に従事．
目次
改訂にあたって
はじめに
第1章 機械学習による適応的実験計画とベイズ最適化
- 1.1 データ駆動型実験科学とベイズ最適化
- 1.1.1 実験計画法からベイズ最適化へ
- 1.1.2 ベイズ最適化を取り巻く環境
- 1.2 ブラックボックス最適化とハイパーパラメータ最適化
- 1.2.1 教師あり学習の問題設定と予測モデルの訓練
- 1.2.2 機械学習モデルのハイパーパラメータ最適化
- 1.2.3 ハイパーパラメータ最適化のブラックボックス最適化としての定式化
- 1.3 ベイズ最適化
- 1.3.1 獲得関数の設計と最適化のアイデア
第2章 ブラックボックス関数のベイズモデリング
- 2.1 ベイズ線形回帰モデル
- 2.1.1 線形回帰モデル：二乗誤差最小化の視点
- 2.1.2 線形回帰モデル：尤度関数最大化の視点
- 2.1.3 ベイズ線形回帰モデル
- 2.2 ガウス過程回帰モデル
- 2.2.1 ベイズ線形回帰モデルからガウス過程回帰モデルへ
- 2.2.2 ガウス過程の例と基本的な性質
- 2.2.3 ガウス過程モデルの推論
- 2.2.4 ガウス過程の平均関数の設定
- 2.2.5 ガウス過程のカーネル関数の設定
第3章 ベイズ最適化のアルゴリズム
- 3.1 はじめに
- 3.2 改善確率量獲得関数
- 3.3 期待改善量獲得関数
- 3.4 信頼下限獲得関数
- 3.5 トンプソン抽出獲得関数
- 3.5.1 定義と解釈
- 3.5.2 素朴な計算方法
- 3.5.3 ガウス過程の疎スペクトル近似
- 3.5.4 疎スペクトル近似を用いた計算方法
- 3.5.5 疎スペクトル近似を用いた効率的な計算方法
- 3.5.6 獲得関数の性質
- 3.6 エントロピー探索獲得関数
- 3.6.1 準備と定義
- 3.6.2 獲得関数の計算方法
- 3.6.3 エントロピー探索の問題点
- 3.7 予測エントロピー探索獲得関数
- 3.7.1 準備と定義
- 3.7.2 事後分布の微分エントロピー
- 3.7.3 疎スペクトル近似によるモンテカルロ積分
- 3.7.4 p(y|Dn, x, x*ℓ)の微分エントロピー
- 3.7.5 獲得関数の計算方法のまとめと計算量
- 3.7.6 獲得関数の性質
- 3.8 ベイズ最適化の終了条件
- 3.9 出力の生成方法
- 3.10 ハイパーパラメータの取り扱い
- 3.10.1 統計モデルのハイパーパラメータ
- 3.10.2 ベイズ的なモデル選択
- 3.10.3 最尤推定に基づく手法
- 3.10.4 ハイパーパラメータのベイズ推論に基づく手法
第4章 Optunaによるベイズ最適化の実装方法
- 4.1 Optunaとは
- 4.2 Optunaの基礎的な使い方
- 4.2.1 Optunaのインストール方法
- 4.2.2 例：簡単な目的関数の最適化
- 4.2.3 例：機械学習のハイパーパラメータ最適化
- 4.3 Optunaにおけるベイズ最適化
- 4.3.1 Optunaにおけるブラックボックス最適化の全体像
- 4.3.2 Optunaの用語
- 4.3.3 最適化アルゴリズムを切り替える
- 4.4 GPSamplerの基礎的な使い方
- 4.4.1 GPSamplerの利用方法
- 4.4.2 GPSamplerのアルゴリズム
- 4.5 GPSamplerの発展的な使い方
- 4.5.1 GPSamplerのソースコード解説
- 4.5.2 GPSamplerのカスタマイズ方法
- 4.6 Optunaの発展的な使い方
- 4.6.1 最適化結果の保存
- 4.6.2 最適化結果の分析
- 4.6.3 終了条件の変更
- 4.6.4 制約付き最適化
- 4.6.5 多目的最適化
- 4.6.6 並列最適化
- 4.7 OptunaHubの利用
第5章 ベイズ最適化の理論
- 5.1 アルゴリズムの性能評価に対する二つのアプローチ
- 5.2 ベイズ最適化アルゴリズムの評価指標：リグレットの定義
- 5.2.1 最適化問題におけるリグレットの概念
- 5.2.2 単純リグレットと累積リグレット
- 5.3 ゼロリグレット性の証明のための準備
- 5.3.1 ベイズ的設定
- 5.3.2 最大情報獲得量
- 5.3.3 頻度論的設定
- 5.4 信頼上限アルゴリズムのリグレット解析
- 5.4.1 最大情報獲得量に基づくリグレットの上界評価
- 5.4.2 最大情報獲得量の解析
- 5.4.3 信頼上限アルゴリズムのゼロリグレット性
第6章 制約付きベイズ最適化
- 6.1 制約付き最適化とは
- 6.2 制約付き最適化の問題設定
- 6.3 制約を考慮した目的関数のモデリング
- 6.4 制約付き期待改善量
- 6.5 制約付き予測エントロピー探索
第7章 多目的ベイズ最適化
- 7.1 多目的最適化とは
- 7.2 多目的最適化の問題設定
- 7.3 多目的最適化における目的関数のモデリング
- 7.4 期待超体積改善量
第8章 高次元空間でのベイズ最適化
- 8.1 高次元空間上でのベイズ最適化の課題
- 8.2 目的関数の加法的分解に基づく方法
- 8.2.1 加法的ガウス過程モデルとその推論
- 8.2.2 加法的ガウス過程モデルに基づくベイズ最適化
- 8.3 入力空間の次元削減に基づく方法
- 8.3.1 関数の有効次元
- 8.3.2 ランダム埋め込みに基づくベイズ最適化
- 8.4 局所的なモデリングに基づく方法
- 8.4.1 信頼領域法：目的関数の局所近似モデルの利用
- 8.4.2 信頼領域ベイズ最適化
第9章 並列ベイズ最適化
- 9.1 並列最適化とは
- 9.2 並列最適化における問題点
- 9.3 嘘つき法
- 9.4 局所ペナルティ法
- 9.5 モンテカルロ獲得関数
- 9.5.1 再パラメータ化によるトリック
- 9.5.2 モンテカルロ期待改善量
付録
A.1 数理最適化と勾配法の基礎
- A.1.1 数理最適化問題
- A.1.2 最適性の条件
- A.1.3 勾配法の基礎
A.2 ブラックボックス最適化のための種々の方法
- A.2.1 ブラックボックス最適化のための古典的アプローチ
- A.2.2 Nelder-Mead法
- A.2.3 共分散適応進化戦略(CMA-ES)