本書は、「多腕バンディット問題」と呼ばれる問題を解くためのアルゴリズムを、Webサイトの最適化という例をもとに解説する書籍です。
バンディットアルゴリズムに関する基本的な知識について、既存研究についての理解を十分に得て、多腕バンディット問題についての資料を自力で読めるようにすることを目的としています。 A/Bテストのような2者択一ではなく、新しいアイデアの探索と、既存のアイデアから最大限の利益を引きだすという矛盾する2つの問題を解決するための一助となるでしょう。なお本書はEbookのみの販売となります。

yuku_tさんによる本書の英語版とバンディットアルゴリズムに関するまとめ

まえがき

1章　2種類のキャラクター：「探求」と「活用」
    科学者とビジネスマン
    「探求」と「活用」のジレンマ

2章　多腕バンディットアルゴリズムを使うわけ
    したいことは何か
    ビジネス分析を行う科学者：Web上のA／Bテストについて

3章　Epsilion-Greedyアルゴリズム
    Epsilion-Greedyアルゴリズムとは何か
    ロゴの選択問題を抽象的に説明する
    Epsilion-Greedyアルゴリズムの実装
    Epsilion-Greedyアルゴリズムを批評的に考えてみる

4章　バンディットアルゴリズムのデバッグ法
    モンテカルロ法を使ったバンディットアルゴリズムの単体テスト
    バンディット問題の腕のシミュレーション
    モンテカルロ法で得た結果の分析方法
    練習問題

5章　Softmaxアルゴリズム
    Softmaxアルゴリズムとは何か
    Softmaxアルゴリズムの実装
    Softmaxアルゴリズムの性能を測定する
    Softmaxアルゴリズムをアニールする
    練習問題

6章　UCB：Upper Confidence Boundアルゴリズム
    UCBアルゴリズムとは何か
    UCBの実装
    バンディットアルゴリズムの1対1比較
    練習問題

7章　実際にバンディット問題を使用する：複雑性と混乱
    A／Aテスト
    同時に実験を行う
    継続的な実験 vs. 期間を区切ったテスト
    悪い成功の測定値
    適切な成功の測定値がある問題のスケール調整
    値を知的に初期化する
    シミュレーションの改善
    変化する世界
    相互関係があるバンディット
    文脈依存のバンディット
    サイトの規模に合わせてバンディットアルゴリズムを実装する

8章　まとめ
    人生に必要なことをバンディットアルゴリズムから学ぶ
    バンディットアルゴリズムの分類
    参考文献と関連トピック