Pythonではじめる機械学習
――scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎

[cover photo]
オライリー・ジャパンで書籍を購入:
定価3,672円

Ebook Storeで電子版を購入:
価格2,938円

Pythonの機械学習用ライブラリの定番、scikit-learnのリリースマネージャを務めるなど開発に深く関わる著者が、scikit-learnを使った機械学習の方法を、ステップバイステップで解説します。ニューラルネットを学ぶ前に習得しておきたい機械学習の基礎をおさえるとともに、優れた機械学習システムを実装し精度の高い予測モデルを構築する上で重要となる「特徴量エンジニアリング」と「モデルの評価と改善」について多くのページを割くなど、従来の機械学習の解説書にはない特長を備えています。

関連書籍

IPythonデータサイエンスクックブック
Pythonからはじめる数学入門
Pythonチュートリアル 第3版
Pythonではじめるデータラングリング
Pythonデータサイエンスハンドブック
PythonによるWebスクレイピング
Python文法詳解
scikit-learnとTensorFlowによる実践機械学習
実践 Python 3
戦略的データサイエンス入門
データサイエンス講義
入門 Python 3

目次
まえがき

1章 はじめに
    1.1 なぜ機械学習なのか?
        1.1.1 機械学習問題へのアプローチ械学習で解決可能な問題
        1.1.2 タスクを知り、データを知る
    1.2 なぜ Pythonなのか?
    1.3 scikit-learn
        1.3.1 scikit-learnのインストール
    1.4 必要なライブラリとツール
        1.4.1 Jupyter Notebook
        1.4.2 NumPy
        1.4.3 SciPy
        1.4.4 matplotlib
        1.4.5 pandas
        1.4.6 mglearn
    1.5 Python 2 vs. Python 3
    1.6 本書で用いているバージョン
    1.7 最初のアプリケーション:アイリスのクラス分類
        1.7.1 データを読む
        1.7.2 成功度合いの測定:訓練データとテストデータ
        1.7.3 最初にすべきこと:データをよく観察する
        1.7.4 最初のモデル: k-最近傍法
        1.7.5 予測を行う
        1.7.6 モデルの評価
    1.8 まとめと今後の展望

2章 教師あり学習
    2.1 クラス分類と回帰
    2.2 汎化、過剰適合、適合不足
        2.2.1 モデルの複雑さとデータセットの大きさ
    2.3 教師あり機械学習アルゴリズム
        2.3.1 サンプルデータセット
        2.3.2 k-最近傍法
        2.3.3 線形モデル
        2.3.4 ナイーブベイズクラス分類器
        2.3.5 決定木
        2.3.6 決定木のアンサンブル法
        2.3.7 カーネル法を用いたサポートベクタマシン
        2.3.8 ニューラルネットワーク(ディープラーニング)
    2.4 クラス分類器の不確実性推定
        2.4.1 決定関数( Decision Function)
        2.4.2 確率の予測
        2.4.3 多クラス分類の不確実性
    2.5 まとめと展望

3章 教師なし学習と前処理
    3.1 教師なし学習の種類
    3.2 教師なし学習の難しさ
    3.3 前処理とスケール変換
        3.3.1 さまざまな前処理
        3.3.2 データ変換の適用
        3.3.3 訓練データとテストデータを同じように変換する
        3.3.4 教師あり学習における前処理の効果
    3.4 次元削減、特徴量抽出、多様体学習
        3.4.1 主成分分析( PCA)
        3.4.2 非負値行列因子分解( NMF)
        3.4.3 t-SNEを用いた多様体学習
    3.5 クラスタリング
        3.5.1 k-meansクラスタリング
        3.5.2 凝集型クラスタリング
        3.5.3 DBSCAN
        3.5.4 クラスタリングアルゴリズムの比較と評価
        3.5.5 クラスタリング手法のまとめ
    3.6 まとめと展望

4章 データの表現と特徴量エンジニアリング
    4.1 カテゴリ変数
        4.1.1 ワンホットエンコーディング(ダミー変数)
        4.1.2 数値でエンコードされているカテゴリ
    4.2 ビニング、離散化、線形モデル、決定木
    4.3 交互作用と多項式
    4.4 単変量非線形変換
    4.5 自動特徴量選択
        4.5.1 単変量統計
        4.5.2 モデルベース特徴量選択
        4.5.3 反復特徴量選択
    4.6 専門家知識の利用
    4.7 まとめと展望

5章 モデルの評価と改良
    5.1 交差検証
        5.1.1 scikit-learnでの交差検証
        5.1.2 交差検証の利点
        5.1.3 層化 k分割交差検証と他の戦略
    5.2 グリッドサーチ
        5.2.1 単純なグリッドサーチ
        5.2.2 パラメータの過剰適合の危険性と検証セット
        5.2.3 交差検証を用いたグリッドサーチ
    5.3 評価基準とスコア
        5.3.1 最終的な目標を見失わないこと
        5.3.2 2クラス分類における基準
        5.3.3 多クラス分類の基準
        5.3.4 回帰の基準
        5.3.5 評価基準を用いたモデル選択
    5.4 まとめと展望

6章 アルゴリズムチェーンとパイプライン
    6.1 前処理を行う際のパラメータ選択
    6.2 パイプラインの構築
    6.3 パイプラインを用いたグリッドサーチ
    6.4 汎用パイプラインインターフェイス
        6.4.1 make_pipelineによる簡便なパイプライン生成
        6.4.2 ステップ属性へのアクセス
        6.4.3 GridSearchCV内のパイプラインの属性へのアクセス
    6.5 前処理ステップとモデルパラメータに対するグリッドサーチ
    6.6 グリッドサーチによるモデルの選択
    6.7 まとめと展望

7章 テキストデータの処理
    7.1 文字列として表現されているデータのタイプ
    7.2 例題アプリケーション:映画レビューのセンチメント分析
    7.3 Bag of Wordsによるテキスト表現
        7.3.1 トイデータセットに対する BoW
        7.3.2 映画レビューの BoW
    7.4 ストップワード
    7.5 tf.idfを用いたデータのスケール変換
    7.6 モデル係数の調査
    7.7 1単語よりも大きい単位の Bag-of-Words (n-グラム )
    7.8 より進んだトークン分割、語幹処理、見出し語化
    7.9 トピックモデリングと文書クラスタリング
        7.9.1 LDA(Latent Dirichlet Allocation)
    7.10 まとめと展望

8章 おわりに
    8.1 機械学習問題へのアプローチ
        8.1.1 人間をループに組み込む
    8.2 プロトタイプから運用システムへ
    8.3 運用システムのテスト
    8.4 独自 Estimatorの構築
    8.5 ここからどこへ行くのか
        8.5.1 理論
        8.5.2 他の機械学習フレームワークとパッケージ
        8.5.3 ランキング、推薦システム、その他の学習
        8.5.4 確率モデル、推論、確率プログラミング
        8.5.5 ニューラルネットワーク
        8.5.6 大規模データセットへのスケール
        8.5.7 名誉を得る
    8.6 結論

索引

ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。

1刷正誤表

Pythonではじめる機械学習 第1刷正誤表

2017年7月12日更新

p9、下から5行目
【誤】X = np.linspace(-10, 10, 100)
【正】x = np.linspace(-10, 10, 100)

p10、下から7行目
【誤】
import pandas as pd
【正】
import pandas as pd
from IPython import display

p17、下から13行目
【誤】これらの数値の意味は、配列iris[‘target_names’]で与えられる。
【正】これらの数値の意味は、配列iris_dataset[‘target_names’]で与えられる。

p141、下から3行目
【誤】
# 最初の2つの主成分に対してデータポイントを変換
print("Original shape: {}".format(str(X_scaled.shape)))
print("Reduced shape: {}".format(str(X_pca.shape)))
【正】
# 最初の2つの主成分に対してデータポイントを変換
X_pca = pca.transform(X_scaled)
print("Original shape: {}".format(str(X_scaled.shape)))
print("Reduced shape: {}".format(str(X_pca.shape)))

ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。

2刷正誤表

Pythonではじめる機械学習 第2刷正誤表

2017年12月6日更新

p49、In[28]の直前
【誤】
前述したように、このデータセットには導出された105の特徴量を持つ506のサンプルがある。
【正】
前述したように、このデータセットには導出された104の特徴量を持つ506のサンプルがある。

p54、Out[35]の下
【誤】
さらに、105の特徴量のうちのわずか4つしか使っていない。
【正】
さらに、104の特徴量のうちのわずか4つしか使っていない。

p54、In[36]の5行目(行頭のnを削除)
【誤】
nprint("Test set score: {:.2f}".format(lasso001.score(X_test, y_test)))
【正】
print("Test set score: {:.2f}".format(lasso001.score(X_test, y_test)))

p54、最後
【誤】 105の特徴量のうち、わずか33しか使っていない。
【正】 104の特徴量のうち、わずか33しか使っていない。

p76、6行目
【誤】
ルートから右の枝をたどると、worst radius <= 16.795によって作られるノードには、
【正】
ルートから右の枝をたどると、worst radius > 16.795によって作られるノードには、

p76、10行目
【誤】
ルートから左に行った場合、つまりworst radius > 16.795の場合になるのは、
【正】
ルートから左に行った場合、つまりworst radius <= 16.795の場合になるのは、

p139、12行目
【誤】
このデータセットには特徴量が30もあるので、30×14=420の散布図ができてしまうのだ。
【正】
このデータセットには特徴量が30もあるので、30×29 / 2=435の散布図ができてしまうのだ。

p204、囲みの最後
【誤】
表3-1X_trainy_trainは訓練データと訓練ラベル、X_testy_testはテストデータとテストラベルである。
【正】
表3-1X_trainy_trainは訓練データと訓練ラベル、X_testはテストデータである。

p280、下から7行目
【誤】
ダミークラス分類器のf-値は0.13だが、(ロジスティック回帰では0.89)、「9以外」を陽性とすると、0.90対0.99となってしまい、双方ともかなり良いように見えてしまう。
【正】
ダミークラス分類器のf-値は0.10だが、(ロジスティック回帰では0.89)、「9以外」を陽性とすると、0.91対0.99となってしまい、双方ともかなり良いように見えてしまう。

p283、注意
【誤】
スレッショルドを設定する場合には、テストセットを使わないように注意しよう。
【正】
ここでは話を簡単にするためにテストセットの結果を用いてスレッショルドを設定したが、実際にはテストセットを使ってはいけない。

p331、数式の下4行目
【誤】 ユークリッド距離になるようにスケール変換を行う。
【正】 ユークリッドになるようにスケール変換を行う*2
*2 これは各文書の個々の特徴量を、その文書のすべての特徴量の自乗和の平方根で割ることを意味する。

p331、Out[23]の直下
【誤】
この結果からわかるように、ワード頻度だけを用いるのに比べて
【正】
この場合にはtf-idf変換を行っても性能は向上しなかった。

p355、最終行
【誤】
和書未刊
【正】
邦題『バンディットアルゴリズムによる最適化手法』オライリー・ジャパン、電子書籍のみ

ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。


※3刷で修正済みです。

■P.49 In[28]の直前(p36では特徴量が104となっている)
【誤】前述したように、このデータセットには導出された105の特徴量を持つ506のサンプルがある。
【正】前述したように、このデータセットには導出された104の特徴量を持つ506のサンプルがある。

■P.54 Out[35]の下
【誤】さらに、105の特徴量のうちのわずか4つしか使っていない。
【正】さらに、104の特徴量のうちのわずか4つしか使っていない。

■P.54 In[36]の5行目(行頭のnを削除)
【誤】nprint("Test set score: {:.2f}".format(lasso001.score(X_test, y_test)))
【正】print("Test set score: {:.2f}".format(lasso001.score(X_test, y_test)))

■P.54 最後
【誤】105の特徴量のうち、わずか33しか使っていない。
【正】104の特徴量のうち、わずか33しか使っていない。

■P.76 6行目
【誤】ルートから右の枝をたどると、worst radius <= 16.795によって作られるノードには、
【正】ルートから右の枝をたどると、worst radius > 16.795によって作られるノードには、

■P.76 10行目
【誤】ルートから左に行った場合、つまりworst radius > 16.795の場合になるのは、
【正】ルートから左に行った場合、つまりworst radius <= 16.795の場合になるのは、

■P.139 12行目
【誤】このデータセットには特徴量が30もあるので、30×14=420の散布図ができてしまうのだ。
【正】このデータセットには特徴量が30もあるので、30×29 / 2=435の散布図ができてしまうのだ。

■P.204 囲みの最後
【誤】表3-1のX_trainとy_trainは訓練データと訓練ラベル、X_testとy_testはテストデータとテストラベルである。
【正】表3-1のX_trainとy_trainは訓練データと訓練ラベル、X_testはテストデータである。

■P.280 下から7行目
【誤】ダミークラス分類器のf-値は0.13だが、(ロジスティック回帰では0.89)、「9以外」を陽性とすると、0.90対0.99となってしまい、双方ともかなり良いように見えてしまう。
【正】ダミークラス分類器のf-値は0.10だが、(ロジスティック回帰では0.89)、「9以外」を陽性とすると、0.91対0.99となってしまい、双方ともかなり良いように見えてしまう。

■P.283 サソリアイコン
【誤】スレッショルドを設定する場合には、テストセットを使わないように注意しよう。
【正】ここでは話を簡単にするためにテストセットの結果を用いてスレッショルドを設定したが、実際にはテストセットを使ってはいけない。
※p284ページずれ

■P.331 数式修正
【誤】tfidf (w, d) = tf log (N + 1 / Nw + 1) + 1
【正】tfidf (w, d) = tf (log (N + 1 / Nw + 1) + 1)

■P.331 数式の下4行目
【誤】ユークリッド距離
【正】ユークリッド長

■P.331 「スケール変換を行う。」に脚注追加
*2 これは各文書の個々の特徴量を、その文書のすべての特徴量の自乗和の平方根で割ることを意味する。

■P.331 Out[23]の直下
【誤】この結果からわかるように、ワード頻度だけを用いるのに比べて
【正】この場合にはtf-idf変換を行っても性能は向上しなかった。

ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。


※4刷で修正済みです。

■P.v、下から3行目
【誤】http://statweb.stanford.edu/~tibs/ElemStatLearn/
【正】http://web.stanford.edu/~hastie/ElemStatLearn/

■P.69、下から11行目
【誤】追加されたされたかの
【正】追加されたの

■P.71、上から4行目
【誤】75データポイント
【正】50データポイント

■P.71、図2-23
● Class 1 クラス0
▲ Class 0 クラス1
を入れる。

■P.71、下から5行目
【誤】75点とクラス1に属する75点を示す。
【正】50点とクラス1に属する50点を示す。

■P.297、上から1-3行目(マイナス2行)
【誤】
print("Test set AUC: {:.3f}".format(
roc_auc_score(y_test, grid.decision_function(X_test))))
print("Test set accuracy: {:.3f}".format(grid.score(X_test, y_test)))
【正】
print("Test set AUC: {:.3f}".format(grid.score(X_test, y_test)))

■P.297、上から9行目(マイナス1行)
【誤】
Test set accuracy: 1.000 テストセットの精度
【正】
※1行トル

■P.366、「statsmodelパッケージ 358」と「T」の間に次の1行入れる
SVM(サポートベクタマシン) 57, 90, 95-102, 254-255

ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。


※2018年7月更新。5刷で修正済みです。

■P.6 下から7行目
【誤】ディストリビューションPython(x,y)
【正】ディストリビューション。Python(x,y)

■P.10 下から11-12行目
【誤】『Pythonによるデータサイエンス入門』
【正】『Pythonによるデータ分析入門』

■P.48 上から2行目
【誤】学習する方法と、とモデル
【正】学習する方法とモデル

■P.113 脚注2行目
【誤】ということ意味する。
【正】ということを意味する。

■P.113 脚注3行目
【誤】犯していることがわかるこれは、
【正】犯していることがわかる。これは、

■P.144 上から7行目
【誤】PCAをのもう1つ
【正】PCAのもう1つ

■P.186 下から7行目
【誤】含める。(図3-39を参照)。
【正】含める(図3-39を参照)。

Feedback

皆さんのご意見をお聞かせください。ご購入いただいた書籍やオライリー・ジャパンへのご感想やご意見、ご提案などをお聞かせください。より良い書籍づくりやサービス改良のための参考にさせていただきます。
[feedbackページへ]