PythonによるWebスクレイピング 第2版

まえがき

第Ⅰ部　スクレイパーを作る

1章　最初のWebスクレイパー
    1.1　つなげる
    1.2　初めてのBeautifulSoup
        1.2.1　BeautifulSoupのインストール
        1.2.2　BeautifulSoupを実行する
        1.2.3　例外を処理して確実につなげる

2章　高度なHTMLパース
    2.1　いつもハンマーが必要なわけではない
    2.2　 BeautifulSoupの使い方
        2.2.1　BeautifulSoupのfind()とfind_all()
        2.2.2　他のBeautifulSoupオブジェクト
        2.2.3　木のナビゲーション
            2.2.3.1　子や他の子孫を扱う
            2.2.3.2　兄弟を扱う
            2.2.3.3　親を扱う
    2.3　正規表現
    2.4　正規表現とBeautifulSoup
    2.5　属性へのアクセス
    2.6　ラムダ式

3章　Webクローラを書く
    3.1　単一ドメインを走査する
    3.2　サイト全体をクローリング
        3.2.1　サイト全体でデータを収集する
    3.3　インターネットをクローリング

4章　Webクローリングのモデル
    4.1　プランニングとオブジェクトの定義
    4.2　さまざまなWebサイトのレイアウトを扱う
    4.3　クローラを構造化する
        4.3.1　検索によるサイトのクローリング
        4.3.2　リンクをたどってサイトをクローリングする
        4.3.3　異なる種類のページもクローリングする
    4.4　 Webクローラのモデルについての考察

5章　Scrapy
    5.1　Scrapyのインストール
        5.1.1　新たなスパイダーの初期化
    5.2　スクレイパーを簡単に書く
    5.3　規則を使ったスパイダー
    5.4　収集データを整理するItemを作る
    5.5　Itemで出力する
    5.6　itemパイプライン
    5.7　Scrapyでのロギング
    5.8　さらに学ぶために

6章　データを格納する
    6.1　メディアファイル
    6.2　データをCSVに格納する
    6.3　MySQL
        6.3.1　MySQLのインストール
        6.3.2　基本的なコマンド
        6.3.3　Pythonと統合する
        6.3.4　データベース技法と優れた実践
        6.3.5　MySQLの「6次」
    6.4　メール

第Ⅱ部　高度なスクレイピング

7章　文書を読む
    7.1　文書エンコーディング
    7.2　テキスト
        7.2.1　テキストエンコーディングとグローバルインターネット
            7.2.1.1　テキストエンコーディングの歴史
            7.2.1.2　エンコーディングの実際
    7.3　CSV
        7.3.1　CSVファイルを読む
    7.4　PDF
    7.5　Microsoft Wordと.docx

8章　汚れたデータをクリーニング
    8.1　コードでのクリーニング
        8.1.1　データ正規化
    8.2　データ収集後のクリーニング
        8.2.1　OpenRefine
            8.2.1.1　インストール
            8.2.1.2　OpenRefineを使う

9章　自然言語の読み書き
    9.1　データを要約する
    9.2　マルコフモデル
        9.2.1　6次のWikipedia：結論
    9.3　 Natural Language Toolkit
        9.3.1　インストールとセットアップ
        9.3.2　NLTKでの統計分析
        9.3.3　NLTKでの字句解析
    9.4　さらに学ぶために

10章　フォームとログインでクローリング
    10.1　Requestsライブラリ
    10.2　基本フォームをサブミットする
    10.3　ラジオボタン、チェックボックス、その他入力
    10.4　ファイルと画像のサブミット
    10.5　ログインとクッキーを扱う
        10.5.1　HTTP Basic認証
    10.6　他のフォーム問題

11章　JavaScriptのスクレイピング
    11.1　JavaScriptの簡単な紹介
        11.1.1　共通JavaScriptライブラリ
            11.1.1.1　jQuery
            11.1.1.2　Google Analytics
            11.1.1.3　Google Maps
    11.2　Ajaxと動的HTML
        11.2.1　Seleniumを用いてPythonでJavaScriptを実行
        11.2.2　Seleniumの他のWebDriver
    11.3　リダイレクトの処理
    11.4　JavaScriptについての最終ノート

12章　APIでクローリング
    12.1　APIの簡単な紹介
        12.1.1　HTTPメソッドとAPI
        12.1.2　APIレスポンス
    12.2　JSONをパースする
    12.3　ドキュメントがないAPI
        12.3.1　ドキュメントのないAPIを調べる
        12.3.2　ドキュメントのないAPIのドキュメントを作る
        12.3.3　APIの検索とドキュメント作成を自動化する
    12.4　APIを他のデータソースと組み合わせる
    12.5　APIについてさらに学ぶために

13章　画像処理とテキスト認識
    13.1　画像処理ライブラリ
        13.1.1　Pillow
        13.1.2　Tesseract
            13.1.2.1　Tesseractのインストール
            13.1.2.2　pytesseract
        13.1.3　NumPy
    13.2　きちんとフォーマットされたテキストの処理
        13.2.1　画像を自動修正する
        13.2.2　Webサイトの画像からテキストをスクレイピング
    13.3　CAPTCHAの読み込みとTesseractの訓練
        13.3.1　Tesseractを訓練する
    13.4　CAPTCHA解の獲得と解のサブミット

14章　スクレイピングの落とし穴を避ける
    14.1　倫理についての注意
    14.2　人間らしく見せる
        14.2.1　ヘッダを調整する
        14.2.2　JavaScriptでクッキーを扱う
        14.2.3　タイミングがすべて
    14.3　共通フォームセキュリティ機能
        14.3.1　隠し入力フィールド値
        14.3.2　ハニーポットを避ける
    14.4　人間らしく見せるためのチェックリスト

15章　Webサイトをスクレイパーでテストする
    15.1　テスト入門
        15.1.1　ユニットテストとは何か
    15.2　Pythonのunittest
        15.2.1　Wikipediaをテストする
    15.3　Seleniumでテストする
        15.3.1　サイトとやり取りする
            15.3.1.1　ドラッグアンドドロップ
            15.3.1.2　スクリーンショットを撮る
    15.4　unittestかSeleniumか?

16章　並列にWebクローリング
    16.1　プロセスとスレッド
    16.2　マルチスレッドクローリング
        16.2.1　レース条件とキュー
        16.2.2　threadingモジュール
    16.3　マルチプロセスクローリング
        16.3.1　マルチプロセスクローリング例
        16.3.2　プロセス間通信
    16.4　マルチプロセスクローリング.別の方式

17章　リモートでスクレイピング
    17.1　なぜリモートサーバを使うか
        17.1.1　IPアドレスブロックを避ける
        17.1.2　移植性と拡張性
    17.2 Tor
        17.2.1　PySocks
    17.3　リモートホスティング
        17.3.1　Webサイトホスティングアカウントから実行する
        17.3.2　クラウドから実行する
    17.4　さらに学ぶために

18章　Webスクレイピングの適法性と倫理
    18.1　商標、著作権、特許
        18.1.1　著作権法
    18.2　動産不法侵入
    18.3　コンピュータ犯罪取締法
    18.4　robots.txtとサービス規約
    18.5　3つのWebスクレイパー
        18.5.1　eBay対Bidder's Edgeと動産不法侵入
        18.5.2　米国政府対Auernheimerとコンピュータ犯罪取締法
        18.5.3　Field対Google：著作権とrobots.txt
    18.6　さらに進むために

訳者あとがき
索引