クラウドデータレイク

推薦の言葉
監訳者まえがき
はじめに

1章　現実のものとなったビッグデータ戦略
    1.1　ビッグデータとは何か
    1.2　弾力性の高いデータインフラストラクチャ：課題
    1.3　クラウドコンピューティングの基礎
        1.3.1　クラウドコンピューティングの用語
        1.3.2　クラウドの特徴
    1.4　クラウドデータレイクのアーキテクチャ
        1.4.1　オンプレミスデータウェアハウスというソリューションの限界
        1.4.2　クラウドデータレイクアーキテクチャとは何か
        1.4.3　クラウドデータレイクアーキテクチャの利点
    1.5　クラウドデータレイク導入の道筋
    1.6　まとめ

2章　クラウド上のビッグデータアーキテクチャ
    2.1　クロダースコーポレーションがクラウドに移行しようとしている理由
    2.2　クラウドデータレイクアーキテクチャを理解するための基礎知識
        2.2.1　データの多様性を表す用語
        2.2.2　クラウドデータレイクストレージ
        2.2.3　ビッグデータアナリティクスエンジン
        2.2.4　クラウドデータウェアハウス
    2.3　モダンデータウェアハウスアーキテクチャ
        2.3.1　代表的なアーキテクチャ
        2.3.2　モダンデータウェアハウスアーキテクチャのユースケース例
        2.3.3　モダンデータウェアハウスアーキテクチャの利点と課題
    2.4　データレイクハウスアーキテクチャ
        2.4.1　代表的なアーキテクチャ
        2.4.2　データレイクハウスアーキテクチャのユースケース例
        2.4.3　データレイクハウスアーキテクチャの利点と課題
        2.4.4　データウェアハウスと非構造化データ
    2.5　データメッシュ
        2.5.1　代表的なアーキテクチャ
        2.5.2　データメッシュアーキテクチャのユースケース例
        2.5.3　データメッシュアーキテクチャの利点と課題
    2.6　自分にとって適切なアーキテクチャは何か
        2.6.1　顧客を知る
        2.6.2　ビジネスドライバーを知る
        2.6.3　会社の成長と将来のシナリオを考慮する
        2.6.4　設計について考慮すべきこと
        2.6.5　ハイブリッドアプローチ
    2.7　まとめ

3章　クラウドデータレイクソリューションの設計で考慮すべきこと
    3.1　クラウドデータレイクのインフラストラクチャの準備
        3.1.1　現状評価と目標設定
        3.1.2　アーキテクチャと成果物の設計/定義
        3.1.3　クラウドデータレイクの実装
        3.1.4　リリース、運用化
    3.2　データレイクのデータの整理
        3.2.1　データの生涯におけるある1 日
        3.2.2　データレイクゾーン
        3.2.3　データ整理のメカニズム
    3.3　データガバナンス入門
        3.3.1　データガバナンスを担うアクター
        3.3.2　データの分類
        3.3.3　メタデータ管理、データカタログ、データ共有
        3.3.4　データのアクセス管理
        3.3.5　データの品質とオブザーバビリティ
        3.3.6　クロダースコーポレーションにおけるデータガバナンス
        3.3.7　データガバナンスのまとめ
    3.4　データレイクのコスト管理
        3.4.1　クラウドデータレイクのコストの謎解き
        3.4.2　データレイクのコスト戦略
    3.5　まとめ

4章　スケーラブルなデータレイク
    4.1　まずはスケーラビリティから
        4.1.1　スケーラビリティとは何か
        4.1.2　日常生活におけるスケーラビリティ
        4.1.3　データレイクアーキテクチャにおけるスケーラビリティ
    4.2　データレイク処理システムの内部構造
        4.2.1　データコピーの内側
        4.2.2　ETL/ELT処理の内側
        4.2.3　対話型クエリに関するその他注意事項
    4.3　データレイクソリューションをスケーラブルなものにするために考えるべきこと
        4.3.1　適切なクラウド製品の選択
        4.3.2　キャパシティプランニング
        4.3.3　データ形式とジョブプロファイル
    4.4　まとめ

5章　クラウドデータレイクアーキテクチャのパフォーマンスの最適化
    5.1　パフォーマンス計測の基礎
        5.1.1　パフォーマンスの目標と指標
        5.1.2　パフォーマンスの計測
        5.1.3　スピードアップのための最適化
    5.2　クラウドデータレイクのパフォーマンス
        5.2.1　SLA、SLO、SLI
        5.2.2　クロダースコーポレーションはSLA、SLO、SLI をどのように管理しているか
    5.3　パフォーマンスドライバー
        5.3.1　コピージョブのパフォーマンスドライバー
        5.3.2　Sparkジョブのパフォーマンスドライバー
    5.4　パフォーマンスチューニングの原則とテクニック
        5.4.1　データ形式
        5.4.2　データの整理方法とパーティショニング
        5.4.3　Apache Sparkの適切な構成の選択
    5.5　データ転送のオーバーヘッドの削減
    5.6　プレミアム製品とパフォーマンス
        5.6.1　より大規模な仮想マシン
        5.6.2　フラッシュストレージ
    5.7　まとめ

6章　データ形式詳説
    6.1　なぜオープンデータ形式が必要なのか
        6.1.1　なぜ表形式のデータを格納する必要があるのか
        6.1.2　クラウドデータレイクストレージに表形式データを格納することがなぜ問題になるのか
    6.2　Delta Lake
        6.2.1　Delta Lakeはなぜ作られたのか
        6.2.2　Delta Lakeはどのような仕組みになっているのか
        6.2.3　Delta Lakeが適しているのはどのようなときか
    6.3　Apache Iceberg
        6.3.1　Apache Icebergはなぜ作られたのか
        6.3.2　Apache Icebergはどのような仕組みになっているのか
        6.3.3　Apache Icebergが適しているのはどのようなときか
    6.4　Apache Hudi
        6.4.1　Apache Hudiはなぜ作られたのか
        6.4.2　Apache Hudiはどのような仕組みになっているのか
        6.4.3　Apache Hudiが適しているのはどのようなときか
    6.5　まとめ

7章　アーキテクチャに関する意思決定のフレームワーク
    7.1　クラウドデータレイクへの投資のための現状評価と目標設定
        7.1.1　クラウドデータレイクへの投資のための現状評価アンケート
    7.2　現状評価アンケート
        7.2.1　白紙状態からのスタート
        7.2.2　オンプレミスのデータレイクまたはデータウェアハウスからクラウドへの移行
        7.2.3　既存のクラウドデータレイクの改良
    7.3　意思決定フレームワークフェーズ1：現状評価/目標設定
        7.3.1　顧客の要件の理解
        7.3.2　改善チャンスの理解
        7.3.3　ビジネスドライバーを把握する
        7.3.4　現状評価/目標設定フェーズを締めくくる要件の優先順位付け
    7.4　意思決定フレームワークフェーズ2：設計/定義
        7.4.1　クラウドデータレイクの設計の技術的選択肢の確定
        7.4.2　クラウドデータレイクプロジェクトの成果物のプラン
    7.5　意思決定フレームワークフェーズ3：実装
    7.6　意思決定フレームワークフェーズ4：運用化
    7.7　まとめ

8章　データに基づいて意思決定や戦略を形成するアプローチのための6つの手段
    8.1　第1講：クラウドデータの導入は「必要か？」や「なぜ？」ではなく「いつ？」、「どのようにして？」という問題だ
    8.2　第2講：偉大なる力には偉大なる責任がともなう――データもその例外ではない
    8.3　第3講：テクノロジーを主導するのは顧客であり、逆ではない
    8.4　第4講：変化は避けられないので準備を怠らず
    8.5　第5講：顧客の感覚を理解するとともに手掛ける仕事には容赦なく優先順位をつけよう
    8.6　第6講：ローマは1日にしてならず
    8.7　まとめ

付録　Aクラウドデータレイク意思決定フレームワークのテンプレート
    A.1　フェーズ1：現状評価/目標設定
    A.2　フェーズ2：設計/定義
        A.2.1　クラウドデータレイク実装の成果物のプランニング
    A.3　フェーズ3：実装

索引

コラム目次
    クラウドデータレイクハウスへの発展
    データの品質とオブザーバビリティ