大規模データ管理

―エンタープライズアーキテクチャのベストプラクティス

[cover photo]
TOPICS
Database
発行年月日
PRINT LENGTH
372
ISBN
978-4-8144-0008-9
原書
Data Management at Scale
FORMAT
Print PDF EPUB
Ebook
3,960円
Ebookを購入する
Print
3,960円

データ管理と統合が急速に進化する中、複雑で緊密に結合したアーキテクチャから、現代のビジネスに対応できる、より柔軟なデータアーキテクチャへの移行が求められます。
本書は、変化が激しい時代でも長期的に持続可能な方法で大規模なデータ管理を行い、さまざまなユースケースに対応できる統合アーキテクチャを紹介します。この統合アーキテクチャを構成する、膨大なデータ利用に向けた「読み出し専用データストアアーキテクチャ」、リアルタイムなアプリケーションのための「APIアーキテクチャ」、大容量のスループットを実現する「ストリーミングアーキテクチャ」を詳述します。また技術開発、法規制、プライバシーに関する懸念など、データ管理全体を説明し、データガバナンスとセキュリティ、マスターデータ管理、セルフサービスとデータマーケットプレイス、メタデータの重要性について解説します。
企業のデータ戦略にかかわる本書は、アーキテクトはもちろん、経営者、ガバナンスチーム、データ分析・エンジニアリングチーム必携の一冊です。

目次

訳者まえがき 
まえがき 
はじめに 

1章 データ管理の崩壊
    1.1 データ管理 
    1.2 分析によるデータランドスケープの細分化 
    1.3 ソフトウェアの提供速度の変化 
    1.4 ネットワークの高速化 
    1.5 プライバシーとセキュリティへの配慮は最優先 
    1.6 運用システムと分析システムの統合の必要性 
    1.7 データ収益化に向けて、エコシステムを繋ぐアーキテクチャの必要性 
    1.8 企業を悩ます時代遅れのデータアーキテクチャ 
        1.8.1 エンタープライズデータウェアハウスとビジネスインテリジェンス 
        1.8.2 データレイク 
        1.8.3 中央集権化ビュー 
    1.9 まとめ 
        1.9.1 Scaled Architecture 

2章 Scaled Architectureの紹介:大規模なデータ管理
    2.1 一般的な出発点 
        2.1.1 アプリケーションごとにアプリケーションデータベースを持つ 
        2.1.2 アプリケーションは特化したものであり、一意のコンテキストを持つ 
        2.1.3 ゴールデンソース 
        2.1.4 データ統合のジレンマからは逃れられない 
        2.1.5 アプリケーションがデータプロバイダーとデータコンシューマの役割を担う 
    2.2 理論的考察のポイント 
        2.2.1 オブジェクト指向プログラミングの原則 
        2.2.2 ドメイン駆動設計 
        2.2.3 ビジネスアーキテクチャ 
    2.3 通信と統合のパターン 
        2.3.1 ポイントツーポイント 
        2.3.2 サイロ型 
        2.3.3 ハブスポークモデル 
    2.4 Scaled Architecture 
        2.4.1 ゴールデンソースとドメインデータストア 
        2.4.2 データ配信契約とデータ共有合意 
        2.4.3 サイロ化の解消 
        2.4.4 エンタープライズ規模でのドメイン駆動設計 
        2.4.5 読み出しに最適化されたデータ 
        2.4.6 全体像としてのデータレイヤー 
        2.4.7 メタデータとターゲット運用モデル 
    2.5 まとめ 

3章 膨大な量のデータの管理:読み出し専用データストアアーキテクチャ 
    3.1 RDSアーキテクチャの紹介
    3.2 コマンドクエリ責務分離 
        3.2.1 CQRSとは
        3.2.2 大規模CQRS
    3.3 読み出し専用データストアのコンポーネントとサービス 
        3.3.1 メタデータ 
        3.3.2 データ品質 
        3.3.3 RDSの階層
        3.3.4 データインジェスト 
        3.3.5 市販ソリューションの統合 
        3.3.6 外部APIやSaaSからのデータ抽出 
        3.3.7 過去データサービス 
        3.3.8 デザインバリエーション 
        3.3.9 データの複製 
        3.3.10 アクセスレイヤー 
        3.3.11 ファイル操作サービス 
        3.3.12 配信通知サービス 
        3.3.13 匿名化サービス 
        3.3.14 分散型オーケストレーション 
    3.4 インテリジェント消費サービス 
    3.5 オンデマンドでのRDSの作成 
    3.6 RDSを直接利用する際の注意点
    3.7 まとめ 

4章 サービスとAPI管理:APIアーキテクチャ 
    4.1 APIアーキテクチャの紹介 
    4.2 サービス指向アーキテクチャとは 
        4.2.1 エンタープライズアプリケーション統合 
        4.2.2 サービスオーケストレーション 
        4.2.3 サービスコレオグラフィ 
        4.2.4 パブリックサービスとプライベートサービス 
        4.2.5 サービスモデルとカノニカルデータモデル 
        4.2.6 SOAとエンタープライズデータウェアハウスアーキテクチャの類似点
    4.3 SOAに対する最新の考え方
        4.3.1 APIゲートウェイ
        4.3.2 責任モデル 
        4.3.3 ESBの新たな役割 
        4.3.4 サービス契約 
        4.3.5 サービスディスカバリ 
    4.4 マイクロサービス 
        4.4.1 マイクロサービスにおけるAPIゲートウェイの役割 
        4.4.2 機能 
        4.4.3 サービスメッシュ 
        4.4.4 マイクロサービス境界 
        4.4.5 API参照アーキテクチャ中のマイクロサービス
    4.5 エコシステム通信 
    4.6 APIベースの通信チャネル 
        4.6.1 GraphQL 
        4.6.2 フロントエンドのためのバックエンド 
    4.7 メタデータ 
    4.8 RDSを使ったリアルタイムで集中的な読み出し
    4.9 まとめ 

5章 イベントとレスポンスの管理:ストリーミングアーキテクチャ
    5.1 ストリーミングアーキテクチャの紹介 
    5.2 非同期イベントモデルがもたらすもの 
    5.3 イベント駆動型アーキテクチャとは 
        5.3.1 メディエータートポロジー 
        5.3.2 ブローカートポロジー 
        5.3.3 イベント処理スタイル 
    5.4 Apache Kafka入門
        5.4.1 分散型イベントデータ 
        5.4.2 Apache Kafkaの特徴
    5.5 ストリーミングアーキテクチャ 
        5.5.1 イベントプロデューサー 
        5.5.2 イベントコンシューマ 
        5.5.3 イベントプラットフォーム 
        5.5.4 イベントソーシングとコマンドソーシング 
        5.5.5 ガバナンスモデル 
        5.5.6 ビジネスストリーム 
        5.5.7 ストリーミングの消費パターン 
        5.5.8 イベントによる状態転送 
        5.5.9 RDSの役割を実現
        5.5.10 ストリーミングを使用したRDSの構築 
        5.5.11 ドメインを統括するコントロールとポリシー 
    5.6 運用のバックボーンとしてのストリーミング 
    5.7 保証と一貫性 
        5.7.1 一貫性(整合性)レベル 
        5.7.2 「少なくとも1回、正確に1回、多くても1回」処理 
        5.7.3 メッセージ順序 
        5.7.4 デッドレターキュー 
        5.7.5 ストリーミングの相互運用性 
    5.8 ガバナンスとセルフサービスモデルのためのメタデータ 
    5.9 まとめ 

6章 すべてをまとめる
    6.1 アーキテクチャの振り返り 
        6.1.1 RDSアーキテクチャ
        6.1.2 APIアーキテクチャ 
        6.1.3 ストリーミングアーキテクチャ 
        6.1.4 強化パターン 
    6.2 企業における相互運用性標準 
        6.2.1 安定したデータエンドポイント 
        6.2.2 データ配信契約 
        6.2.3 アクセス可能でアドレス可能なデータ 
        6.2.4 ネットワーク間通信の原則 
    6.3 エンタープライズデータ標準 
        6.3.1 消費最適化の原則 
        6.3.2 メタデータの検索性 
        6.3.3 意味的一貫性 
        6.3.4 対応するメタデータの提供 
        6.3.5 データの出所と移動 
    6.4 参照アーキテクチャ 
    6.5 まとめ 

7章 持続可能なデータガバナンスとデータセキュリティ 
    7.1 データガバナンス 
        7.1.1 組織:データガバナンスの役割 
        7.1.2 プロセス:データガバナンス活動 
        7.1.3 人:信頼と倫理的・社会的・経済的配慮 
        7.1.4 テクノロジー:ゴールデンソース、所有権、アプリケーション管理 
        7.1.5 データ:ゴールデンソース、ゴールデンデータセット、分類 
    7.2 データセキュリティ 
        7.2.1 サイロ化した現在のやり方 
        7.2.2 アーキテクチャのための統一的なデータセキュリティ 
        7.2.3 IDプロバイダー 
        7.2.4 セキュリティ参照アーキテクチャとデータコンテキスト方式 
        7.2.5 セキュリティプロセスの流れ 
    7.3 実践的なガイダンス 
        7.3.1 RDSアーキテクチャ
        7.3.2 APIアーキテクチャ 
        7.3.3 ストリーミングアーキテクチャ 
        7.3.4 インテリジェント学習エンジン 
    7.4 まとめ 

8章 データを価値に変える
    8.1 消費パターン 
        8.1.1 読み出し専用データストアを直接利用する 
        8.1.2 ドメインデータストア 
    8.2 ターゲット運用モデル 
    8.3 ターゲットユーザーグループとしてのデータ専門家 
    8.4 ビジネス要件 
    8.5 非機能要件 
    8.6 データパイプラインとデータモデルの構築 
    8.7 統合データの流通 
    8.8 ビジネスインテリジェンス機能 
    8.9 セルフサービス機能 
    8.10 分析機能 
        8.10.1 自動配備のための標準的なインフラストラクチャー 
        8.10.2 ステートレスモデル 
        8.10.3 事前設定と構成済みのワークベンチ 
        8.10.4 モデル統合パターンの標準化 
        8.10.5 自動化 
        8.10.6 モデルのメタデータ 
    8.11 アドバンストアナリティクス参照アーキテクチャ 
    8.12 まとめ 

9章 エンタープライズデータ資産の活用
    9.1 マスターデータ管理について 
    9.2 マスターデータ管理のスタイル 
    9.3 MDM参照アーキテクチャ 
        9.3.1 マスターデータ管理ソリューションの設計 
        9.3.2 MDMの流通 
        9.3.3 マスター識別番号 
        9.3.4 参照データとマスターデータ 
    9.4 エンタープライズデータのスコープの決定 
    9.5 サービスとしてのMDMとデータ品質 
    9.6 キュレーションデータ 
        9.6.1 メタデータ交換 
        9.6.2 統合ビュー 
        9.6.3 再利用可能なコンポーネントと統合ロジック 
        9.6.4 データの再発行 
    9.7 データガバナンスとの関係 
    9.8 まとめ 

10章 メタデータによるデータの民主化
    10.1 メタデータ管理 
    10.2 エンタープライズメタデータモデル 
    10.3 エンタープライズナレッジグラフ 
    10.4 メタデータ管理におけるアーキテクチャの考え方 
        10.4.1 メタデータの相互運用性 
        10.4.2 メタデータリポジトリ 
    10.5 認可されたデータへの迅速なアクセスを提供するマーケットプレイス 
    10.6 まとめ 

11章 おわりに 
    11.1 デリバリーモデル 
        11.1.1 完全に非中央集権的な方法 
        11.1.2 半非中央集権的な方法 
        11.1.3 チームの構築 
        11.1.4 インナーソース戦略 
    11.2 文化 
    11.3 テクノロジーの選択 
    11.4 従来のエンタープライズアーキテクチャの終焉 
        11.4.1 ブループリントとダイアグラム 
        11.4.2 最新のスキル 
        11.4.3 コントロールとガバナンス 
    11.5 最後に 

用語集 
索引