LLMOps

はじめに

1章　大規模言語モデル入門
    1.1　主要な用語
    1.2　トランスフォーマーモデル
    1.3　大規模言語モデル
    1.4　LLMアーキテクチャ
        1.4.1　エンコーダー型LLM
        1.4.2　デコーダー型LLM
        1.4.3　エンコーダー・デコーダー型LLM
        1.4.4　状態空間アーキテクチャ
        1.4.5　小規模言語モデル
    1.5　LLMの選定
        1.5.1　LLM選定における考慮事項
        1.5.2　オープンソースLLMとプロプライエタリLLM
    1.6　エンタープライズ向けLLMユースケース
        1.6.1　知識検索
        1.6.2　翻訳
        1.6.3　音声合成
        1.6.4　レコメンドシステム
        1.6.5　自律型AIエージェント
        1.6.6　エージェント型システム
    1.7　LLM活用における10の課題
        1. 規模と複雑さ
        2. トレーニング規模と期間
        3. プロンプトエンジニアリング
        4. 推論レイテンシーとスループット
        5. 倫理的配慮
        6. リソースのスケーリングとオーケストレーション
        7. システム統合とツールキット
        8. 適用範囲の広さ
        9. プライバシーとセキュリティ
        10. コスト
    1.8　まとめ
    1.9　参考文献

2章　LLMOps入門
    2.1　運用フレームワークとは
        2.1.1　MLOpsからLLMOpsへ
        2.1.2　LLMOpsの4つの目標
    2.2　LLMOpsのチーム構成と役割
        2.2.1　LLMOpsエンジニアの役割
        2.2.2　LLMOpsエンジニアの一日
        2.2.3　外部からのLLMOpsエンジニア採用
        2.2.4　社内でのLLMOps人材の育成
    2.3　LLMと組織
    2.4　LLMOpsの4つの目標
        2.4.1　信頼性
        2.4.2　拡張性
        2.4.3　堅牢性
        2.4.4　セキュリティ
    2.5　LLMOps成熟度モデル
    2.6　まとめ
    2.7　参考文献
    2.8　さらに学ぶために

3章　LLMベースアプリケーション
    3.1　アプリケーションにおけるAIモデル利用
    3.2　インフラ向けアプリケーション
        3.2.1　エージェント型ワークフロー
        3.2.2　MCP
        3.2.3　エージェント間プロトコル
    3.3　vLLMとマルチモーダルLLMの台頭
    3.4　LLMOpsに関する論点
        3.4.1　アプリケーション性能の監視
        3.4.2　コンシューマー向けLLMアプリケーションの性能評価
        3.4.3　アプリケーションに最適なモデル選定
        3.4.4　その他のアプリケーション指標
    3.5　LLMベースのアプリケーションで制御可能な要素
        3.5.1　プロンプトエンジニアリングの難しさ
        3.5.2　プロンプトエンジニアリングは改善につながったか
    3.6　LLMベースのインフラシステムの難易度
    3.7　まとめ
    3.8　参考文献

4章　LLMのためのデータエンジニアリング
    4.1　データエンジニアリングとLLMの進化
    4.2　DataOpsエンジニアの役割
    4.3　データ管理
        4.3.1　合成データ
        4.3.2　LLMパイプライン
        4.3.3　LLMのトレーニング
        4.3.4　データ構成
        4.3.5　スケーリング則
        4.3.6　データの繰り返し
        4.3.7　データ品質
    4.4　LLM向けの一般的なデータ前処理パイプライン
        4.4.1　ステップ1：データのカタログ化
        4.4.2　ステップ2：プライバシーと法令遵守
        4.4.3　ステップ3：データのフィルタリング
        4.4.4　ステップ4：データ重複排除
        4.4.5　ステップ5：データ収集
        4.4.6　ステップ6：エンコーディング検出
        4.4.7　ステップ7：言語検出
        4.4.8　ステップ8：チャンク化
        4.4.9　ステップ9：データバックアップ
        4.4.10　ステップ10：メンテナンスと更新
    4.5　ベクトル化
        4.5.1　ベクトルデータベース
        4.5.2　データ鮮度の維持
        4.5.3　ファインチューニング用データ生成
        4.5.4　インストラクションデータの自動生成
    4.6　まとめ
    4.7　参考文献
    4.8　さらに学ぶために

5章　LLMベースアプリケーション向けモデルドメイン適応
    5.1　LLMをゼロからトレーニングする
        5.1.1　ステップ1：タスク選定
        5.1.2　ステップ2：データ準備
        5.1.3　ステップ3：モデルアーキテクチャ設計
        5.1.4　ステップ4：トレーニングインフラ構築
        5.1.5　ステップ5：トレーニングの実装
    5.2　モデルアンサンブル手法
        5.2.1　モデル平均化とブレンド
        5.2.2　重み付きアンサンブル
        5.2.3　重ね合わせアンサンブル（2段構成）
        5.2.4　堅牢性向上のための多様なアンサンブル
        5.2.5　多段階デコーディングと投票メカニズム
        5.2.6　コンポーザビリティ
        5.2.7　ソフトアクタークリティック
    5.3　モデルドメイン適応
    5.4　プロンプトエンジニアリング
        5.4.1　One-Shotプロンプト
        5.4.2　Few-Shotプロンプト
        5.4.3　思考の連鎖（CoT）プロンプト
        5.4.4　検索拡張生成（RAG）
        5.4.5　セマンティックカーネル
    5.5　ファインチューニング
        5.5.1　適応型ファインチューニング
        5.5.2　アダプター（単一、並列、スケール並列）
        5.5.3　振る舞いファインチューニング
        5.5.4　プレフィックスチューニング
        5.5.5　パラメーター効率型ファインチューニング
        5.5.6　インストラクションチューニングと人間のフィードバックによる強化学習（RLHF）
        5.5.7　ファインチューニングとプロンプトエンジニアリングの選択
    5.6　MoE
    5.7　リソース制約環境向けモデル最適化
    5.8　効果的なLLM開発の教訓
        5.8.1　スケーリング則
        5.8.2　チンチラモデル
        5.8.3　学習率の最適化
        5.8.4　投機的サンプリング
    5.9　まとめ
    5.10　参考文献

6章　APIファーストLLMデプロイ
    6.1　モデルのデプロイ
        6.1.1　ステップ1：環境構築
        6.1.2　ステップ2：LLMのコンテナ化
        6.1.3　ステップ3：Jenkinsによるパイプライン自動化
        6.1.4　ステップ4：ワークフローオーケストレーション
        6.1.5　ステップ5：監視設定
    6.2　LLM向けAPI開発
        6.2.1　API主導アーキテクチャ戦略
        6.2.2　REST API
    6.3　APIの実装
        6.3.1　ステップ1：APIエンドポイント定義
        6.3.2　ステップ2：API開発フレームワーク選定
        6.3.3　ステップ3：APIテスト
    6.4　認証情報管理
    6.5　APIゲートウェイ
    6.6　APIのバージョニングとライフサイクル管理
    6.7　LLMデプロイアーキテクチャ
        6.7.1　モジュラーとモノリシックアーキテクチャ
        6.7.2　マイクロサービスベースアーキテクチャ実装
    6.8　リトリーバー、リランカー、パイプラインによるRAG自動化
    6.9　ナレッジグラフ更新の自動化
    6.10　デプロイレイテンシー最適化
    6.11　マルチモデルのオーケストレーション
    6.12　RAGパイプライン最適化
        6.12.1　非同期クエリ
        6.12.2　密検索と疎検索の組み合わせ
        6.12.3　埋め込みキャッシュ
        6.12.4　キーバリューキャッシュ
    6.13　拡張性と再利用性
    6.14　まとめ

7章　LLMの評価
    7.1　評価が難しい理由
    7.2　性能評価
        7.2.1　致命的な障害の予兆評価
        7.2.2　RAGアプリケーションのメトリクス
        7.2.3　エージェントシステムのメトリクス
    7.3　評価全般の考慮事項
        7.3.1　メトリクス収集を自動化する価値
        7.3.2　モデルドリフト
    7.4　従来のメトリクスでの限界
        7.4.1　可観測性パイプライン
        7.4.2　前処理とプロンプトの作成
        7.4.3　RAGパイプラインにおける検索
        7.4.4　LLM推論
        7.4.5　後処理と出力検証
        7.4.6　フィードバックの取得
    7.5　まとめ
    7.6　参考文献

8章　ガバナンス：監視、プライバシー、セキュリティ
    8.1　データ課題：規模と機微性
    8.2　セキュリティリスク
        8.2.1　プロンプトインジェクション
        8.2.2　ジェイルブレイク
        8.2.3　その他のセキュリティリスク
    8.3　防御策：LLMSecOps
    8.4　LLMSecOps監査の実施
        8.4.1　ステップ1：スコープと目的定義
        8.4.2　ステップ2：情報収集
        8.4.3　ステップ3：リスク分析と脅威モデリング
        8.4.4　ステップ4：セキュリティ統制とコンプライアンス評価
        8.4.5　ステップ5：ペネトレーションテストとレッドチーム演習
        8.4.6　ステップ6：トレーニングデータレビュー
        8.4.7　ステップ7：モデルの性能とバイアス評価
        8.4.8　ステップ8：結果と提言のドキュメント化
        8.4.9　ステップ9：継続的な監視計画
        8.4.10　ステップ10：コミュニケーションと改善計画を整備
    8.5　安全性と倫理的ガードレール
    8.6　まとめ
    8.7　参考文献

9章　スケーリング：ハードウェア、インフラ、リソース管理
    9.1　適切なアプローチ選択
    9.2　スケーリングとリソース割り当て
    9.3　監視
    9.4　LLMのA/Bテストとシャドウテスト
    9.5　インフラの自動プロビジョニングと管理
        9.5.1　クラウド環境でのプロビジョニングと管理
        9.5.2　自社ハードウェアでのプロビジョニングと管理
        9.5.3　インフラ自動管理のベストプラクティス
        9.5.4　スケーリング則と計算最適化
    9.6　LLMインフラ最適化
        9.6.1　カーネル融合
        9.6.2　精度スケーリング
        9.6.3　ハードウェア活用
    9.7　LLM並列と分散コンピューティング
        9.7.1　データ並列性
        9.7.2　モデル並列性
        9.7.3　パイプライン並列性
    9.8　高度なフレームワーク：ZeROとDeepSpeed
        9.8.1　バックアップとフェイルセーフ
        9.8.2　バックアップ戦略の種類
        9.8.3　定期的なリストアテストの重要性
    9.9　まとめ
    9.10　参考文献

10章　LLMとLLMOpsの未来
    10.1　現在の限界を超えるスケーリング
    10.2　ハイブリッドアーキテクチャ：ニューラルネットワークと記号的AIの融合
        10.2.1　スパースモデルとMoEモデル
        10.2.2　メモリ拡張モデル
        10.2.3　解釈可能モデルと自己最適化モデル
        10.2.4　クロスモデル協調、メタ学習、マルチモーダルファインチューニング
        10.2.5　RAG
    10.3　LLMOpsの未来
        10.3.1　GPU技術の進展
        10.3.2　データ管理と効率性
        10.3.3　プライバシーとセキュリティ
        10.3.4　包括的な評価フレームワーク
    10.4　LLMOpsエンジニアとしての成功指針
    10.5　まとめ
    10.6　参考文献
    10.7　さらに学ぶために

索引