この記事は、2023/05/08に公開された「One Big Cluster Stuck: Visibility and Transparency」の翻訳です。
Cloudera Data Platform (CDP) は、優れた性能をすぐに使えるという特徴があります。しかし時間が経つにつれて、データアーキテクチャ、データエンジニアリング、DevOpsのベストプラクティスが維持されないと、無秩序な状態となり、それが問題へとつながります。このCDOに関するシリーズでは、健全な環境の改善に焦点を当てていきたいと思います。
可視性と透明性
健全な環境を向上させるには、闇雲に取り組んでも成果は上がりません。課題を克服するためには、その課題に向き合うことが必要です。また、最重要課題に対する根本的な原因の分析に力を注ぐためには、ノイズを抑制しなければなりません。そして、影響を受けるユーザーにインシデント、進捗、解決策を積極的に知らせることができれば、それが信頼性につながります。
監視、アラート、通知のベストプラクティスは次のとおりです。
- 健全な環境における課題を可視化する
- 自動化されたアラートを管理し、最重要課題に注意を集中させる
- ユーザーに情報を提供するためのコミュニケーションの自動化
- インシデントを克服するだけでなく、根本的な問題を解決する
- プラットフォーム、サービス、データプロセスの健全性の向上
- トラブルシューティングへの対応を受け身から、主体的な行動に移行する
Cloudera が提供する説明書、ツール、コード
この記事が、課題を可視化するツール、コード、ベストプラクティスの入り口になればと考えています。
Clouderaでは、インシデント発生後の復旧、根本原因の特定と解決だけでなく、発見と修復のプロセスに積極的に取り組むことができるように、監視と警告のプロセスの自動化とその方法を提供しています。
あるいは、Cloudera Observability を採用することで、すぐに広い可視性を得ることも可能です。
Cloudera Data Platform (CDP) のクラスタ監視に加え、よく使われるマイクロサービス (Cloudera Manager (CM) 、Hive、Impala、CDSW、Impala、Yarn、Nifi、Airflow、Jurassicのcronジョブ) を使った監視とトラブルシューティングの方法をご紹介することができます。
CM監視ツールの適切な導入方法を解説したマニュアルや、自作の監視機能を起動するための手順をJSONファイルで提供したマニュアルもあります。また、ログを可視化につなげる方法を、ステップバイステップで詳しくお教えすることも可能です。
活用いただくことで、お客様の環境の健全性を大幅に改善できるようになることが、私たちの願いです。もし、ご不明点がありましたら、コミュニティページの「質問する」ボタンをクリックしてご質問ください。
参考リンク集：
- CM監視/トラブルシューティング/ダッシュボード
- クラスター監視 (Tableau)
- Impalaクエリ監視 (Tableau)
- Impala DataBase Monitoring (Tableau) のご紹介
- オペレーショナルデータエンジニアリングのプロセス監視：透明性・可視性
- CDSWの監視 (Tableau)
- Yarn/Sparkのジョブの監視 (Tableau)
- エアフロージョブの監視 (Tableau)
- NiFi の監視 (Tableau)
- Cronジョブの監視
*上記リンク先は英語になります。
サポートが必要な場合は、Clouderaのプロフェッショナルサービスにご相談ください。
CDO Summit Tokyo 2023 Summer協賛
デジタルリーダーが集まる「CDO Summit Tokyo 2023 Summer」が2023年6月1日（木）オンラインにて開催されます。ClouderaもSilver Sponsorとして協賛、また講演への参加も予定しています。詳細・参加申し込みは、CDO Club Japanのサイトをご確認ください。皆様のご参加お待ちしております！
【CDO Summit Tokyo 2023 Summer】
産業・業界の壁を超えたデジタル連携、新産業革命の実現に向けて
～DXの変革の壁を超えるには？～
2023年6月1日、11：00～18：30
オンライン開催
参加申し込みはこちら：https://www.cdosummittokyosummer.com/
