Cloudera Data Platform

DataFlow for the Public Cloud

Kubernetes 上の Apache NiFi を基盤としたクラウドネイティブなデータフローにより、デプロイメント、拡張、インフラストラクチャーのサイジングに関する運用と監視の課題に対処します。

概要

NiFi フローのデプロイメントと監視に関する運用の課題に対処。

Cloudera DataFlow for the Public Cloud は Cloudera Data Platform (CDP) における新たなエクスペリエンスとして、Apache NiFi フローのデプロイメント、拡張、インフラストラクチャーのサイジングに関する運用の課題に対処し、包括的な監視機能を提供します。

DataFlow for the Public Cloud は次の課題に対処できます。

同一クラスタ内の複数の NiFi フローでリソースを共有すると、全体のパフォーマンスに影響が出る
クラスタサイズを実際より少なく見積もると、インフラストラクチャーに関する予定外のコストが発生する可能性がある
インフラストラクチャーを必要に応じて拡張すると、運用担当者に多大な負担がかかる恐れがある
現在のツールでは、複数のクラスタにまたがるデータフローメトリクスを単一ビューで監視することができない

DataFlow for the Public Cloud でこれらの問題をどのように解決できるか確認する

Cloudera DataFlow for the Public Cloud の図

機能

NiFi 向けの構築済み ReadyFlow
一元化されたダッシュボード
フローカタログ

NiFi 向けの構築済み ReadyFlow

NiFi の新規ユーザーやエキスパートユーザーのためにあらかじめ構築された共通の NiFi フローで生産性を向上。

ReadyFlow は、NiFi の新規ユーザーが一般的なデータフローのユースケースを使い、Cloudera DataFlow で適切な実装を可能にするためのフロー定義です。ユーザーはフロー定義をダウンロードし、プロパティを素早く設定してカタログにインポートした後、パブリッククラウド環境にデプロイメントできます。

ReadyFlow の活用例:

Kafka から Kafka に読込む
Kafka から読込んでデータをフィルタリング
Kafka から S3 バケットに読込む

一元化されたダッシュボード

複数のクラウドクラスタにまたがるすべての NiFi フローを単一のダッシュボードから監視。

Cloudera DataFlow ユーザーインターフェース内のダッシュボードページは、各環境をまたいですべての NiFi フローのデプロイメントを監視する中央監視コンソールです。ユーザーは、フローメトリクスやインフラストラクチャーの使用状況を監視し、デプロイメントの状況をチェックして、期待通りのパフォーマンスを発揮しているかどうかを確認できます。ユーザーは、データの送受信状況を監視したり、定義した KPI に関するアラートを確認したりすることで、デプロイメントの状況の健全性を把握できます。

フローカタログ

すべてのフロー定義の保存、管理、デプロイメントを一元的に実行。

Cloudera DataFlow ユーザーインターフェースのもう1つの重要なページであるカタログでは、フロー定義を保存できます。ユーザーは、インポートからバージョニング、削除に至る CDF フロー定義のライフサイクルを管理できます。フローをカタログにインポートすることで、従来の NiFi フロー定義を設定し、パブリッククラウドでの設定とデプロイメントを行えるようになります。また、カタログのバージョニング機能を使用すれば、フローの特定のバージョンのデプロイメントもできます。