概要
Edge & Flow Management とは？
Cloudera DataFlow (CDF) は、エッジからクラウドまでのデータを管理するためのリアルタイムストリーミングデータプラットフォームです。その重要な要素の1つが Edge & Flow Management です。
CDF の Flow Management の機能では Apache NiFi を使用しており、企業はあらゆる環境から非常に大規模なデータを採取し、変換、管理することができます。データの移動、ログデータの採取に加え、ソーシャルやモバイル、クリックストリーム、IoT データなど、あらゆるタイプのストリーミングデータを取得でき、エンタープライズおよびハイブリッドクラウドの主要なユースケースに対応しています。
CDF の Edge Management の機能は、エッジエージェント (MiNiFi) と、Edge Flow Manager と呼ばれるエッジ管理ハブで構成されています。エッジエージェントの管理、統制、監視を行い、エッジデバイスからデータを収集し、エッジに対してインテリジェンスをフィードバックします。IoT のユースケース、例えば予知保全、フリート管理、アセットトラッキングなどに対応しています。
ユースケース
予知保全
患者のモニタリング
データの移動
予知保全
予知保全によるコスト削減とダウンタイム短縮。
予知保全はデータドリブン型のアプローチです。コネクテッド機器からの IoT データやセンサーデータを分析することで、資産がいつどのように故障するかを効率的に予測し、変動を検出し、警告シグナルを理解し、故障の可能性を示すパターンをいち早く発見します。Cloudera DataFlow の Edge & Flow Management の機能は、何百ものコネクテッドアセットからのデータ採取を最新化および簡素化し、予知保全を強化します。
患者のモニタリング
患者モニタリング装置からのリアルタイムフィードをキャプチャし、異常を検出。
医療機関では手術後または高リスク患者をモニタリングするために生体認証装置や遠隔測定装置を使用しています。これらの装置から、さまざまな患者のバイタルに関するセンサーデータを採取することで、異常やパターンを検出することができます。Cloudera DataFlow の Edge & Flow Management では、患者のモニタリングデータをキャプチャしてストリーム処理エンジンに渡し、洞察を提供します。
数百ものプロセッサが用意されており、さまざまなデータソース、デバイス、プロトコルに接続できます。ユーザーインターフェースでは、ドラッグアンドドロップで簡単に高度なデータフローパイプラインを構築できます。
エンタープライズ内で移動するデータの起源と帰属を把握できます。これによって、ガバナンスチームは、システムがデータポイントにどのような影響を与えているかを説明できるようになります。イベント前後のレコード変更も含め、すべてについてきめ細かいデータリネージ情報が生成されます。
クリックストリーム、ソーシャルメディア、モバイル、IoT デバイスなど、あらゆるストリーミングソースからリアルタイムでデータを採取、キャプチャし、提供できます。NiFi の450以上のプロセッサとカスタムビルドの監視ダッシュボードを備えた複合的なデータフローアプリケーションを使用して、簡単に接続、変換、管理、監視を行い、実用的な洞察を得られます。
わずか数時間でペタバイト規模のデータをデータセンター間で移動、またはデータをオンプレミス環境とクラウド間で移動することで、あらゆるスループットに対応できます。クラウドベンダーを問わない、マルチクラウド対応のアプローチによってデータを管理することができます。
NiFi レジストリを使用して DevOps スタイルのデータフロー開発ライフサイクルを導入することで、より迅速にフローアプリケーションを提供でき、1つの環境から別の環境への導入も容易になります。開発チームは、データフローのバージョニングや環境間での移植スキームを設定することができます。
数十万のエージェントに対するコマンド、統制、監視によって大規模なエッジ管理を実現し、最小限のフットプリントでデータの収集、フィルタリング、処理を行います。自動化された学習ループにより、エッジにおけるエンドツーエンドの機械学習アルゴリズムを実現できます。
導入オプション
エッジ、オンプレミス、パブリッククラウド、ハイブリッドクラウド環境全体で、エッジからクラウドにデータを採取し、配信します。
Flow Management for Data Hub
- Flow Management for Data Hub を使用して NiFi と NiFi レジストリをパブリッククラウドで稼動
- クラスタのサイズ (S/M/L) を選択して、AWS、Azure、GCP で起動
- オンプレミスと同じユーザーエクスペリエンスをパブリッククラウドに拡張
DataFlow for the Public Cloud
- 複数のクラウドクラスタにまたがるすべての NiFi フローを単一のダッシュボードから監視
- ReadyFlow のギャラリーからあらかじめ構築された NiFi フローを活用することで生産性を向上
- DataFlow エクスペリエンスによる NiFi フローの自動拡張を可能にすることで、インフラストラクチャーのサイジングを最適化
