概要
データ配信を統制しながら、どこへでも柔軟にデータを配信
CDF-PC は、フローベースのローコード開発パラダイムを提供します。開発者がデータ配信パイプラインを設計、開発、テストするのに最適です。データレイク、レイクハウス、クラウドウェアハウス、オンプレミスのソースなど、CDF-PC はハイブリッドクラウドサービスのエコシステム全体で450以上のコネクターとプロセッサを備えており、ありとあらゆるデータ配信を可能にします。これらのデータ配信フローはカタログでバージョン管理され、オペレーターはさまざまなランタイムにセルフサービスでデプロイできます。
Cloudera DataFlow for the Public Cloud
Apache NiFi を活用したユニバーサルデータ配信
あらゆる場所のあらゆるデータソースにアクセスして処理し、どこへでも配信可能
ユースケース
コーディング不要のサーバーレスマイクロサービス
ほぼリアルタイムのファイル処理
データレイクハウスの取り込み
サイバーセキュリティとログの最適化
IoT データとストリーミングデータの収集
コーディング不要のサーバーレスマイクロサービス
コード不要の初のビジュアルソリューションである DataFlow Functions で、無限の拡張性を持つマイクロサービスを構築。
DataFlow Functions は、AWS Lambda、Azure Functions、Google Cloud Functions 内で NiFi フローを実行し、HTTPS リクエストでトリガーされるマイクロサービスをコーディングせずに構築できる使いやすい UI を実装した初のソリューションです。このソリューションを使用すれば、サーバーレス環境で無限の拡張性を持つ API エンドポイントをすぐに構築できます。
ほぼリアルタイムのファイル処理
DataFlow Functions を使用し、サーバーレスアーキテクチャーでほぼリアルタイムのファイル処理を簡単に実現。
DataFlow Functions なら、AWS Lambda、Azure Functions、Google Cloud Functions 内で NiFi フローを実行し、オブジェクトストアでファイルを利用するたびに、最もコスト効率の高い方法でファイルを処理できます。リソースはデータが処理されているときだけ実行されるため、NiFi を24時間365日実行する必要はもうありません。また、DataFlow Functions ではインフラストラクチャーの運用コストを必要としない完全なサーバーレスアーキテクチャーも提供されます。
データレイクハウスの取り込み
あらゆるデータレイクハウスやウェアハウスで動作する単一のツールでデータパイプラインを最新化。
Cloudera DataFlow は450以上のプロセッサをサポートしており、簡単にデータを収集し、選択したレイクハウスに必要な形式に変換できます。
Cloudera DataFlow には非構造化データを処理できる高い柔軟性が備わっているため、スキーマを適用したり、スキーマを適用して非構造化データを構造化したりせずに、高いスループットを実現できます。また、NiFi Expression Language や SQL クエリを使用してデータを簡単に変換することも可能です。
サイバーセキュリティとログの最適化
データアナリストが、SIEM データをキュレーションして、すばやく正確にイベントを検出し、分析できるように。
データ収集パイプラインを最新化し、世界中の何千ものソースからリアルタイムにデータを収集してフィルタリングすることで、サイバーセキュリティソリューションのコストを削減します。
すべてのデバイスとアプリケーションのログを SIEM ソリューションに取り込むことは、コストとパフォーマンスの観点から見て拡張性に優れたアプローチとはいえません。Cloudera DataFlow なら、どこからでもログデータを収集してノイズを取り除くことができるため、SIEM システムに保存されているデータを管理しやすくなります。
IoT データとストリーミングデータの収集
エッジの IoT デバイスから、必要に応じてスケールアップおよびスケールダウンするクラウド上の中央データフローにデータを送信。
Cloudera DataFlow はストリーミングデータを大規模に処理できるように構築されています。そのため、小規模な IoT プロジェクトから始めても、ソースデバイスの追加に伴い爆発的に増加するデータの管理や、コネクティビティが断続的になるといった問題にデータフローで確実に対応できます。
DataFlow Functions ランタイムを実装すると、効率と拡張性が高くコストが最適化された方法で NiFi フローを完全にサーバーレスで実行し、イベントドリブンなユースケースに対応できます。
DataFlow のデプロイメント環境では、CPU の使用率に応じて自動的に NiFi フローをスケールアップおよびスケールダウンします。そのうえ、自動拡張の最小値と最大値を設定することで、インフラストラクチャーのコストを統制できます。
NiFi の豊富なプロセッサライブラリを使用してあらゆるデータソースやターゲットにアクセスできます (例: オンプレミスのデータソース、クラウドのデータストレージ、クラウドのデータウェアハウス、ログデータソース、クラウドのデータ分析サービス、クラウドのビジネスプロセスサービスなど)。また、開発者は ReadyFlow と呼ばれる事前に定義された最小構成のデータフローをすばやくデプロイすることで、最も一般的なデータフローのユースケースを実装できます。
どのクラウドで実行されていても、すべての NiFi フローデプロイメント環境を単一のダッシュボードで監視できます。また、フローデプロイメント環境の KPI アラートを定義して、重要なフローパフォーマンス指標を追跡できます。
安全で安定した拡張性の高いエンドポイントを容易にプロビジョニングでき、あらゆるアプリケーションからフローデプロイメント環境にデータを簡単に送信できるようになります。
Cloudera DataFlow は自動化を前提に構築されています。UI で実行できるすべてのアクションは、CLI コマンドに変換して自動化できます。そのため、CLI コマンドを1つ実行するのと同じくらい簡単に新しい NiFi フローをデプロイできます。
場所を問わず NiFi フローを開発し、あらゆるクラウドにデプロイ
Kubernetes クラスタやサーバーレス NiFi フローを自動拡張して実現
パブリッククラウドのランタイムオプション
| 機能 | DataFlow Deployments | DataFlow Functions |
クラウドランタイム |
Kubernetes/コンテナを使用した NiFi クラスタ |
クラウドプロバイダーのサーバーレスコンピューティングサービス (AWS Lambda、Azure Functions、Google Cloud Functions) で実行される NiFi フロー |
|---|---|---|
ユースケース |
常に NiFi フローを実行する高スループットのワークロードに対応するために、低レイテンシが求められるユースケース | 1秒未満のレイテンシ要件がなく、NiFi フローを継続的に実行する必要がない、マイクロバースト向けのイベントドリブン型ユースケース |
特長 |
Kubernetes クラスタを自動拡張し、実行時間の長いワークフローを一元的に管理できる | 効率と拡張性が高くコストが最適化された方法で NiFi フローをサーバーレスで実行することで、開発者がビジネスロジックに集中できるようになる |
測定単位 |
Cloudera 計算単位 (CCU) | メソッド呼び出し回数 |
DataFlow for the Public Cloud を体験
