Cloudera named a leader in 2022年版 Gartner® クラウドデータベース管理システム部門の Magic Quadrant™ レポートを入手
  • Cloudera Cloudera
  • 短期間のイベントドリブン型ユースケース向け DataFlow Functions の GA を発表
    概要
     

    データ配信を統制しながら、どこへでも柔軟にデータを配信


    CDF-PC は、フローベースのローコード開発パラダイムを提供します。開発者がデータ配信パイプラインを設計、開発、テストするのに最適です。データレイク、レイクハウス、クラウドウェアハウス、オンプレミスのソースなど、CDF-PC はハイブリッドクラウドサービスのエコシステム全体で450以上のコネクターとプロセッサを備えており、ありとあらゆるデータ配信を可能にします。これらのデータ配信フローはカタログでバージョン管理され、オペレーターはさまざまなランタイムにセルフサービスでデプロイできます。

    Cloudera DataFlow for the Public Cloud

    Apache NiFi を活用したユニバーサルデータ配信

    Cloudera DataFlow for the Public Cloud の図

    あらゆる場所のあらゆるデータソースにアクセスして処理し、どこへでも配信可能

    ユースケース

    • コーディング不要のサーバーレスマイクロサービス
    • ほぼリアルタイムのファイル処理
    • データレイクハウスの取り込み
    • サイバーセキュリティとログの最適化
    • IoT データとストリーミングデータの収集

    コーディング不要のサーバーレスマイクロサービス


    コード不要の初のビジュアルソリューションである DataFlow Functions で、無限の拡張性を持つマイクロサービスを構築。

    DataFlow Functions は、AWS Lambda、Azure Functions、Google Cloud Functions 内で NiFi フローを実行し、HTTPS リクエストでトリガーされるマイクロサービスをコーディングせずに構築できる使いやすい UI を実装した初のソリューションです。このソリューションを使用すれば、サーバーレス環境で無限の拡張性を持つ API エンドポイントをすぐに構築できます。

     

    ほぼリアルタイムのファイル処理


    DataFlow Functions を使用し、サーバーレスアーキテクチャーでほぼリアルタイムのファイル処理を簡単に実現。

    DataFlow Functions なら、AWS Lambda、Azure Functions、Google Cloud Functions 内で NiFi フローを実行し、オブジェクトストアでファイルを利用するたびに、最もコスト効率の高い方法でファイルを処理できます。リソースはデータが処理されているときだけ実行されるため、NiFi を24時間365日実行する必要はもうありません。また、DataFlow Functions ではインフラストラクチャーの運用コストを必要としない完全なサーバーレスアーキテクチャーも提供されます。

    データレイクハウスの取り込み


    あらゆるデータレイクハウスやウェアハウスで動作する単一のツールでデータパイプラインを最新化。

    Cloudera DataFlow は450以上のプロセッサをサポートしており、簡単にデータを収集し、選択したレイクハウスに必要な形式に変換できます。

    Cloudera DataFlow には非構造化データを処理できる高い柔軟性が備わっているため、スキーマを適用したり、スキーマを適用して非構造化データを構造化したりせずに、高いスループットを実現できます。また、NiFi Expression Language や SQL クエリを使用してデータを簡単に変換することも可能です。

     

    サイバーセキュリティとログの最適化


    データアナリストが、SIEM データをキュレーションして、すばやく正確にイベントを検出し、分析できるように。

    データ収集パイプラインを最新化し、世界中の何千ものソースからリアルタイムにデータを収集してフィルタリングすることで、サイバーセキュリティソリューションのコストを削減します。

    すべてのデバイスとアプリケーションのログを SIEM ソリューションに取り込むことは、コストとパフォーマンスの観点から見て拡張性に優れたアプローチとはいえません。Cloudera DataFlow なら、どこからでもログデータを収集してノイズを取り除くことができるため、SIEM システムに保存されているデータを管理しやすくなります。

    IoT データとストリーミングデータの収集


    エッジの IoT デバイスから、必要に応じてスケールアップおよびスケールダウンするクラウド上の中央データフローにデータを送信。

    Cloudera DataFlow はストリーミングデータを大規模に処理できるように構築されています。そのため、小規模な IoT プロジェクトから始めても、ソースデバイスの追加に伴い爆発的に増加するデータの管理や、コネクティビティが断続的になるといった問題にデータフローで確実に対応できます。

    主な特長

    DataFlow Functions ランタイムを実装すると、効率と拡張性が高くコストが最適化された方法で NiFi フローを完全にサーバーレスで実行し、イベントドリブンなユースケースに対応できます。

    DataFlow のデプロイメント環境では、CPU の使用率に応じて自動的に NiFi フローをスケールアップおよびスケールダウンします。そのうえ、自動拡張の最小値と最大値を設定することで、インフラストラクチャーのコストを統制できます。

    NiFi の豊富なプロセッサライブラリを使用してあらゆるデータソースやターゲットにアクセスできます (例: オンプレミスのデータソース、クラウドのデータストレージ、クラウドのデータウェアハウス、ログデータソース、クラウドのデータ分析サービス、クラウドのビジネスプロセスサービスなど)。また、開発者は ReadyFlow と呼ばれる事前に定義された最小構成のデータフローをすばやくデプロイすることで、最も一般的なデータフローのユースケースを実装できます。

    どのクラウドで実行されていても、すべての NiFi フローデプロイメント環境を単一のダッシュボードで監視できます。また、フローデプロイメント環境の KPI アラートを定義して、重要なフローパフォーマンス指標を追跡できます。

    安全で安定した拡張性の高いエンドポイントを容易にプロビジョニングでき、あらゆるアプリケーションからフローデプロイメント環境にデータを簡単に送信できるようになります。

    Cloudera DataFlow は自動化を前提に構築されています。UI で実行できるすべてのアクションは、CLI コマンドに変換して自動化できます。そのため、CLI コマンドを1つ実行するのと同じくらい簡単に新しい NiFi フローをデプロイできます。

    場所を問わず NiFi フローを開発し、あらゆるクラウドにデプロイ
    Kubernetes クラスタやサーバーレス NiFi フローを自動拡張して実現

    DataFlow for the Public Cloud のフローの図

    パブリッククラウドのランタイムオプション

    機能 DataFlow Deployments DataFlow Functions

    クラウドランタイム

    Kubernetes/コンテナを使用した
    NiFi クラスタ
    クラウドプロバイダーのサーバーレスコンピューティングサービス (AWS Lambda、Azure Functions、Google Cloud Functions) で実行される NiFi フロー

    ユースケース

    常に NiFi フローを実行する高スループットのワークロードに対応するために、低レイテンシが求められるユースケース 1秒未満のレイテンシ要件がなく、NiFi フローを継続的に実行する必要がない、マイクロバースト向けのイベントドリブン型ユースケース

    特長

    Kubernetes クラスタを自動拡張し、実行時間の長いワークフローを一元的に管理できる 効率と拡張性が高くコストが最適化された方法で NiFi フローをサーバーレスで実行することで、開発者がビジネスロジックに集中できるようになる

    測定単位

    Cloudera 計算単位 (CCU) メソッド呼び出し回数

    DataFlow for the Public Cloud を体験

    エッジからのデータ収集


    Cloudera Edge Management のコーディング不要のデータ取り込みと管理により、ストリーミングや IoT イニシアティブにおけるエッジの管理、統制、監視を行い、リアルタイムのストリーミングデータを提供します。

    始める

    製品ドキュメント

    Cloudera DataFlow for the Public Cloud の技術仕様、アーキテクチャー、チュートリアルをご覧ください。

    さらに詳しく

    Cloudera DataFlow for the Public Cloud の価格


    パブリッククラウドインスタンスでの Cloudera DataFlow for the Public Cloud の価格をご覧ください。

    詳細

    DataFlow の概要ツアー

    Cloudera DataFlow for the Public Cloud を実践的にご紹介します。

    今すぐ見る

    Cloudera コミュニティの NiFi トピック

    Apache NiFi について同業者たちと交流し、質問やトラブルシューティングを行い、知識を得ることができます。

    今すぐ調べる

    NiFi トレーニング

    Apache NiFi 基礎ハンズオントレーニングの3日間コースなど、さまざまなコースを予約できます。

    トレーニングに進む

    製品デモ

    Cloudera DataFlow for the Public Cloud の紹介とデモをご覧ください。

    今すぐ見る

    Demo

    Cloudera Data Platform Public Cloud の DataFlow Functions

    Webinar

    企業データをどこからでも、どのシステムへも簡単に移動

    News

    ブログ: DataFlow Functions の GA の発表

    Webinar

    すべてのストリーミングデータパイプラインを掌握

    世界最高クラスのトレーニング、サポート、サービス

    Your form submission has failed.

    This may have been caused by one of the following:

    • Your request timed out
    • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.