概要
Stream Processing & Analytics とは？
Cloudera DataFlow (CDF) の Stream Processing & Analytics の機能では Apache Flink を使用しており、組織全体におけるリアルタイムストリーミング分析の民主化を支援します。さらに、ビジネス成果につながる重大イベントの検出と対応も改善されます。IoT をはじめとするストリーミングソースの出現により、企業にはデータストリームとイベントが絶え間なく無制限に流入しています。CDF のストリーム処理機能は、リアルタイムな分析、主要なイベントパターンの識別、そして予測的な洞察と実用的なインテリジェンスに基づく主要アラートのエスカレーションを支援します。
主な関係者がリアルタイムデータにアクセスできるようになるため、ビジネスの意思決定が大幅に迅速化し、ビジネスにプラスの影響を与えます。組織のアナリストは SQL でこうしたデータにアクセスできるので、開発者がストリーミング分析を高速化するまで待つ必要はありません。
ユースケース
不正行為の検知
ログ分析
カスタマー分析
数百万ものデータポイントを1秒未満でリアルタイム監視および並列処理します。並列分散処理、パターンを継続的かつ確実に検出することで、予測的および処方的な洞察を提供します。
マイクロサービス、バッチ、ストリームの処理および分析において、リアルタイムかつ複合的なイベント処理を実現します。リアルタイムの意思決定と自動化に影響を与えるミッションクリティカルなイベントの検出など、高度なイベント駆動型分析を構築するためのさまざまなウィンドウ技術を実現します。
Streaming SQL クエリの結果を、REST で読み取れる永続的なデータビューに実体化。アプリケーションにこのメカニズムを活用することで、データベースシステムの導入、個別の設定、メンテナンスの必要なくデータストリームにクエリを実行できます。
使いやすさと拡張性により、企業全体での導入を促進します。SQL を使用して分析を構築することに慣れているデータアナリストは、同じクエリ言語を使用してストリーミング分析を導入できます。ストリーミング開発者は SQL、Java または Scala を使用してストリーミング分析を構築できます。
イベント処理を行うクエリを動的に設定できます。ストリームの処理は状態と時間に基づいて行い、遅延およびアウトオブオーダーでの提供にはウォーターマークを使用します。
リアルタイム分析のユースケースは、業界や企業によって異なります。Cloudera は3種類のストリーム処理エンジン (Apache Flink、Spark Streaming、Kafka Streams) をサポートしています。どのエンジンが貴社のユースケースに適しているかは、ホワイトペーパーでご確認ください。
始める
ストリーミング分析のリソース
リアルタイムストリーム処理と分析の効果について、主要なリソースをすべてご覧頂けます。
Cloudera コミュニティの Flink トピック
Apache Flink について同業者たちと交流し、質問やトラブルシューティングを行い、知識を得ることができます。
イベント処理と STREAMING SQL
ストリーミング分析でデータストリームに対するクエリ構築を容易にする Streaming SQL の活用法をご紹介します。