Cloudera Data Platform Public Cloud を今すぐお試しください。

概要

あらゆる規模のデータパイプラインをセキュアに合理化して運用。

CDP Data Engineering は、エンタープライズデータエンジニアリングチーム向けに開発された唯一のクラウドネイティブサービスです。Apache Spark を基盤とする Data Engineering はあらゆるデータエンジニアリングツールを備えており、Apache Airflow によるオーケストレーション自動化、高度なパイプライン監視、視覚的なトラブルシューティングを実現し、包括的な管理ツールでエンタープライズ分析チームの ETL プロセスを合理化します。

Data Engineering は Cloudera Data Platform と完全に統合されており、SDX によるエンドツーエンドの可視性とセキュリティを実現できます。また、データウェアハウス機械学習などの CDP サービスともシームレスに統合できます。ハイブリッドクラウドプラットフォーム上のあらゆる場所で、一貫性のある反復可能な自動データエンジニアリングワークフローを実現します。

ユースケース

  • あらゆる場所でデータパイプラインを自動化
  • ETL の可視性と統制を確保
  • 全体にわたりデータの整合性を維持

あらゆる場所でデータパイプラインを自動化


質の高いデータセットを CDP Data Warehouse や CDP Machine Learning などの分析ツールへセキュアに提供。

Data Engineering は、機械学習やデータウェアハウスなど、分析チームへのデータパイプラインを合理化します。パイプラインのオーケストレーションと自動化により、キュレーションされた質の高いデータセットをセキュアかつ透過的にあらゆるところへ提供することで、価値実現までの時間を短縮します。

試してみる

ETL の可視性と統制を確保


データライフサイクルを透過的かつ包括的に管理。

データパイプラインをエンタープライズ全体で大規模に運用しようとすると、データライフサイクルの管理とコストの抑制はますます複雑化します。

運用統制と可視化機能を兼ね備えた Data Engineering により、さまざまなビジネスユースケースにおいてキャパシティプランニング、パイプライン自動化、自動リネージキャプチャ、トラブルシューティングを実現できます。

ブログを読む

可視性と制御を示す抽象的なイメージ

全体にわたりデータの整合性を維持


データパイプラインを完全に可視化してビジネスを保護。

データの量と複雑性が増大すると、分析ワークロードをビジネス全体に拡張しながら正確性と忠実性を維持することが困難になる場合もあります。

Data Engineering では、ネイティブなデータパイプライン監視とアラートにより、問題を早期に検出できます。また、視覚的なトラブルシューティングにより、問題がビジネスに影響を与える前に迅速に解決できます。

 

データパイプラインのトラブルシューティングのスクリーンショット

主な特長

Apache Airflow と数百のオペレーターを使用して複雑なデータ変換ワークフローをオーケストレーションすることで、ミッションクリティカルな分析の要件を満たすことができます。

Data Engineering はコンテナ化されており、拡張性とポータビリティに優れ、分離されたワークロード環境とガードレールを使用します。オンデマンドの弾力的なコンピューティングによるセキュアなパイプライン管理を実現し、ビジネスの SLA をコスト効率良く満たすことができます。

Spark ジョブのすべての段階で CPU、メモリ、I/O などのパフォーマンスメトリクスを視覚化します。トラブルシューティングではパフォーマンスのボトルネックを特定し、大量のデータからわずかな異常を発見します。

CLI および REST API を介して豊富なジョブ管理インターフェースを利用し、CI や CD パイプラインなどの既存ワークフローやサードパーティー製ツールなどを簡単に自動化および統合できます。

Data Engineering は Kubernetes サービス上に Spark を完全統合し、アーティファクト管理、セキュリティ、リソーススケジューリングを自動化および合理化します。FIFO と GANG のスケジューリングには Apache Yunikorn を使用します。

プラットフォーム管理者は、一元化されたインターフェースからアクセスとセキュリティを管理し、新しいワークロードを迅速にプロビジョニングできます。また、キャパシティの監視やリソース使用率推移の視覚化も容易です。また、SDX ではライフサイクル全体におけるリネージ追跡ができるため、データがどこから来てどこへ行くかが分かります。

ご興味をお持ちであれば、詳しい内容をぜひご覧ください


Cloudera Data Platform の Data Engineering を体験

始める

CDP デモ

あらゆる場所でエンタープライズデータエンジニアリングのワークフローを高速化できます。オンデマンドデモでご覧ください。

さらに詳しく

Discover CDP ビデオツアー


安全で最適化されたデータエンジニアリングワークフローがいかにビジネスに貢献するか、ビデオツアーで CDP の詳細を確認ください。

今すぐ見る

CDP テクニカルリソース

技術情報やリソースを提供するワンストップショップで、時間を節約しながら Cloudera Data Engineering のスキルを構築し、知識を習得しましょう。

答えを見つける

無料トレーニング

オンデマンドのトレーニングを活用すれば、Data Engineering を速やかに理解して、エンタープライズ全体にパイプラインを迅速かつセキュアに提供できるようになります。

トレーニングに進む

価格

料金体系、支払条件、ライセンスの詳細、時間単価を確認したり、簡単な計算機能を使ってコストの見積りを行えます。

価格情報

製品ドキュメント

リソース計画や製品構成、データエンジニアリングのベストプラクティスに必要な要素を確認して、今すぐ始めましょう。

今すぐ読む

Ebook

CDP Data Engineering: データライフサイクルを次のステージへ

Webinar

Cognilytica 社ウェビナー: Data Engineering パイプラインの最適化

Whitepaper

AI Data Engineering のライフサイクルチェックリスト

Webinar

企業における Data Engineering の活用: データパイプラインを高速化および拡張する方法

世界最高クラスのトレーニング、サポート、サービス

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.