Your browser is out of date

Update your browser to view this website correctly. Update my browser now

×

CCP データエンジニア認定試験 (DE575)

  • 設問数: 予め設定されている Cloudera Enterprise クラスタで実行する 5-10 件のパフォーマンス(ハンズオン)ベースの試験

  • 制限時間: 240 分

  • 合格スコア: 70%

  • 言語: 英語

  • 受験料: 400 米ドル

試験の設問形式

ユニークで大規模なデータセットを用い、CDH クラスタで顧客の課題 5~10 問を4時間で行います。それぞれの問題について、すべての要件を満たす技術的なソリューションを実装する必要があります。クラスタ上の任意のツール、またはツールを組み合わせて使用することができます(利用できるツールはウェブサイトをご覧ください)。ジョブに適したツールを選択してください。問題を分析するのに十分な業界知識を持っている必要があります。制限時間や監督者が見守っている間など、厳しい条件下において、何を行うべきかを理解してから稼働中のクラスタで試験を行う必要があります。

評価、スコアレポート、証明書

採点は提出後すぐに行われ、スコアレポートは試験当日に電子メールで届きます。スコアレポートには、挑戦した各問題の問題番号とその問題の成績が記載されます。不正解の場合は、クリアできなかった基準が記載されます(「レコードのデータが間違っている」「ファイル形式が間違っている」など)。試験内容のセキュリティを担保するため、詳細情報は提供されません。試験内容のレビューについてはFAQをご覧ください。

試験に合格すると、試験の数日後、PDF 形式のデジタル証書、ライセンス番号、Linkedin プロファイルの更新情報、個人事業用の販促物やソーシャルメディアのプロファイルで使用できるロゴのダウンロードリンクを含む 2 通目の電子メールが届きます。

対象者と受験条件

CCP データエンジニアの受験者は、データエンジニアリングのソリューションを開発する上で豊富な経験とスキルを持つ高いレベルのエキスパートである必要があります。その他の前提条件はありません。

CCP データエンジニア認定試験は、技術者のスキルを捜している雇用者が認識するような有能なデータ専門家を特定するために作成されました。現場での実地経験をお持ちでない方は、 Cloudera Spark &Hadoop 開発者向けトレーニングコースを受講することから始めて、この認定資格を取得することをお勧めします。

 

必要なスキル

 

データの取り込み

外部システムとクラスタ間でデータを転送するスキル。以下が含まれます。

  • 外部RDBMSとクラスタ間でのデータのインポートとエクスポート。特定のサブセットをインポートし、取り込み時にインポートしたデータの区切り文字およびファイル形式を変更し、データアクセスのパターンや権限を変更する機能も含みます。
  • リアルタイムおよびNRTストリーミングデータをHDFSへの取り込む。複数のデータソースに分散し、取り込み時にデータ形式を変換する機能も含みます。
  • Hadoop File System(FS)コマンドを使用したHDFSへのデータ読込みとHDFSからのデータ読出し。

変換、ステージング、格納

HDFSに保存されている所定の形式のデータ値のセットを新しいデータフォーマットに変換し、HDFSまたはHive/HCatalogに書き込みます。これには以下のスキルが含まれます。

  • データファイル形式の変換
  • 圧縮データの書き込み
  • データ値セットの変換(外部ライブラリを使用して緯度/経度から郵便番号に変換するなど)
  • データセット内の値のデータ形式の変更
  • NULL値などの不正レコードのデータセットからの削除
  • データの重複排除とマージ
  • 複数の異なるデータセットのデータの非正規化
  • AvroまたはParquetスキーマの進化
  • 1つまたは複数のパーティションキーによる既存のデータセットの分割
  • 最適なクエリ性能を実現するためのデータ調整

データ解析

HDFSに格納されている所定の形式の1つ以上のデータセットをフィルタリング、ソート、結合、集計、変換し、特定の結果を出します。これらの全てのタスクには、Parquet、Avro、JSON、区切り文字のテキスト、および自然言語テキストの読み込みが含まれます。クエリには、複雑なデータ型(配列、マップ、構造型など)、外部ライブラリの実装、分割データ、圧縮データを含み、Hive/HCatalogのメタデータを使用する必要があります。

  • 複数行のデータを集約するクエリの作成
  • 集計、統計を計算する(平均や合計など)クエリの作成
  • データをフィルタリングするクエリの作成
  • ランクを付けたデータやソートしたデータを生成するクエリの作成
  • 複数のデータセットを結合するクエリの作成
  • HDFSの既存データからのHiveまたはHCatalogテーブルの読出しや作成

ワークフロー

データの価値を高めてシステムでさらに活用する各種ジョブやアクションを作成および実行する能力。以下のようなスキルが含まれます。

  • Hadoopジョブ、Hiveジョブ、Pigジョブ、カスタムアクションなどのアクションによるリニアワークフローの作成および実行
  • Hadoopジョブ、Hiveジョブ、Pigジョブ、カスタムアクションなどのアクションによる分岐ワークフローの作成および実行
  • データ依存関係を持つワークフローを含め、事前に定義したタイミングで定期的に実行するワークフローの調整

 

他に質問がある場合は、認定FAQをご確認ください。

受験方法とクラスタの情報

CCPデータエンジニア試験(DE575)は、いつでもどこでも受験できるリモート形式の試験です。

CCPデータエンジニア試験(DE575)は、Clouderaのテクノロジーを使用するハンズオン実技試験です。各受験者には、それぞれCDHクラスタ(現在5.10.1)が提供されます。クラスタには、Spark、Impala、Crunch、Hive、Pig、Sqoop、Kafka、Flume、Kite、Hue、Oozie、DataFuなどが事前にロードされています (完全なリストを見る).さらに、Python 2.7および3.4、Perl 5.16、Elephant Bird、Cascading 2.6、Brickhouse、Hive Swarm、Scala 2.11、Scalding、IDEA、Sublime、Eclipse、およびNetBeansも入っています。

試験中にオンラインで提供される資料

Cloudera 製品ドキュメント
Apache Hadoop
Apache Hive
Apache Impala (Incubating)
Apache Sqoop
Spark
Apache Crunch
Apache Pig
Kite SDK
Apache Avro
Apache Parquet
Cloudera HUE
Apache Oozie
Apache Flume
DataFu
JDK 7 API Docs
Python 2.7 ドキュメント
Python 3.4 ドキュメント
Scala ドキュメント

試験中利用できるのは、上記の資料、リンク、およびリソースだけです。Google/検索機能を含むその他の全てのウェブサイトは、無効化されています。メモなどの試験の補助教材も使用できません。

 

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.