Apache Atlas
Altas は、メタデータを Hadoop スタックの内部や外部に存在する他のツールと交換し処理できるよう設計されているため、プラットフォームに依存することのないガバナンスコントロールを実施して、コンプライアンス要件に効果的に対応できるようになります。
Apache Atlas は、エンタープライズ Hadoop に対してメタデータを使った拡張性に優れたガバナンス機能を提供します。Altas は、新しいビジネスプロセスやデータアセットを迅速かつ容易にモデリングできるよう設計されています。この柔軟なタイプのシステムによって、Hadoop スタックの内部や外部に存在する他のツールやプロセスとのメタデータの交換が可能となり、プラットフォームに依存することのないガバナンスコントロールを行って、コンプライアンス要件に効果的に対応できるようになります。
Apache Atlas は、2つの基本原則に沿って開発されています：
- Hadoop におけるメタデータの正確性：AtlasによってHadoop を正確に可視化できること。Atlas によって、Hadoop コンポーネントに対するネイティブなコネクタを使用し、業務分類メタデータで強化した技術面および運用面のトラッキングが可能になります。Altas は、すべてのメタデータ利用者が、同じメタデータストアを共有できるようにすることで、多くのメタデータプロシジャ間での相互運用を可能にします。
- オープンであること. Atlas は、Aetna、Merck、SAS、Schlumberger および Target のエンジニアによる共同作業によって、Hadoop を利用する幅広い業界を対象に、データガバナンスの現実的な問題を解決できるよう構築されています。このようなアプローチでは、オープンソースコミュニティのイノベーションの優れた例として、製品の成熟度を向上させ、データファーストなエンタープライズにいち早く価値を提供することができます。
エンタープライズは、Apache Atlas の拡張性に優れたガバナンスサービスによって、コンプライアンス要件に効果的かつ効率的に対応できるようになります。これらのサービスには、以下が含まれます：
- データリネージ： プラットフォームレベルで、Hadoop コンポーネントを横断する形でのデータのリネージ (来歴) を捉えることができます
- 迅速なデータモデリング： 型システムによって、階層分類型のカスタムのメタデータ構造を実現できます
- REST API：Atlas サービス、HDP コンポーネント、UI や外部ツールへの最新で柔軟なアクセス
- メタデータの交換：最新のツールから、既存のメタデータ / モデルをインポートして活用。下流システムにメタデータをエクスポート
Atlas の仕組み
Apache Atlas は、Hadoop内にあるメタデータを、広範なデータエコシステムとの間で効果的に交換できるよう設計されています。Atlas の適応モデルによって、既存のメタデータや業界標準の分類法を活用することで、コンプライアンス対応の時間短縮を図ることができます。Atlas によって、データアドミニストレータやスチュワードは、データセットやソース、ターゲット、派生プロセスなどの基盤となる要素との関係を捉え、その定義や注釈付け、さらに自動化が可能となります。
また Atlas によって、メタデータをサードパーティのシステムに容易にエクスポートし、下流のエコシステム全体で一貫性あるメタデータを利用することができます。