使い勝手の高いWeb UIによって快適なデータ分析環境を実現
インターネット環境においてさまざまなデジタルコンテンツやサービスを展開するエンタテインメント企業である株式会社ドワンゴでは、ビッグデータ分析プラットフォームとしてApache Hadoopを自社で運用してきたが、データ分析需要の高まりと共にインフラ管理の負担軽減が必須となり、Clouderaのエンタープライズプラットフォームを採用。膨大なビッグデータを受け入れ、ノード拡張や集約を行うなかで同社に最適なデータ分析基盤の整備を実現し、ニコニコチャンネルのオーナーに、マーケティングデータを提供するサービスなど、社内外で活かせるデータ集計や分析基盤を確立しています。
課題: データ分析需要の高まりで商用ディストリビューションへの移行を検討
株式会社ドワンゴは、「ネットに生まれて、ネットでつながる。」をビジョンに据え、創業以来日本のネット産業を牽引しています。ネットワークゲームを対象としたシステムの企画や開発を手掛ける企業として1997年に創業、現在はニコニコ動画やニコニコ生放送などのコミュニケーションプラットフォームの提供をはじめ、ゲーム事業やニコニコ超会議などのイベント事業、N高等学校と連携した教育関連サービス事業、IPを活用した各種エンタテインメント事業を展開。ネットとリアル、デジタルとアナログ、革新と伝統といった相反する概念をネットの力を使って融合し、新しい価値を創造し続けています。
同社では、利用者が制作した動画などのコンテンツを配信するUGC （ユーザー生成コンテンツ）プラットフォーム内のデータを分析するビッグデータ分析の基盤として、オープンソースのApache Hadoopエコシステムを自社で長年運用してきた経緯があります。その環境を大きく刷新するきっかけとなったのが、様々な部署で高まってきたビッグデータ分析へのニーズです。組織横断的なデータ分析基盤の整備に向けて、数年前の組織改編でも新たに部門を設けるなど、データ活用における重要性が全社的に高まっていると、ICTサービス本部 Dwango DataManagement Service部 部長 塚本 圭一郎氏は説明します。
高まるデータ分析の需要に対応するためには、自社で運用管理する環境からの脱却が必要でした。「インフラ運用に時間と人材を費やすより、データ分析の強化に向けてもっとデータを幅広く受け入れ、データの定義や管理に、より多くのリソースを費やすことが求められました」と、塚本氏は当時を振り返ります。
選定: 充実したサポートと使い勝手の高いWeb UIが大きな魅力に
新たな環境を模索するなかで注目したのが、Clouderaが提供するプラットフォームでした。「インフラ管理の負担を軽減するためにも、サポート体制が十分に整っているソリューションが必要でした。Clouderaのテクニカルサポートの窓口は明確な体制のもとで運用されており、迅速な問い合わせに対応してもらえる環境が整備されていました」と塚本氏は語ります。UGCに関するサービスを自社のデータセンターで運用していたこともあり、オンプレミス環境での構築実績も豊富なClouderaが同社にマッチしていました。またKerberos認証など同社が採用している認証・認可の技術が適用しやすく、セキュリティやガバナンスの観点でも求める環境に適していたと言います。
さらに、SQLの記述によってETLのような処理が実現できる豊富なクエリエンジンなど、新しい技術への適用が迅速だった点もClouderaを選択したポイントの1つでした。他にも、Clouderaが提供するWebベースのUIツールのHueの存在も大きかったと、塚本氏は説明します。「市民データサイエンティストとしてサービスごとに在籍しているメンバーが活用しやすいよう、以前から内製化したWeb UIを提供していましたが、オープンソースのアップデートなどに追従していく負担も大きかったです。ClouderaのHueは機能が豊富に備わっており、ユーザーニーズも十分満たせると判断しました」。
こうした検証を経て、同社のサポートニーズや仕様を満たしたClouderaのエンタープライズプラットフォームがデータ分析基盤として採用されました。
運用: 施策の効果測定やビジネス拡大の一翼を担うデータ分析基盤として重宝
長年にわたり、Clouderaをベースにデータ分析基盤を構築し、ここ数年ではノードを追加してクラスタサイズを増強、同時にCloudera Managerを導入して統合的に運用管理できる環境を整備し、モニタリングやディストリビューションの配布も含めた一元管理を実現しました。現在は、サーバの高集約化を図ることで50台を超えるノード上でClouderaを稼働させており、データサイズも導入当初からほぼ10倍の1ペタバイトを超える規模にまで拡張しましたが、人員を増やすことなく運用できています。塚本氏が所属する部門や組織横断的なデータ分析を担う部署、そして各サービス内に在籍するヘビーユーザの他、クエリ実行やファイル共有などを扱うライトユーザも含めて200名を超えるアカウントで運用されています。
主な用途としては、ニコニコ動画やニコニコ生放送といった各サービスの効果測定に活用されており、Webディレクターがアクセス解析で利用するGoogle Analyticsとは別に、各システムから収集されるアプリケーションログも含めた詳細な分析や、効果測定に必要な深堀り分析などを実施する際のデータ分析基盤となっています。
また、限定されたチャンネルオーナーに向けたマーケティングデータの提供によって、ビジネス拡大に必要な環境づくりにもClouderaが貢献していると言います。「例えば、サブスクリプションビジネスが展開できるニコニコチャンネルのオーナーに対して、マーケティングデータを提供していますが、このデータ集計や分析の基盤として活用しています。ほかにも、ニコニコ動画内で提供されている投稿者向けのアナリティクスのデータもClouderaをベースに集計したものを利用するなど、活用の幅が広がり、ビジネスの成長を支えるプラットフォームと役立っています」と塚本氏は語ります。なお、Clouderaのプラットフォームと統合された分散データストアであるApache HBaseを活用し、ニコニコ動画上にコメントを表示する仕組みの一部としても利用されています。
Clouderaが対応するバッチ処理に適したHiveや高速な分析が可能なImpalaなど、各種クエリエンジンを活用することで、ミーティング時に必要な分析結果がその場で得られるようになりました。Impalaにてクエリを投げ、BIツールのTableauを活用して現場での可視化を可能にするなど、データ分析業務の迅速化に大きく貢献しています。「Impalaにてアドホック分析を実施し、Hiveに書き換えたうえでワークフローやスケジューラーにて定期的な実行に変換していくといった一連の流れが、Hueを通じて定義できるため非常に便利です」と、塚本氏は評価します。
「また組織改編が頻繁に発生する同社では、厳格な認証認可の基盤が不可欠ですが、Kerberos認証などの仕組みを実装することで安心してデータ分析を継続できる意味でも、セキュアな環境づくりに役立っています」と、塚本氏は説明します。ガバナンス面でも、Clouderaのツールがデータ取得を容易にするだけでなく、監査ログとして証跡管理が可能な点も魅力の1つに挙げています。
サポート面では、Clouderaのエンジニアの手厚い支援によって安定した運用が可能になったと言います。「導入当初の我々のチームは新人が多く、リーダーの負担が大きかったのですが、問題があるとすぐにサポートをお願いできたため、未来に向けての環境づくりに人的リソースを割くことができました。移行計画から基盤拡張に必要な機器の選定支援にいたるまで、様々な場面で親身に対応いただけて感謝しています。おかげで、何度か実施した移行計画もオンスケジュールで完了することができています」と、塚本氏は語ります。
今後: オンプレミスとクラウドを柔軟に活用できるCDPに期待
今後について、オンプレミス環境で培われた環境を生かしながら、クラウド活用も含めた形でClouderaのソリューションを上手く活用していきたいと言います。「長年運用している中では、コールドデータも多く存在しているため、データの利用頻度に基づいて、適切な管理ができる環境を実現していきたいと思います。オンプレミスの部分を残しながら、必要なリソースをクラウドから調達、移行できる環境が理想だと考えており、その意味でも、新たなソリューションとしてCloudera Data Platform（CDP）には非常に期待しています」と、塚本氏は説明します。
また、現在はグループ全体でデータ分析基盤のあり方が議論されており、必要な環境づくりに向けて模索を続けている状況だと言います。「Clouderaであれば、データ分析に必要な環境を抽象化しながらCloudera Managerにて一元管理することでガバナンスへの貢献も期待できますし、オンプレミスやプライベートクラウド、パブリックラウドなど、隙のないあらゆる環境が活用できます。データが増え続けると共にデータ分析のニーズはさらに高まっていくはずで、その基盤の選択肢の1つとしてCDPは十分検討できると思います」と、最後に語っていただきました。