スマートフォン広告計測サービスの裏側：となりのアドテク（1）（2/2 ページ）

スマートフォンアプリ広告特有の難しさ

　スマートフォンでは、アプリへ遷移させる広告が存在します。その場合、ユーザーがWeb上の広告をクリックするとマーケットへ遷移して、アプリをインストールします。このとき、クリックとアプリインストールの間にマーケットが存在してしまうため、セッションが途切れてしまいます。

　また、アプリ内に表示される広告も存在します。この場合、広告クリック後の遷移先とセッションが遮断されてしまいます。

　このように、スマートフォンの世界では、アプリが内在することによって、継続して追跡するような計測が、一般的なWeb広告と比較して難しいという特徴があります。図でまとめると、スマートフォン広告の遷移には、以下の4種類が存在することになります。

スマートフォン広告における4つの遷移

　「F.O.X」のサービスでは、この4種類の遷移について、独自の方法を使い全ての計測を可能にしていることから、現在、1600アプリ以上に導入されています。今回の記事では、F.O.X運用のバックエンド側の情報を紹介しますので、F.O.Xそのものについては省略します。

バッチ処理では追い付かないトラフィックに耐える仕組みへ

　前述の通り、スマートフォン広告に特化した計測が可能であることから、F.O.Xを利用するユーザーは増加しました。当然、トラフィック量も爆発的に増加していったのです。

　「F.O.X」では、アプリインストール後のユーザーの起動や終了、課金、イベントなどのアクセス解析も行っているため、導入アプリが増えるたびに急激にアクセスが増えます。F.O.Xに蓄積されたデータの集計や解析は、従来MySQLを使ったバッチ処理を行っていたのですが、それでは追いつかない状況となり、集計する期間を絞ったり機能を制限したりする状況に陥っていたのです。

大規模分散でバッチをさばくことに

　こうした状況を改善するために、大量のトラフィックやデータ蓄積に対応すべく、分散処理フレームワークであるApache Hadoop導入の検討が始まりました。

　HadoopディストリビューションとしてはMAPR社のMAPRやHortonworksのHDP、Cloudera社のCDHがありますが、ClouderaがHadoopのディストリビューションとして老舗である点と自社グループ内で十分な実績がある点、自社エンジニアもCDHでの構築運用経験があることからClouderaのCDHを採用することに決めました。CDHのバージョンは最新の4.4.0（2013年11月時点）としました。

スピード開発を実現するためCloudera Managerを導入へ

　今回弊社では初めてのHadoop導入であったこともあり、経験の浅いメンバーに対して運用オペレーションのキャッチアップを容易にするなどの工夫を求められていました。その中で、同社のHadoopクラスター管理ツールである「Cloudera Manager」を使うことによるクラスター構築の簡易性や運用面の負荷軽減を考慮し、導入を検討しました。

　管理ツールを使わないでCDHをインストールした場合、リソースをグラフ化するためのツールとしてGangliaなどの別途構築、ログを一元的に集約するログサーバーの構築が必要でした。デプロイについても、現在の弊社環境ではChefやPuppetなどのデプロイツールを使っていなかったため、Cloudera Managerによるデプロイ一元管理も魅力に感じました。

検証プロセスを紹介

　今回の導入では、検証を物理サーバー4台でHadoopクラスター構築を行いました。

　利用するHadoopエコシステムはHDFS、Zookeeper、MapReduce1、Hive、Hue、Sqoop2になります。

　検証用の構成としては、1台はNameNodeやJobTrackerなどのマスターサーバーとして、残りの3台をDataNodeやTaskTrackerなどのスレーブサーバーとして構築を行い、マスターサーバーにCloudera Managerのインストールを行いました。本番環境の構成はまた異なります。

検証時の構成イメージ図

　実際に検証をすることでCloudera Mangagerによるメリットも徐々に見えてきました。

　まず、Cloudera Manager自体のインストールが簡単であり、Hadoopクラスター構築に関しても30分もかからずに構築が完了しました。オペレーションも全てGUIなので非常に分かりやすい印象です。リソースのグラフ化についても、デフォルトでさまざまなメトリクスが取得されグラフ化もされています。もちろんカスタマイズも可能です。

Cloudera Manager管理画面（1）

Cloudera Manager管理画面（2）

　今回は、筆者らが運用するスマートフォン広告計測サービスのバックエンド側の運用の一部を紹介しました。次回以降は運用ノウハウを紹介していきますので、お楽しみに。

関連特集：「データ分析を支える技術」

大量データをサービス開発に生かす機運が高まっている今、多くのIT技術者はビジネスサイドの要請に、柔軟・迅速に応えられるデータ基盤整備を迫られている。本特集では、その基礎技術や理解しておくべき技術動向、新たな収益に結び付くデータ活用の在り方を紹介する。

特集：データ分析を支える技術