数学ができると「数学ができないエンジニアはダメだ」の効果が計れる「数学をもっと勉強しよう」と思った?(2/3 ページ)

» 2017年04月05日 05時00分 公開

A/Bテストをする

 Facebookは毎日変わっています。

 最近では、Facebook Messengerに期間制限付きのメッセージを送る機能ができたり、セルフィーが簡単に取れるUIに変わったりしたことが、話題になりました。PCの投稿フォームやアプリのユーザープロフィール画面などの目立たないところも、UIの微調整がされています。

 なぜ毎日機能が変わっているのかというと、テストをしているからです。

 Aという機能とBという機能の両方を半々のユーザーに表示して、どちらの機能が良いかを試しているのです。

 テストは最小限で行います。ある機能を実験的に少ないユーザーに表示して、分かったことをたくさんのユーザーに公開して、サービスが良くなっています。

 では、テストはどのように行われているのでしょうか。

1. テストする項目を決める

 「記事のタイトルを変えると、効果がどのように替わるのか」を考える手順を説明します。

 仮の話として、本記事のタイトルを「A エンジニアに数学は必用か」と「B 数学ができないエンジニアはダメだ」のどちらにした方が効果が高いのかを考えます。

2. 効果を判断する指標を決める

 テストをするには、まず「判断するための数字」を決め、その後、判断に必要な「ユーザー」「テスト実施期間」を決めます。

 判断する数字を決めるには、サービスを理解した上で「指標」を決めます。本記事が「成功したと判断するための指標」は、以下のようなものが考えられます。

  • 記事のPV(アクセス数)
  • 記事を読んだ人のソーシャルでの反応(FacebookのLike数、Tweet数など)
  • 記事を読む時間
  • 数学をもっと勉強しようと思った人の数

3. 前提条件を設定する

 次に「前提条件」を設定します。

 目的の前提を、「PV」はたくさん欲しいが、達成したいことは「数学をもっと勉強しようと思った人の数」だとします。

 細部の前提は、以下のように設定します

  • @ITのTOPページなどで表示する本記事へのリンク回数は、AもBも5000回ずつとする
  • リンクがクリックされた数と、クリックした人がシェアしてシェア経由で流入した数をPVとする
  • 「数学をもっと勉強しようと思った人の数」は、Twitterで本記事を読んでポジティブに反応している人の数と定義する

4. 測定する

 テストの結果、以下の数字が測定できたとします。

  • A:PV「1000」、数学をもっと勉強しようと思った人の数「12人」
  • B:PV「1500」、数学をもっと勉強しようと思った人の数「10人」

 表にしてみましょう。

指標 A B AとBの比較
リンクの表示回数 5000 5000 .
PV 1000 1500 66.67%
数学をもっと勉強しようと思った人の数 12 10 120.00%

 PVはBの方が1.5倍多かったが、数学をもっと勉強しようと思った人の数はAの方が1.2倍多かった。最終的に達成したい目的が「数学をもっと勉強しようと思った人の数」なので、「Aの方が効果が高い」ことが分かりました

Copyright © ITmedia, Inc. All Rights Reserved.

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。