オプティマイズリー導入支援のスプリットエンジン

[初めにご覧ください] ファーストステップガイド

Optimizely - ABテストプラットフォームをご活用頂くために、サービス登録から実験開始までの方法を分かりやすくご紹介します。

招待メールが届いてからログインまで

  1. 招待メールに記載されているTemporary passwordをコピーしてからリンクをクリックします。

  2. 英語サイトが表示されるので、 URL末尾の「.com」を「.jp」に変え、日本語サイトにアクセスして下さい。
  3.  

    サイト右上のログインを押します。

  4.  

    招待メールに記載のメールアドレスTemporary passwordを入力しログインします。

プロジェクトコードの埋め込み

最初に、実験サイトへプロジェクトコードを埋め込みます。

  1. プロジェクトホーム画面から<プロジェクトコード> 43.9 KB > クリップボードにコピーをクリックしプロジェクトコードをコピーします。

     

  2.  

    実験サイトのHTMLファイルを開き、<head>開始タグの直後にプロジェクトコードを挿入し保存します。

実験の作成

さあABテストを開始する準備が整いました。さっそく実験を作っていきましょう。

  1.  

    招待されたプロジェクトのホーム画面にある実験の作成をクリックします。

  2.  

    実験名実験URL(実験対象とするURL)を入力します。ここでは例として、ボタン画像の変更実験を作成します。実験URLがどのようなURLにマッチするかの詳細はFAQ > ターゲットの設定 > どのページがターゲットとして判定されるか確かめたいをご覧ください。

実験の編集

実験の作成が完了すると、自動的に編集画面が開き実験対象のURLがプレビューされます。さっそく実験の編集を行いましょう。

  1.  

    編集する要素、今回はお問い合わせボタンをクリックします。

  2.  

    早速ボタンの色を変えてみましょう。色を変えるにはCSSのbackground-colorを編集します。要素の編集スタイルの編集の順にクリックします。

  3.  

    開いたウィンドウ内の色と背景タブ→背景色を違うカラーに変更します。カラフルな円のアイコンをクリックするとカラーピッカーが表示されます。

  4.  

    編集が済んだらバリエーションの名前変更を押して分かりやすい名前に変更します。

  5.  

    さらにバリエーションを増やす場合はバリエーションの追加をクリックします。

実験目標の設定

反応率の違いを測るために必要な目標を設定していきます。

  1.  

    目標の設定をクリックし、その中の新しい目標の作成をクリックします。

  2.  

    ここでは目標名は分かりやすくお問い合わせボタンのクリックとします。追跡対象クリックに変更し、プレビュー画面の中のお問い合わせボタンを選択状態にします。

  3.  

    計測目標に間違いがないか念のため確認してみましょう。詳細設定をクリックした中にあるセレクター項目に、目標要素の正しいclassやid名が設定されている事を確認します。手動でこの項目から計測目標を設定する事もできます。最後に保存を押してください。

  4.  

    実験目標に先ほど作成した目標が登録されている事を確認します。これで目標の設定は完了です。

  5.  

    最後に今すぐ保存をクリックしてから実験の開始をクリックし、実験をスタートしてください。

これで実験が開始されました。実験結果が楽しみですね。

 

note: 実験目標に最初から入っているEngagementは、実験ページの任意の場所をクリックした訪問者の割合を計測する目標です。ページのリンクや画像・空白部分など、どのような場所をクリックしてもコンバージョンとして計測されます。他の目標指標が利用できない場合に指標として利用する事ができるので、削除せずに残しておきましょう。

実験のプレビュー

  1.  

    プロジェクトホーム画面からプレビュー > ホストプレビュー > Proceed to Website(承認)を選ぶ事で、実験のプレビューが見られます。

  2.  

    プレビュー画面では、Bucketed in Variationからバリエーションを変更する事ができます。

実験結果の表示

  1.  

    実験を開始し十分に訪問者数の集計が取れた後、プロジェクトホームにある実験をクリックし、結果の表示を選ぶと実験の計測結果が表示されます。

  2. それでは実験結果を見ていきましょう。

    IMPROVEMENT - 向上率

    まずは緑色で表示された'IMPROVEMENT'をご覧ください。
    IMPROVEMENTとは向上率の事で、今回の実験では、元々のサイトデザインであるOriginalのコンバージョン率を100%とした場合、作成したバリエーションのコンバージョン率は110.7%となり、+10.7%も向上したという結果になりました。
    これを分かりやすく例えると、目標を会員登録ボタンとしていた場合、Originalと比べて会員登録数が10.7%増加した事を意味します。

    他にIMPROVEMENT の例を見て頂くと、
    コンバージョン率が50% から60%に伸びた場合(+10%)、IMPROVEMENT は+20%(0.2倍)になります。
    コンバージョン率が1% から11%に伸びた場合(+10%)、IMPROVEMENT は+1000%(10倍)になります。

    IMPROVEMENT の計算式は以下のようになります。

    improvement = ((variation コンバージョン率 - BASELINE コンバージョン率) / BASELINE コンバージョン率) * 100

    もし、上記画面のようにIMPROVEMENTに時計マークが表示されている場合は、オリジナルとバリエーションの差が少なく実験結果が未確定な状態です。結果が確定するまでお待ちください。

    コンバージョン率

    今回の実験では、Originalに比べて、実験で作成したバリエーションの方がコンバージョン率が6.03%上がる結果になりました。

    6.03 = 62.37 - 56.34
    

    結果の詳細を表示する

    画面右上にある、展開・折りたたみボタンをクリックする事で結果の詳細を表示することができます。

    CHANCE TO BEAT BASELINE - 勝ちパターンである確率

    CHANCE TO BEAT BASELINEは、BASELINE(通常はOriginal)と実験バリエーションのどちらが勝っているかを、実験のデータを元に統計的有意性を判断し算出した確率です。この確率は統計的にまぐれではない確率を示しています。

    今回の例では、Originalと比べて実験バリエーションが勝っていると言える確率は97%、対してOriginalが勝ったと言える確率は3%、という事を意味します。計算式などの詳細は以下のページをご覧ください。
    en: What does "Chance to beat baseline" actually mean? – Optimizely Learning Center

    hint: BASELINE はOriginal以外のバリエーションに変更する事ができます。BASELINEをOriginal以外に変更する事で、作成したバリエーション同士を比べる事が可能です。