WEBサイト改善の効果検証について思うこと

サイト改修をしたら、それがどれだけの成果を生んだかどうか効果検証をしなくてはなりません。

しかし、効果検証には2重の難しさがあり、どうしてもアバウトな効果検証になってしまうのが悩ましいところです。

今回はそんな話を、振り返りながら書いていこうと思います。

 

効果検証3つのパターン

 

パターン1 昨年との比較

まず、よく行われるのが昨年の時期との各種指標のデータ比較です。

大雑把に成果がでているかどうか見るときにはこれを行います。

 

ただ、「改修Aの効果検証」という文脈ではこれは不適切です。

なぜならば、昨年と今年の期間で、改修A以外にたくさん改修された要素がある可能性が大きいからです。

比較するさいには、できるだけ調べたい変化以外の条件はそろえて比較する必要がありますが、昨年との比較ではたくさんの変化があるため、正確な効果検証にはなりません。

 

 

パターン2 改修前後期間の比較

昨年との比較では正確性が足りないですが、改修が行われた日の前後の一定期間(例えば1ヶ月)で比較をするとより正確性が高まります。

前後1ヶ月の比較をするとして、前後1ヶ月間で、(効果検証をしたい)改修A以外のサイトの変化がなければ、だいぶ信頼できる値で比較できているように考えられます。

 

しかし、これもダメな時があり、例えばどちらかの期間にクリスマスやお正月、といったアクセスに大きな変化を及ぼしそうな外部要因がある場合です。

改修前後期間のどちらかにそのようなイベントがある場合には、残念ながら使えないです。

ではそんな時はどうしたらいいのか、それがパターン3です。

 

 

パターン3 改修前後期間の昨対比の比較

パターン3では、改修前後の一定期間の昨対比と昨対比を比較します。

パターン1とパターン2のミックスです。

 

例えば、改修でTOPページの読み込み速度を向上させました。

その効果として、例えば直帰率がどう変化したかを知りたいとします。

パターン1:改修があった月、あるいは改修後1ヶ月程度の期間の直帰率を昨年と比較。

→昨年と今年では、サイト内のレイアウトやコンテンツが変わっており正確な比較とならない。

パターン2:改修前後1ヶ月間の直帰率を比較。

→改修後1ヶ月の期間は正月を挟んでしまっており、正確な比較とならない。

 

そこで、改修前1ヶ月の昨対比と、改修後1ヶ月の昨対比を比較します。

まず、改修前後の期間比較をしており、その期間でTOPの読み込み速度以外のサイト内のコンテンツやレイアウトの変化はないため、改修A以外のサイト内要因を揃えていることになります。

また、直帰率そのものの比較でなく、「直帰率の昨対比」を比較することで、シーズン要因を考えなくて良くなります。

 

 

改修が全体にどれだけ寄与したかどうかがわからない問題

 

どの期間で比較をすればよいかどうかは、これで一旦解決したとして、また別の問題があります。

それは改修Aの効果がサイト全体としての変化にどれだけ寄与しているかどうかがわからない、という問題です。

 

例えば、ホテルサイトで、TOPの後にレストランの情報がのっているページを見た訪問ではCVRが高いため、TOPページの上部にレストランページへの導線を設置したとします。

この時、改修による直接の効果は、TOPページの直後にレストランページへ遷移した訪問割合が増加することです。

ただ、最終目的としてはサイトのCVRを上げることにあるので、サイト全体のCVRの増減が一番効果検証としては知りたいところです。

 

ここで「TOPページの直後にレストランページへ遷移した訪問割合が増加し」、かつ「CVRも増加した」とします。

いい結果が出ましたね。で終わりにしてもよいのですが、

ちょっと考えてみると、サイト全体でCVRが増加したのを、(TOPにレストランページへの導線を設置するという)改修Aのおかげだ、と言っていいのか怪しいのです。

 

例えば「CV意欲の高い訪問者の割合が前期間より増加している」等、改修A以外に、全体のCVRの増加に貢献した要素があることは大いに考えられます。

仮にそういった要素B・Cがあるとすると、改修AとBとCとで、どの要素がどのくらいの割合全体のCVR増加に貢献したかどうかを図ることはとても難しいです。

 

改修Aの直接の効果は前期間比150%で、全体のCVRは前期間比110%になったとします。

この数字を見ると、改修Aがものすごく全体のCVR増加に寄与しているように見えます。

しかし、実は改修Aが間接的に全体にあたえる影響の割合はほんの10%で、ほとんど要素Bのおかげで全体のCVRは増加していた、ということも充分考えられます。

だから改修Aが全体での変化にどれだけの割合貢献したか知りたいですが、それを知るためには、改修A以外に全体の変化に貢献したであろう要素をすべてリストアップする必要があります。

そしてそれはほぼ無理に近いように思います。

 

 

効果検証しようと思うと、こんなもやもやが残ってしまい悩ましい・・・という話でした。

 

学びの記録おわり