【UX方法箱2】A/B testing 叮嚀事項

A/B testing 叮嚀事項

做多久

做太久可能造成損失，做得不夠久，可能無法確認結果是否真的有意義。

如果目的不是出論文，基於其它商業考量，不見得非要做到統計學計算出來的測試天數。

多做幾次

如果可以，多做幾次A/B testing，確認我們得到的結果不是誤差。

保持一致

- 不同頁面

測試的元件若出現在不同頁面，記得保持一致，如果顧客在網站上看到不一致的方案，測試結果會不準。

例如：一開始 user 在首頁看到促銷活動是用 A 文案，則當 user 跳到不同頁面時，若頁面有同個促銷活動，也必須顯示 A 文案，不能突然跑出 B 文案。

- 相同訪客

在測試期間，要對相同訪客展示相同測試元件，如果小明昨天看到的是版本 A，那兩天後他應該還是要看到版本 A。

然而可能出現意外，之前 Amazon 曾在行銷方案上進行 A/B testing，好死不死顧客去朋友家玩，發現「咦？奇怪，為何同樣商品在你的 Amazon 頁面上比較便宜呀？」

同時進行

A/B 兩版本要「同時」分配給不同 user 進行測試，目的是避免會造成誤差的因素干擾，像是季節變化對人產生的普遍性影響。

數據導向

確立目標後，就要優先選擇可實現目標的方案，即便這個方案似乎違反直覺，例如：A/B testing 後發現在一片紅色頁面上，一顆綠色按鈕轉換率最高，雖然不符直覺美感，但數據說的話還是要仔細聽。

要有統計意義

A/B 兩版本在目標數據上有差異，不一定具有統計意義，因為差異可能只是機率波動，其實 A/B 兩版本的表現差不多。

別嚇到無辜的人

如果是針對新訪客進行測試，例如：想知道哪一種註冊鈕顏色，會引發較多新訪客註冊，那 A/B 兩版本就不須分配給「不是新訪客的人」測試，不要造成無謂驚嚇。