[Youtube 筆記] A/B Testing 的六個心得

A/B Testing 是網絡應用――尤其電子商務網站――常用的測試，目的是透過抽樣測試來獲得使用者數據，為採納何種系統改動的決策提供依據。系統改動可以是頁面排版設計、按鈕的顏色和描述文字，甚或購物流程的變更。其原理為利用測試工具隨機將部份使用者發配到不同的系統改動試版，再觀察各試版和原版的使用者行為，例如註冊比率，來比較改動的效果。

(錄像截圖)

這段錄像是Google Venture Startup Lab 2013 上一個題為"A/B testing done right"的演講。講者是網站分析工具Optimizely 的創辦人，過去曾於Google 和奧巴馬競選團隊工作。

演講上他以自己工作過的個案為例子，分享了採用A/B 測試進行系統改進的六個心得：

(錄像截圖)

1. 先釐清成功基準，而且是可量化的。

例如，改進目標是提升註冊人數，不加思索的話會以為要優化的是註冊表格，但將網站訪客轉換成註冊用戶的瓶頸，可能其實是由其他頁面跳到註冊頁面這個環節上。那麼要改進的應該是引導訪客註冊的按鈕，而量度指標就會是該按鈕的點擊率。

(錄像截圖)

2. 先探索再焠鍊

A/B 測試是一個篩選方案過程，故此測試應盡量探索各種改進的可能性供篩選，以免鑽牛角尖而錯過最佳方案。

source: https://blog.intercom.io/criticism-and-two-way-streets/

3. 削減選項 Less is more. 

過多選項會令人無所適從。減少選項更能引導使用者採取行動。

(錄像截圖)

4. 用詞很重要，尤其是Call To Action

那些呼籲使用者註冊、購買、捐獻的按鈕或連結的用詞，對使用者是會否行動非常關鍵。

(錄像截圖)

5. 失敗要早

那些我們以為會帶來改進的變更，並不一定都是正確的，有時候甚至會適得其反，尤其是變更有違使用者的習慣。採用A/B 測試能在正式採用前及早發現那些錯誤的變更。

(錄像截圖)

6. 今天就開始

越早採用A/B 測試越早受益。

---

• Startup Lab workshop: A/B testing done right