高手都有的數據思維,用騰訊實戰案例幫你學會!

日常工作中,在產品原型設計階段,很多時候產品經理和設計師評估設計方案,會存在隱憂:

  • 設計方案的改進方向對嗎,為什么一定要改掉「舊版」?契機到了嗎?
  • 設計方案一改再改,多個版本到底哪個方案更好?好在哪里?

這是因為設計師在處理設計方案的時候,大部分采用了用戶訪談,競品分析,可用性測試甚至直覺經驗判斷等定性的方式,即使使用定量問卷,也無法直接詢問「哪個方案更好?」這種用戶「容易說謊」的問題。這就使得設計方案的推導具有一定的主觀性,在 C 端產品的設計中尤為容易遭受質疑。

體驗設計要更「科學」,就要求設計師培養數據意識,將體驗設計當成一場「實驗」,講求從產品數據中發現問題,找到問題信息,并最終驗證方案的有效性。

不管是在產品的成長初期探索方向,還是產品的成熟期商業化階段,使用數據思維都可以幫助產品快速迭代,調整方向。如何進行數據思維的方案設計呢,可以歸類為一個框架:

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 數據思維的框架

比如微信信用卡還款是一個體量較大的成熟期產品,一方面用戶養成了固有習慣,不適合大刀闊斧地進行版本優化;另一方面,小的體驗改動也不一定會帶來數據的提升。

因此就對應了文章開頭所說的隱憂,這個時候采用數據驗證的方式來進行一些設計方案的判斷,是比較合適的方法。

下面我將結合最近在做微信信用卡還款-分期還款改版的產品案例,按照上述框架,詳細講解一下進行版本 A/B test 和數據驗證的過程。

當然更大功能的迭代需要收集數據信息,進行數據分析,結合定性方法,再進行上線測試數據驗證,越科學嚴謹越好。因為分期還款流程簡單,因此著重關注改版數據驗證。

明確目標

對于設計方案來說,明確目標是第一步。這個目標可能脫胎于產品大的方向,比如拉新,活躍,商業化等等。對應到具體的產品流程中,可能就是提升轉化率,提升客單價,提升用戶粘性等等。

拿本次要改進的分期還款設計來說,分期還款既是一種為用戶提供的還信用卡的補充方式(用戶價值);又可以通過和銀行合作獲得分潤(商業價值)。

分期的接入,從 2016 年到現在,有一個銀行遞增的過程。功能搭建完成后,分潤模式可以幫助我們明確分期方案的業務目標為:提升用戶分期筆數。(至于目標設定的道德倫理和誠實設計,是另一個話題了)

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 分期還款銀行不斷接入

發掘問題/機會點

明確目標之后,需要對產品流程進行分析,進行指標的進一步拆分。看一下流程中哪些指標的提升有助于目標的實現,比如在分期流程中,提升用戶筆數可以拆分為:增加分期用戶的數量和點擊用戶的轉化率。

也就是在流程中的第二、第三步是最容易完成目標的,縮小了問題的范圍。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 分期流程圖

理想的情況下,針對第二步和第三步可以有很多種方案,針對關鍵信息進行排列組合直到找到最優解(如谷歌設計沖刺等方法可以提供幫助)。

但是在本次改版里,我們可以通過走查線上版本定位體驗問題,提出改進假設。同時線上數據走查也為后續對比做準備。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 線上分期還款頁面走查

走查后,通過定性分析和點擊數據總結問題如下:

  • 入口弱:分期還款放置在「更多還款方式」中,用戶瀏覽量低;
  • 金額不清晰:頁面中出現「能分期的金額」和「每期要還金額」「手續費」,且有可能與前一個頁面中的本期要還款的總金額有差距(因為銀行分期金額是由系統測算給出的);
  • 用戶試算不便:在選擇分期的期數和金額對比之間存在間隔,多種分期期數是隱藏的。

提出假設

要提升的關鍵指標已經拆分:增加分期用戶的數量和點擊用戶的轉化率;

要解決的頁面問題點也已經達成共識,此時就可以著手提供一個方案了,也可以稱之為一個假設。

方案假設需要關注以下信息:

1. 核心用戶群(用戶標簽和分類)

在本次分期用戶中「核心用戶群」的提取不在此贅述,一是因為分期銀行用戶包本身有一個區分;二是由于時間問題沒有提取完整用戶畫像,后續接入 Bi 系統再進行仔細盤查。

2. 需要優化的變量

本方案中主要是對分期中用戶最關心的變量「期數和手續費」的展示進行了優化。

3. 方案要實現的目標是什么

也就是方案設計之初,我們想得到什么結果。上文中已經提到了,增加平臺的商業收入,為此要提升分期還款的筆數。

4. 方案設計的依據是什么

在設計方案的時候,制定了設計原則,如下圖:

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 設計原則

設計原則是在第二步做問題定位的時候推導出來的,作為后續方案產生的依據。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 界面元素規劃

需要注意的是在 A 和 B 方案之間盡量控制變量,單一變量的差距越明顯,結果越具有說服力;反之,多種變量導致的對比越模糊,結果就會越模糊,因為沒有辦法追溯到底是什么影響到了結果。

在本次分期還款改版中,我認為最需要對比的變量為:「分期期數和金額的對比」,它對用戶的轉化有直接影響。因此在設計方案的改進中,也著重優化了這塊內容。

5. 觀察什么測試結果(測量結果對比)

在本方案中觀察的結果對比是分期試算頁面提交按鈕的點擊量,以及最后整個分期轉化率的對比。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 方案改造前后對比

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 試算、完成、賬單記錄全面優化

上線測試

在此次方案上線的過程中,我們將新舊版本作為 A/B test 同時在線上進行灰度測試,用以對比單一變量「分期期數和手續費」不同展示情況下,對用戶分期筆數的影響。

除了制定灰度策略,還需要控制 A/B 方案用戶包,限定測試時間,以保證在單位時間內,A/B 方案的用戶質量、用戶瀏覽量基本一致,這樣的數據才具有對比性。還要避免在后期拉取數據的時候出錯,或者數據差距太大失去可比性。

本次前端小伙伴先上線了針對兩家銀行的白名單,然后制定了 10% 的灰度策略,全程監測無問題后逐步放量灰度直至各 50%,灰度一周后進行了數據收集對比。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 上線的A/B test方案

結果分析

分期改版的結果如何呢?可以認為這是一個「成功」的改版,因為預期的結果(用戶點擊和轉化提升)得到了驗證。同時因為是商業化項目,轉化率的提升意味著實實在在的業務收入增加。

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ 界面數據提升和總的數據提升

關鍵結論:

  • 入口從更多還款方式中提出來后,用戶入口點擊提升3.61倍;
  • 用戶試算分期方案頁面點擊轉化提升 24.20%(同比);
  • 用戶的分期筆數比上個月同期提升了 5.92%(同比,基數達到一萬筆以上)。

同時進行了 A/B 方案的熱力點擊圖對比:

高手都有的數據思維,用騰訊實戰案例幫你學會!

△ A/B 方案熱力圖對比

在熱力圖中可以看出:

  • A方案(舊版)用戶點擊頁面較為凌亂,而且在很多不是操作區的地方也有點擊;
  • B方案(新版)用戶點擊更為集中,基本上在分期期數和金額對比上。而且選擇方案跟系統的「推薦」方案很接近。一開始的猜想得到驗證。

總結和后續

數據驗證設計,并不是說每個設計師都需要精通統計學,深入研究數學問題,而是嘗試一開始用數據的思考方式來進行一個方案的目標設定、問題點分解、方案設計、上線驗證。

可以稱之為「以終為始」服務業務的一種方法。可以更好地幫助設計師與業務方溝通,證明設計的價值。

后續我也會更多的從已有數據的采集分析來進行設計推導,進行更「科學」的設計。總結以下幾點經驗可以給后續復用:

1. A/B test 適用于測試單一元素變量

如文案、操作、圖片的場景,較長流程需要進行拆分測試,以準確定位到影響元素,找到最佳組合。

2. 少量數據依然有效

即使短時間內只產生少量轉化,仍然能很快確定用戶最喜歡哪個版本,同時要把控測試耗費時間、人力,不能濫用。

3. 成功元素具有可復用性

如使用 A/B test 找到為服務帶來好的轉化的表單或頁面設計后,應該在后續復用,或進行升級。

4. 大大降低改版風險

在重大決策或意見分歧時,避免風險實現資源利用率的最大化。

最后

數據不是萬能的,但是數據可以幫助我們。

我們發現一件事,增加你測量的東西的數量或者提升你測量的保真度,并不能帶來確定性。因為它實際上并沒有產生新的東西,來說明這個比那個好。它只是揭示了更深層次的復雜性,涉及到了更多的內容。然后它就變成了一種平衡。我們仍然需要有直覺,我們仍然需要判斷什么是重要的,什么是不重要的。

參考文獻:

歡迎關注「騰訊FITdesign」的微信公眾號:

高手都有的數據思維,用騰訊實戰案例幫你學會!

收藏 61
點贊

復制本文鏈接 文章為作者獨立觀點不代表優設網立場,未經允許不得轉載。