“你的設計沒效果，今年績效不發了”

編者注：產品覺得公司業績取決于運營和產品，設計師作用不大，老板甚至想取消年度績效，該怎么辦？該如何衡量和驗證UE設計效果？來看這篇高手的經驗總結。

前段時間在項目復盤會上，產品經理向設計團隊提出了這個問題。

我認為這是一個很好的問題，我目前負責的業務是一款教育問答產品，受眾是以大學生青年群體為主，機構發布懸賞題目來吸引大學生回答，從而幫助完善機構題庫，大學生從中獲取懸賞報酬，而我們平臺則從中賺取傭金。

于是我開始思考究竟怎樣的衡量和驗證方法，能夠應用在我當前的業務場景內。

絕大多數設計崗位存在的意義是為了達到目標。那么該怎么判斷目標通過我的設計達成了？達成的效果好不好？我的設計產生的影響又該怎樣被量化，是否有足夠客觀的評價方式？

相信很多人會回答我，可以通過數據來進行量化。

的確如此，但新的問題也隨之到來：

• 在開展設計前，我如何知道需要檢測哪些數據來輔助驗證設計效果？
• 在拿到數據后，我又該怎樣通過數據來判斷我設計的效果究竟是好還是壞？

帶著問題，我查閱了一些資料，參考了Google產品團隊定義的UX指標，發現數據指標可以通過用戶體驗質量和產品目標兩步來確定。

用戶體驗質量簡單來說即你想要觀測設計的哪些方面的效果。

產品目標則是基于你想要觀測的這些方面，按照「目標 → 標志 → 指標」的順序確定數據指標。

假設以某C端產品為例，結合這種方法來制訂數據指標，思路會更加清晰明了，總體過程會呈現出如下一個矩陣表格（左側為用戶體驗質量維度，上方為業務角度的思路梳理）：

用戶體驗質量

我們可以從如下5個維度來枚舉衡量指標：

用于衡量用戶使用產品時的態度和感受，例如用戶對本次功能的滿意程度、用戶對操作流程感知的易用性程度等。

1. NPS凈推薦值

（推薦人數-批評人數）/總測試人數

舉例說明

推薦人數指打9-10分的人；批評人數指打0-6分的人數。如果一個產品的推薦人數有70人，批評人數有30人，那么推薦值為（70-30）/100=40%。

數據用途

NPS凈推薦值用以測算用戶對當前產品或功能的推薦程度，也是產品傳播的重要核心指標。

2. Feedback問題占比

通過反饋平臺收集的相關活動、功能或界面的問題反饋數/總反饋數

舉例說明

在某任務上線一周后收到的3000條反饋中，有800名用戶反饋新的任務界面不會操作或不好用，那么說明占比26%的反饋人群對本次設計存在不滿意點。

數據用途

Feedback問題占比用以直觀評估用戶操作過程中的感受，多數以主觀感受反饋為主，需要結合進一步調研來確定問題發生在哪里，以便于進一步的優化。

用于衡量用戶對新產品或新功能的參與度，例如每位用戶每周對新功能的訪問次數或每位用戶每天在產品內花費的時長。

1. 活躍用戶數

一段時間內訪問的已登錄用戶數，通常分為日活（DAU）和月活（MAU）。一個用戶一天通過相同的渠道多次訪問產品，DAU仍只算一個；在一月內多次訪問產品，MAU仍只算一個。

舉例說明

10月15日上線新功能或新活動，一共有300萬個登錄用戶訪問了產品（包含通過其他渠道鏈接進入），則10月15日當天的DAU為300萬（去重）；截至11月15日共有1800萬個登錄用戶訪問了產品，則該30天的MAU為1800萬（去重）。

數據用途

活躍用戶數用于衡量產品對用戶的粘性。方便產品和設計人員了解產品的每日用戶情況，了解產品的用戶變化趨勢。

平均DAU=DAU/MAU

• DAU越高，說明有剛需的忠實用戶越多。
• MAU越高，說明新增的非忠實用戶越多。
• 平均DAU的值越接近1，說明用戶粘性越高，留存效果越好。

平均DAU變高

• DAU增加顯著。說明產品的近期改動或推廣召回了部分老用戶。
• MAU減少顯著。說明非忠實用戶開始流失，忠實用戶依然保留在平臺內。

平均DAU變低

• DAU減少顯著。說明用戶開始嚴重流失。
• MAU增加顯著。說明產品的改動或推廣使非忠實用戶活躍度提升，但改動和影響不具備可持續性。

2. 頁面訪問次數（PV）和人數（UV）

PV=運營活動/頁面/功能曝光在用戶視野內的次數；UV= 運營活動/頁面/功能曝光在視野內的用戶數，一個終端只算一個UV。

舉例說明

用戶進入首頁，算一次訪問次數，用戶刷新頁面/退出重進時訪問次數累加。用戶進入首頁，算一個展現UV，退出重新進來UV不累計。一個用戶在00:00-24:00內多次進入知乎，則UV只算一個。

數據用途

頁面訪問次數（PV）用于判斷該活動/頁面/功能被用戶查看的次數；頁面訪問人數（UV）用于判斷有多少個用戶查看過該活動/頁面/功能。這兩個指標能夠用于衡量頁面入口的設計是否足夠引人注目。

3. 點擊次數和人數

點擊次數=點擊行為發生的次數（不去重）；點擊人數=有點擊行為的用戶數（去重）。

舉例說明

10月15日有400萬人訪問任務聚合頁，其中10萬人點擊任務聚合頁側邊中的篩選按鈕，則該按鈕的點擊人數為10萬；10萬人點擊了12萬次，則點擊次數為12萬。

數據用途

點擊人數和點擊次數用于了解用戶的使用行為，用于輔助判斷PV/UV點擊率和人均點擊次數3處數據。

4. PV點擊率和UV點擊率

PV點擊率=點擊次數/頁面訪問次數（PV）；UV點擊率=點擊人數/頁面訪問人數（UV）。

舉例說明

同上例子，100個用戶訪問了任務聚合頁，其中只有10個用戶點擊了任務聚合頁上的篩選按鈕，但是每人平均點擊了5次，那么UV點擊率為10%，但PV點擊率為50%，說明篩選內容并不是對所有用戶都合適，但對那些多次點擊的部分用戶而言，會覺得篩選的內容很符合他們的需求。如果100個人都點擊了，那么UV點擊率為100%，說明篩選內容對所有用戶都比較適合。

數據用途

PV點擊率和UV點擊率用于衡量頁面或功能中的內容對用戶的吸引程度。

5. 人均點擊次數

點擊次數/點擊人數。

舉例說明

同上例子，10月16這天有10萬人點擊了篩選按鈕，其中一共點擊了12萬次，那么人均點擊次數為12/10=1.2次。

數據用途

通過人均點擊次數可以判斷交互/視覺的設計要求是否足夠引人注目，也可以用于衡量該功能對用戶而言是否為強需求。

6. 平均停留時長

所有用戶的停留時長總和/用戶數。

舉例說明

所有用戶在任務頁的停留時長為100萬小時，一共在任務頁停留的用戶有200萬，則平均停留時長為0.5小時。

數據用途

平均停留時長用來衡量頁面吸引度，對內容頁來說，停留時間越長，用戶粘性越強。當然也有反面場景，比如登錄注冊的表單填寫， 停留時間越長，說明體驗越差。

7. 人均使用時長

用戶平均每天停留在產品的時間。

舉例說明

10月16日有100萬個用戶一共在產品內使用了50萬個小時，則10月16日的人均使用時長為0.5個小時。

數據用途

用來衡量用戶使用產品的深度，判斷用戶使用產品的粘性和依賴度。用戶對產品的使用時長越高，說明對產品越依賴。

用于衡量上線產品或功能的新用戶增長程度。例如功能上線后最近7天創建的帳戶數或使用該功能的新用戶占比。這對于新產品功能或正在重新設計的產品特別有用。

1. 新用戶留存數

一段時間內再次訪問的新用戶數，通常分為次日留存、7天留存、30天留存指標。

舉例說明

如下虛擬數據，1月，新增用戶有80人。到2月時，1月新增的80人中的75人再度訪問了產品，則第二個月的新用戶留存數為75人，流失數為5人。

數據用途

用來衡量產品的用戶粘性和產品的留存用戶規模。留存用戶數可以很好地展示留存用戶數的人數規模。并了解新增用戶對產品的使用粘性。

2. 新用戶留存率

某周期內新用戶留存數/某周期內第一天訪問的新增用戶總數，一般周期為次日、7日或者30日。

舉例說明

接3.1案例，1月新增用戶80人，2月留存人數75人，1月新增用戶在2月的留存率為75/80=93.75%。

數據用途

日留存率通常用來衡量產品粘性；周留存率通常用于判斷產生的忠實用戶數；月留存率通常用于衡量版本迭代的效果，例如產品改版后，月留存率提升了，且其他變量沒有變化時，說明設計改版成功。通過留存率可以很宏觀的判斷產品的用戶粘性是上升還是下降，這也是產品體驗最直觀的數據。

3. 新用戶流失率

某周期內新用戶流失數/某周期內第一天訪問的新增用戶總數，一般周期為次日、7日或者30日。

舉例說明

接3.1和3.2案例，1月新增用戶80人1月新增用戶在2月的留存率為75/80=93.75%，新用戶流失率為（100-93.75）%=6.25%。

數據用途

用戶流失率可用于追蹤之前是什么情況導致流失數據情況，便于進一步優化產品問題。

用于衡量上線產品或功能的老用戶穩定程度，具體包含現有用戶的留存率和流失率。例如在上線7天內產生的活躍用戶在上線30天后是否仍然在活躍？

1. 老用戶留存數

一段時間內再次訪問的老用戶數，通常分為次日留存、7天留存、30天留存指標。

2. 老用戶留存率

某周期內老用戶留存數/某周期內老用戶總數，一般周期為次日、7日或者30日。

3. 老用戶流失率

某周期內老用戶流失數/某周期內老用戶總數，一般周期為次日、7日或者30日。

用于衡量流程設計的合理性，通常適用于產品中非常注重任務的區域。例如任務的完成率和UV轉化率。

1. 完成率

完成的操作次數/開始操作的次數

舉例說明

10月15日上線新任務，用戶點擊領取任務按鈕10萬次，最終完成提交按鈕2萬次，則完成率為 2/10= 20%。

數據用途

完成率可用于衡量操作流程的順暢度。完成率是產品設計中重要的指標之一，完成率越高，說明產品的操作體驗越好。

2. UV轉化率

必要流程中的下一步環節操作人數/上一步環節操作人數。通常環節越多，UV轉化率越低，流失率越高。

舉例說明

10月15日上線如下翻譯任務，當日從任務入口點擊進入該任務頁的人數為1萬人，點擊Yes/No選項的人數為7000人，那么該環節的轉化率為7000/10000=70%，流失率為30%；最終點擊Submit按鈕完成提交的人數為4000人，那么該環節的轉化率為4000/7000=57%，流失率為43%。

數據用途

UV轉化率可用于針對產品中某些關鍵路徑的轉化率的分析，以確定各環節的優劣，是否存在優化的空間等。對于業務流程相對規范、周期較長、環節較多的流程分析,能夠直觀地發現和說明問題所在。

3. 頁面跳出率

退出當前頁并在30分鐘內未再次打開的用戶數/在當前頁面的總人數

舉例說明

用戶通過任務聚合頁進入某任務頁，然后跳出并在30分鐘內未再次打開的用戶有1萬人，假設進入該任務頁的UV為5萬人，則跳出率 1/5 =20%

數據用途

頁面跳出率用于衡量頁面的內容質量或交互質量。

產品目標

如下為從業務維度的思路梳理：

簡單說就是，你希望設計上線后，在哪個方面達到什么樣的結果。

比如任務聚合頁的篩選功能，在完成指標的關鍵目標是：用戶更快速地找到最相關的任務。

目標確定了，那什么信號標志著設計達到了或沒達到目標呢？

比如任務聚合頁在完成指標的成功標志是用戶篩選后找到了自己想要的任務并進入了任務界面。失敗標志是用戶篩選后沒有找到自己想要的任務，在篩選環節流失了。

指標比標志更加落地。

例如，「用戶篩選后找到了自己想要的任務并進入了任務界面」這一標志成敗與否，是通過完成維度來進行衡量的，那么我們可以選取的衡量指標是「從篩選按鈕到任務頁的UV轉化率」。

通過「目標 → 標志 → 指標」流程，結合用戶體驗質量指標，就能清楚地知道要驗證設計的哪些方面，需要關注哪些數據來達到目的。

請提防數據陷阱

有一位發明家打算重新設計他的個人網站，用來宣傳他將要發布的新產品。

在設計網站時他做了個 AB兩個方案。A 方案在網頁上非常詳細地介紹了將要發布的新產品，然后留了一個可填寫聯系方式的輸入框；B 方案則沒有任何關于新產品的介紹，僅放置了一個可填寫聯系方式的輸入框，并只寫了「如果你喜歡新發明，你應該對我的新產品感興趣。請填寫你的聯系方式」一段提示。

最終A 方案只收到了 33 個聯系方式，而沒有任何介紹性內容的 B 方案卻收到了 77 個聯系方式。

那么，從這個實驗結果可以推斷出 B 方案更好嗎？

事實上可能并不是。

這位發明家設計網站的初衷是為了宣傳預售他的新產品，衡量完成指標的標志是「有多少人對新產品感興趣且可能會購買它」而不是「收到更多聯系方式」，而聯系方式數量的數據無法成為「有多少人對新產品感興趣且可能會購買它」的成功標志，因此「B 方案比 A 方案更好」的結論并不成立。

因此希望大家用以上表格來整理數據目標，就是為了避免從一開始搞錯了目標，那么再精確的數據統計也只能得到誤導性的結論。

我發現了一個有趣的現象，當我們在談論一家公司或一個產品是否夠成功時，基本是基于單一的數字，比如某APP有2億日活，它很棒；某平臺月均UGC內容產量有3000萬，它很厲害。

然后和那些盲目喊著要擴大用戶數和規模的產品不一樣，對我當前所處的教育問答產品而言，有人在真正花時間解答題目，才是一件意義重大的事情，因此相對單純的生產數量數據，我們更應該關注答題者的產出質量。假如日均答題產量很高，但用戶在任務界面上平均停留時長很短，那么我認為并不覺得這是一件值得高興的事，因為答題的質量可能會有很多問題。

我之前常常在想一個問題，為什么有些公司內部會如此熱衷于推廣OKR用以取代KPI，直到進入字節跳動后我才發現原本KPI 式的價值觀常常給人帶來誤區：數字即規模，規模就是一切。但我們可以看到，許多產品因用戶數量的驟增曾備受矚目，比如多閃，用燒錢的方式在前期積累了出大量注冊用戶，但最終大批量流失，走向沒落。數字很重要，用戶數也很重要，但相比這些，我們更應該通過思路梳理，來幫助我們想清楚對于我們的產品來說核心價值是什么、究竟什么樣的數據才是最重要的。

數據不是萬能的。它就像問卷調查、用戶訪談等任何用戶體驗研究方法一樣有著其局限性。數據只能告訴你 What，卻不能告訴你 Why。

Data can only make a good design great, but can never make a bad design good.

數據可以用于支撐或驗證設計師的某項決定，但數據無法代替設計的直覺，更無法代替深入的用戶研究、可用性測試和設計同理心。

歡迎關注作者的微信公眾號：「愚者筆記」