密歇根大學(xué)官方課程：10分鐘學(xué)會進行可用性測試！

大家好，這里是 TCC 翻譯情報局，我是李澤慧。設(shè)計是為了解決某個問題而做的，當(dāng)我們通過設(shè)計嘗試解決問題、改善用戶體驗以后，你無法確認你的方案是否能解決用戶問題，“我的設(shè)計真的好嗎？真的有效嗎？”所以為了得到答案，你需要找人測試一遍，我們將這個過程稱為「可用性測試」，可以說“可用性測試”是交互設(shè)計中進行設(shè)計驗證的必不可少的環(huán)節(jié)。這篇文章是作者一個月的課程總結(jié)，對可用性測試做了很全面的介紹，值得一讀～

用戶參與設(shè)計評估是密歇根大學(xué)最近推出的課程，這門課屬于他們最近推出的用戶體驗（UX）設(shè)計研究課程的內(nèi)容，展現(xiàn)了以形成性測驗 [1]（Formative testing）為重點的用戶測試方法。

（形成性測驗：亦稱 “形成性評量”，與 “總結(jié)性測驗” 相對。教學(xué)和學(xué)習(xí)過程中，用于了解學(xué)生掌握教學(xué)內(nèi)容情況及教學(xué)中存在的問題的測驗。一般在學(xué)完一個單元或一個章節(jié)時進行。）

盡管我強烈推薦這門課程，但說實話，我發(fā)現(xiàn)這門課程沒有遵循邏輯順序，使人很難跟上進度。我希望這個總結(jié)能幫助更多人更好地學(xué)習(xí)這門課程。

用戶測試的類型

1. 總結(jié)性測試

• 目標(biāo)：證明論點或回應(yīng)假設(shè)，例如：“在 x 測試中方案 A 是否優(yōu)于方案 B？”（方案 A 和方案 B 的差異通常很小，僅在設(shè)計方面有所不同）
• 測試：需要對照實驗，并且結(jié)果應(yīng)該是可衡量的（例如：A / B 測試）
• 要求：10 到 20+ 個用戶
• 定量方法

2. 形成性測驗

• 目標(biāo)：要修復(fù)特定問題，并找出導(dǎo)致問題發(fā)生的某個設(shè)計部分
• 測試是目標(biāo)導(dǎo)向的
• 關(guān)注用戶的語言、行為和困擾。
• 定性方法

你需要招募哪些人？

一般來說，可用性測試的目的是，觀察用戶組 X（具有相似特征、行為或態(tài)度的用戶）是否可以使用系統(tǒng) Y 來執(zhí)行活動 Z。所以，你必須非常清楚你的用戶是誰，并對他們在測試中的表現(xiàn)感興趣。

在開始招募用戶進行用戶測試之前，應(yīng)該考慮以下特征：專業(yè)知識、行為、特征、態(tài)度。

• 專業(yè)知識 -- 用戶對通用計算機或數(shù)字產(chǎn)品的專業(yè)程度。
• 行為 -- 用戶對被測產(chǎn)品的體驗水平。
• 特征 -- 用戶背景（例如，如果你正在測試一款健康應(yīng)用程序，你不能期望患者與醫(yī)生有著相同的知識水平）。
• 態(tài)度 -- 數(shù)字產(chǎn)品的某些特性可能會觸動用戶，因此應(yīng)該預(yù)先研究他們對某些問題（如隱私問題）的意見。

設(shè)計任務(wù)

給參與者布置任務(wù)，目的是讓他們試著使用數(shù)字產(chǎn)品來實現(xiàn)一些目標(biāo)。所以問問自己，這個測試的目的是什么？我們首先要從這個測試中發(fā)現(xiàn)什么？

這將從問題陳述開始，包括用戶組 、數(shù)字項目及其提供的活動，例如：

有經(jīng)驗的網(wǎng)購者可以使用 eBay 尋找和購買裝飾品嗎？

• 用戶群：有經(jīng)驗的網(wǎng)購者
• 系統(tǒng)：eBay
• 活動： 購買裝飾品

在確定用戶群和活動之后，就可以開始集思廣益，討論用戶將在該活動范圍內(nèi)執(zhí)行的特定操作。

1. 導(dǎo)向性良好的任務(wù)特征

總之，一項任務(wù)應(yīng)具有以下特征：

• 與測試目標(biāo)相關(guān)
• 實事求是，可驗證
• 不應(yīng)附加說明

完善任務(wù)，不要陷入只提及任務(wù)最終結(jié)果的陷阱 。例如，想象一個任務(wù)為“買一本新書”，首先問“用戶為什么要買那本書？”，其背后的原因包含了購買目的， “用戶想通過一本書來學(xué)習(xí)如何烹飪”。

2. 用戶任務(wù)設(shè)置示例

目的：觀察初次嘗試在線學(xué)習(xí)的用戶是否能高效地通過 FutureLearn 訪問課程內(nèi)容

主要任務(wù)：嘗試尋找一門可參加的與用戶體驗相關(guān)的課程。這門課必須沒有先決條件，并且在初-中級水平。這門課每周需學(xué)習(xí) 3 小時，只上 6 周，并且最好可以盡快開始上課。

任務(wù)集

• 任務(wù) 1： 在 FutureLearn 中創(chuàng)建帳戶。
• 任務(wù) 2： 查找與 IT 和計算機科學(xué)相關(guān)的課程列表。
• 任務(wù) 3： 選擇一門沒有任何先決條件的課程，最好現(xiàn)在就可以開始上課，每周 2 小時就可以完成，而且只持續(xù) 2 周。
• 任務(wù) 4： 檢查你的課程是否已成功添加到你的帳戶/個人資料中。
• 任務(wù) 5： 找到一個課程時長不超過 2 周，價格低于 800 歐元的研究生課程。

問卷和訪談

1. 測試前問卷

在這個階段，你將了解參與者們的多樣性維度，你只需詢問并分析相關(guān)內(nèi)容。這些信息有助于解釋你在任務(wù)執(zhí)行過程中看到的東西。如果研究人員認為用戶之間的差異不會影響測試結(jié)果，那么也可以跳過這一步。

2. 測試后問卷

在參與者完成任務(wù)后使用的測試問卷中，要避免自由發(fā)揮的回答 。例如，使用數(shù)字表示對問題的同意程度， “學(xué)會使用這個系統(tǒng)很容易：非常不同意——非常同意”。

可衡量的反應(yīng)

• 感知可用性：“你覺得這個系統(tǒng)的可用性如何？”
• 感知有用性：“你認為這個系統(tǒng)對你實際需要做的事情有多大用處？”
• 偏好或希望的方面：“你覺得這個系統(tǒng)在視覺上的吸引力如何？相較于競品，更喜歡哪個？”

3. 測試前訪談

用測前訪談代替問卷，以口頭形式得到可量化的問題。這有利于建立融洽的關(guān)系，并獲得更多細節(jié)，但是它可能需要更長的時間。

例如，“如果我想知道我的參與者們進行了多少次在線購買，從而根據(jù)他們在網(wǎng)購方面的專長來描述他們，那么我可以直接提問，在過去一個月里，你大概網(wǎng)購了幾次？”

4. 測試后訪談

你可以采用 “先標(biāo)記后訪談” 的方式，訪談內(nèi)容大概包括：

• 任務(wù)跟進情況
• 用戶所陷入的困境
• 錯誤的跳轉(zhuǎn)
• 用戶出錯的地方（包括用戶沒有注意到的出錯點）
• 用戶提出的問題
• 復(fù)現(xiàn)任務(wù)并指出用戶在任務(wù)中遇到的問題

常見問題

• 你認為這個系統(tǒng)在哪些方面做得好？
• 你認為這個系統(tǒng)最需要改進的地方是哪里？
• 你會用這個系統(tǒng)做什么呢？（感知有用性）
• 你認為這個系統(tǒng)對誰最有價值？
• 如果你必須向別人解釋系統(tǒng)的功能，你會怎么說？
• 他們真的了解這個系統(tǒng)要做什么，以及它應(yīng)該做什么嗎？
• 你是否使用過與此類似的系統(tǒng)，你如何比較它們？

總之，“為什么” 應(yīng)該是訪談時要問的核心問題 。

5. 可能出現(xiàn)的問題

注意需求特征（參與者傾向于給你想要的東西）、默認偏差（更傾向于給予積極反饋）和確認偏差（選擇性地拒絕否認我們相信的東西）。不要期望每個人都給你正確的答案。

如何解決

• 需求特征和默認偏差：要求參與者給出真實反饋，注意其不自然的回答，并說明測試的目的。
• 確認偏差： 通過無偏差的第三方進行測試，不要對測試結(jié)果表現(xiàn)出興趣。

進行可用性測試

• 選擇一組有代表性的任務(wù)
• 試運行測試：自己進行測試，找到成功執(zhí)行任務(wù)的方式，以及難易程度。
• 清除狀態(tài)：如果需要，清除以往參與者數(shù)據(jù)（重置系統(tǒng)，清除緩存、搜索歷史記錄、系統(tǒng)中的用戶歷史記錄）
• 由簡至繁地安排任務(wù)

平均時間：30-45 分鐘完成所有任務(wù)

1. 主持人應(yīng)該怎么做

首先介紹一下你自己和其他參與者 。重要的是通過與參與者建立信任關(guān)系來確定基調(diào)。展示他們的價值以保持參與熱情，并在用戶測試中明確你的目標(biāo)。向大家展示你的角色，包括你將如何推進評估和觀察，并告訴大家誠實的反饋是至關(guān)重要的。鑒于參與者的角色是自愿幫助你評估系統(tǒng)，確保他們明白自己不是實驗品，他們有權(quán)利隨時喊停，而不是被迫回答所有的問題。如果可能的話，給參與者一個獎勵并說 “謝謝你的寶貴時間”。另外，不要通過給出指令來引導(dǎo)用戶完成任務(wù)，Newman（2020）建議提前說明以下幾句話：

“我希望你試著去完成這項任務(wù)。如果你陷入困境，真的需要幫助的話，我隨時都在。但我真心希望你能夠盡你最大的能力來完成這件事，之后我們會討論你遇到的問題。”

2. 參與者應(yīng)該怎么做

參與者應(yīng)該大聲說出他們在想什么和想到什么，例如：

• 他們在找什么
• 大聲朗讀文本
• 推測系統(tǒng)的工作方式
• 他們?nèi)绾卫斫庾约涸谧鍪裁?/li>
• 解釋系統(tǒng)反饋
• 解釋和論證他們的決定
• 他們感覺怎么樣

你可能會問，為什么要這樣？因為這樣你可以聽到他們在思考任務(wù)，知道他們注意到什么，聽到他們?nèi)绾谓忉屗麄兊倪x擇。

知情同意

如果需要，可以要求參與者簽署知情同意書，以下是示例：

密歇根大學(xué)的知情同意書示例（紐曼，2020）

3. 如何調(diào)節(jié)

• 測試前要做好應(yīng)對問題的準(zhǔn)備
• 選擇一個安靜私密的地方
• 錄制測試會話（錄制視頻和音頻，方便之后分析所有內(nèi)容）
• 使用記錄表來跟蹤記錄器的進程

日志記錄表能夠使任務(wù)分析井然有序，并在測試期間只關(guān)注相關(guān)報告：

字體：（密歇根大學(xué)，2020）

收集統(tǒng)計數(shù)據(jù)并分析結(jié)果

回到目標(biāo)陳述， “用戶 X 是否可以使用系統(tǒng) Y 來執(zhí)行活動 Z ”，你需要：

• 收集以下統(tǒng)計數(shù)據(jù)： 任務(wù)成功 / 失敗次數(shù)；出現(xiàn)的錯誤；計時
• 審查關(guān)鍵事件： 故障發(fā)生在哪里？為什么會這樣？
• 解釋匯報答復(fù)

“任務(wù)的成功非二元結(jié)果”（密歇根大學(xué)，2020 年）

在用戶測試結(jié)束時， 你應(yīng)該收集：

• 5 - 7 次 測試會話
• 大約 25 到 50 個用戶測試任務(wù)
• 10 小時視頻
• 一堆記錄表
• 5 - 14 份問卷

1. 識別嚴(yán)重問題（關(guān)鍵發(fā)現(xiàn)）

在最后的報告中，應(yīng)該強調(diào)最嚴(yán)重的問題，或者說是關(guān)鍵的調(diào)查結(jié)果。要做到這一點，首先要：

• 描述問題：“在什么屏幕或頁面，或在什么交互過程中出現(xiàn)問題？是否有特殊情況發(fā)生，發(fā)生頻率如何？”
• 提供證據(jù)： 指出造成問題的關(guān)鍵事件（例如：任務(wù)失敗、延長時間）。
• 通過提供建議或額外研究來找到解決問題的行動方案 ：找到其他數(shù)字產(chǎn)品的合適案例、設(shè)計原則或啟發(fā)，以及適用于該情況的可用性實踐的一般原則。了解如何解決這個問題，以及是否需要額外的研究。

對于不太嚴(yán)重的問題：

• 問題描述以及嚴(yán)重程度量表
• 提供附錄

2. 解釋產(chǎn)出

總結(jié)你的結(jié)果，回顧事件，并注意模式。為什么會出現(xiàn)問題？違反了什么可用性原則？有沒有根本原因？

3. 報告

• 形式由受眾和目的決定
• 如果是個人項目：列出優(yōu)先順序就足夠了。但如果您是與團隊合作，報告應(yīng)列出關(guān)鍵發(fā)現(xiàn)、次級問題清單以及證據(jù) 。
• 如果是針對外部利益相關(guān)者：聚焦于一份正式的報告，強調(diào)完成任務(wù)的方法和過程 ，這樣他們就可以理解結(jié)果是如何得出的。

“如果除了你自己之外沒有人理解你的發(fā)現(xiàn)，那么不會有人從你的辛勤工作中受益。”
—— Newman，2020

4. 知情同意書

感謝您參加今天的研究。

本次研究的目的是____________。在今天的研究期間，我將要求您使用我們正在評估的系統(tǒng)來執(zhí)行一些任務(wù)，并將詢問您一些關(guān)于體驗方面的問題。為了幫助我們進行分析，我將對今天的測試過程進行錄音、錄像。這些數(shù)據(jù)只會由我們的研究小組、產(chǎn)品 / 設(shè)計團隊的成員查看，無論您的身份是什么，所有關(guān)于您的信息都將保密。您參與本次可用性研究是自愿的，您可以隨時反悔并停止參與本次研究。您也可以拒絕執(zhí)行特定任務(wù)或回答特定問題。本人知曉此同意書書中所寫內(nèi)容，并同意參與研究。此前，我們已經(jīng)討論了參與者和研究人員在進行用戶測試時可能帶來的一些偏差。

歡迎關(guān)注作者微信公眾號：「TCC翻譯情報局」