Apple 出品！如何做好機(jī)器學(xué)習(xí)時(shí)代的產(chǎn)品體驗(yàn)設(shè)計(jì)：數(shù)據(jù)與指標(biāo)

今天是「機(jī)器學(xué)習(xí)」的第二篇，進(jìn)入「模型」層面的討論，內(nèi)容相比于之前一篇「基本原理與設(shè)計(jì)要素」來說抽象了很多。接下來進(jìn)入「界面」層面的話題后會(huì)更易于理解。

上篇：

首先，我們來了解「模型」層面的一系列設(shè)計(jì)原則，涉及「數(shù)據(jù)」與「指標(biāo)」兩個(gè)方面。

為了讓 app 能夠識(shí)別狗狗的照片，我們首先要通過一系列范例內(nèi)容幫助機(jī)器訓(xùn)練相關(guān)的模型。這些范例就是我們所說的「數(shù)據(jù)」。

數(shù)據(jù)（Data）

要實(shí)現(xiàn)優(yōu)秀的照片搜索體驗(yàn)，我們需要大量的、種類繁多的數(shù)據(jù)。要確保人們?cè)谒阉鳌竏og」時(shí)能夠得到狗狗的照片而非其他相似的小動(dòng)物，我們需要同時(shí)提供狗狗和其他動(dòng)物的照片來訓(xùn)練模型進(jìn)行識(shí)別。

進(jìn)一步來說，真正的搜索體驗(yàn)應(yīng)該支持人們?nèi)粘？赡芩阉鞯某汕先f種對(duì)象類型。對(duì)于其中的每一類，我們都需要提供數(shù)據(jù)；要新增一個(gè)類型或是改善現(xiàn)有類型的搜索，我們同樣需要提供數(shù)據(jù)。

如何選擇有效的訓(xùn)練數(shù)據(jù)，這是打造搜索體驗(yàn)的關(guān)鍵。數(shù)據(jù)決定了模型的行為方式。

數(shù)據(jù)與設(shè)計(jì)目標(biāo)相匹配

如果你的數(shù)據(jù)無法捕捉到特定場(chǎng)景，那么訓(xùn)練出的模型也很難在那個(gè)場(chǎng)景中良好地運(yùn)作。由于數(shù)據(jù)決定著模型的行為，而后者又直接決定著產(chǎn)品的功能體驗(yàn)，因此數(shù)據(jù)的選擇也必須能夠反映出目標(biāo)用戶的實(shí)際需求與利益。

聽起來有些抽象，我們實(shí)際看個(gè)例子。在「相機(jī)」的人像模式中，機(jī)器學(xué)習(xí)被用于探測(cè)人臉，并將身體與背景分離開來。

從技術(shù)發(fā)展的歷史角度看，人臉識(shí)別對(duì)于有色人種并不十分友好；然而對(duì)于 Apple 而言，我們必須確保產(chǎn)品體驗(yàn)具有足夠的包容性。因此，我們的團(tuán)隊(duì)從不同的人種、文化與場(chǎng)景當(dāng)中收集了大量的數(shù)據(jù)；只有這樣，訓(xùn)練出的模型才能提供具備高度包容性的體驗(yàn)。

簡(jiǎn)而言之，我們的數(shù)據(jù)規(guī)模與我們期望打造的產(chǎn)品體驗(yàn)是相匹配的；我們會(huì)根據(jù)產(chǎn)品設(shè)計(jì)目標(biāo)有針對(duì)性地收集數(shù)據(jù)用以訓(xùn)練模型。

對(duì)你而言也是同理。在訓(xùn)練模型之前確認(rèn)一些問題，例如由誰來收集數(shù)據(jù)，具體應(yīng)該收集哪些數(shù)據(jù)，如何收集，如何確保數(shù)據(jù)的客觀性？

如果你的設(shè)計(jì)目標(biāo)是塑造豐富有趣的產(chǎn)品體驗(yàn)，那么數(shù)據(jù)也要反映出這一目標(biāo)；如果你的產(chǎn)品主要用于戶外活動(dòng)，那么數(shù)據(jù)也應(yīng)該來自于相關(guān)的場(chǎng)景。數(shù)據(jù)必須意圖明確。

開發(fā)者們很容易忽略產(chǎn)品體驗(yàn)的實(shí)際場(chǎng)景而盲目制定數(shù)據(jù)收集策略。必須首先充分理解你們的產(chǎn)品設(shè)計(jì)目標(biāo)，進(jìn)而確定需要為機(jī)器提供怎樣的數(shù)據(jù)來訓(xùn)練出最為有效的模型。

在前期花些時(shí)間思考如何收集正確的數(shù)據(jù)，往往可以為后期節(jié)省大量的時(shí)間和金錢。

隨著產(chǎn)品的迭代，以及你們對(duì)于用戶及市場(chǎng)的理解的加深，你可能還需要不斷更新數(shù)據(jù)，使模型始終適應(yīng)于不斷變化的設(shè)計(jì)目標(biāo)。

另外還需要留意所謂的「標(biāo)準(zhǔn)化數(shù)據(jù)集」。由學(xué)術(shù)界或行業(yè)制定的標(biāo)準(zhǔn)化數(shù)據(jù)或許可以幫你更好地了解機(jī)器學(xué)習(xí)的原理，從而易于起步，或是加速開發(fā)流程；但這些數(shù)據(jù)并非面向真實(shí)場(chǎng)景與體驗(yàn)而設(shè)計(jì)，更無法代表你們的產(chǎn)品設(shè)計(jì)目標(biāo)。因此如果必須使用這類數(shù)據(jù)，首先考慮清楚它們的覆蓋范圍，在必要的時(shí)候進(jìn)行補(bǔ)充，使其更符合你們的特定需求。

指標(biāo)（Metrics）

數(shù)據(jù)用于訓(xùn)練模型；接下來要聊的「指標(biāo)」則用于評(píng)估模型。

我們需要通過測(cè)試來評(píng)估模型的有效性。仍以照片搜索為例。完成訓(xùn)練后，我們會(huì)為模型提供一系列包含各種小動(dòng)物的照片，觀察其判斷的結(jié)果，對(duì)比其中正確與錯(cuò)誤的數(shù)量。

在這個(gè)例子當(dāng)中，模型的正確率是 75%。

這就是一個(gè)指標(biāo)。諸如此類的指標(biāo)可以幫助我們判斷模型的訓(xùn)練是否成功，是否達(dá)到了產(chǎn)品應(yīng)用的標(biāo)準(zhǔn)，或是需要繼續(xù)訓(xùn)練。

我們可以從很多不同的維度對(duì)模型進(jìn)行測(cè)試，譬如觀察它的運(yùn)行速度，或是能夠支持的對(duì)象類型數(shù)量等等。你需要充分權(quán)衡，從眾多維度當(dāng)中選擇出最能代表你們?cè)O(shè)計(jì)目標(biāo)的那些，作為判斷模型成功與否的指標(biāo)。

指標(biāo)與設(shè)計(jì)目標(biāo)相匹配

指標(biāo)可以衡量模型的質(zhì)量，而模型的質(zhì)量決定了產(chǎn)品體驗(yàn)?zāi)芊襁_(dá)到設(shè)計(jì)標(biāo)準(zhǔn)，因此你所選擇的指標(biāo)必須能夠代表你對(duì)于優(yōu)質(zhì)體驗(yàn)的定義。

指標(biāo)同樣體現(xiàn)著產(chǎn)品的關(guān)鍵價(jià)值所在。

我們來看個(gè)例子。Face ID 正是基于機(jī)器學(xué)習(xí)來探測(cè)你的面孔并實(shí)現(xiàn)設(shè)備解鎖的。

其整個(gè)機(jī)制背后蘊(yùn)藏著一系列明確的體驗(yàn)?zāi)繕?biāo)與設(shè)計(jì)意圖，而其中最為首要的就是安全性，因?yàn)橛脩粜湃挝覀儯麄儠?huì)將重要的個(gè)人數(shù)據(jù)交托于我們所提供的設(shè)備。

安全問題涉及到方方面面，我們必須通過多種不同的指標(biāo)來判斷模型是否足夠可靠；其中非常關(guān)鍵的一個(gè)指標(biāo)就是「任意一個(gè)人拿到你的手機(jī)之后能成功刷臉解鎖的幾率」。

我們一直追蹤著這個(gè)指標(biāo)，下了很大功夫去進(jìn)行優(yōu)化。在 Face ID 發(fā)布時(shí)，這一幾率已經(jīng)下降到了百萬分之一。

由于 Face ID 在當(dāng)時(shí)還是新事物，我們需要讓人們知道這項(xiàng)技術(shù)是足夠可信的，因此我們也會(huì)通過這個(gè)指標(biāo)與人們進(jìn)行溝通，讓人們了解 Face ID 的安全性。

關(guān)于技術(shù)局限

但無論如何，「百萬分之一」并非絕對(duì)完美。模型有可能產(chǎn)生的任何一次失誤，都會(huì)在一個(gè)真實(shí)的使用場(chǎng)景里影響到一個(gè)真實(shí)的人；產(chǎn)品設(shè)計(jì)者必須考慮到這一點(diǎn)。

如果另一個(gè)時(shí)空當(dāng)中的我突然出現(xiàn)在了我的身邊，我顯然不希望他能通過 Face ID 來解鎖我的手機(jī)，因此我還會(huì)設(shè)置密碼進(jìn)行額外的保護(hù)。在現(xiàn)實(shí)當(dāng)中，這類問題對(duì)于雙胞胎親屬來說是真實(shí)存在的；這也是新技術(shù)當(dāng)中所存在的局限，設(shè)計(jì)者無法回避。因此我們也會(huì)和消費(fèi)者就這一點(diǎn)進(jìn)行溝通，并建議他們進(jìn)行額外的安全設(shè)置。

出錯(cuò)，這對(duì)于機(jī)器學(xué)習(xí)來說是難以避免的。很少有模型可以達(dá)到 100% 的正確率，作為設(shè)計(jì)者，你必須了解到這一局限。但這是可以接受的，因?yàn)楫a(chǎn)品設(shè)計(jì)本就是一個(gè)迭代的過程，模型同樣可以不斷進(jìn)化。

模型自身所存在的出錯(cuò)概率并不意味著你無法為人們提供優(yōu)秀的產(chǎn)品體驗(yàn)。分析出錯(cuò)的原因，改善模型，或是清晰直白地讓人們知道技術(shù)自身所存在的局限性。

指標(biāo)不是全部

另外不要忘記，指標(biāo)，永遠(yuǎn)只是產(chǎn)品設(shè)計(jì)目標(biāo)的一系列量化表現(xiàn)形式；不要僅著眼于統(tǒng)計(jì)數(shù)字的優(yōu)化而無法自拔，卻忽略了在真實(shí)場(chǎng)景中可能產(chǎn)生的實(shí)際體驗(yàn)問題；必要的時(shí)候，你可能需要結(jié)合其他方式來塑造更完整的體驗(yàn)。

通過機(jī)器學(xué)習(xí)，App Store 會(huì)根據(jù)你已經(jīng)安裝的 app 來為你推薦更多類似的產(chǎn)品。

用戶在某個(gè) app 中的停留時(shí)長(zhǎng)確實(shí)是個(gè)不錯(cuò)的指標(biāo)，畢竟人們?cè)谝患虑樯纤ㄙM(fèi)的時(shí)間越多，越代表他們喜歡這件事。但是，如果 App Store 完全以這個(gè)指標(biāo)及相關(guān)模型作為驅(qū)動(dòng)，那么人們最終只能看到一個(gè)又一個(gè)和自己當(dāng)前使用的 app 非常相似的推薦。對(duì)我而言，這就意味著我將看到越來越多的游戲推薦。我雖然喜歡游戲，但我不止需要游戲。

需求、興趣及場(chǎng)景是多種多樣的；人們?cè)谝粋€(gè) app 當(dāng)中花費(fèi)的時(shí)間未必真的代表他的實(shí)際需求。為了補(bǔ)足推薦模型的固有局限性，實(shí)現(xiàn)更加完整的體驗(yàn)，App Store 同時(shí)提供了人工參與編輯的推薦內(nèi)容，幫助人們探索更多類型的優(yōu)秀產(chǎn)品。

模型的進(jìn)化

上線后，你會(huì)越來越多地了解到產(chǎn)品的實(shí)際表現(xiàn)，進(jìn)而也會(huì)對(duì)用戶需求產(chǎn)生更加深入的理解。設(shè)計(jì)目標(biāo)會(huì)因此而逐漸進(jìn)化，模型與相應(yīng)的指標(biāo)也是如此。

譬如你可以通過實(shí)際的統(tǒng)計(jì)來評(píng)估人們對(duì)于多樣化內(nèi)容的需求，進(jìn)而創(chuàng)建相關(guān)的模型，在推薦內(nèi)容的「多樣性」與「喜好相關(guān)性」之間找到最佳平衡點(diǎn)。

無論如何變化發(fā)展，你都要確保通過正確的指標(biāo)來持續(xù)追蹤模型在進(jìn)化過程中的表現(xiàn)，進(jìn)而對(duì)設(shè)計(jì)目標(biāo)的實(shí)現(xiàn)程度保持了解。

如何確保指標(biāo)能夠始終體現(xiàn)出不斷進(jìn)化的產(chǎn)品設(shè)計(jì)目標(biāo)呢？

• 理解錯(cuò)誤：對(duì)模型出錯(cuò)的狀況進(jìn)行分析，將失敗案例按照不同的類型與場(chǎng)景歸類，并考慮不同的處理方式：是否需要通過非機(jī)器學(xué)習(xí)的方式進(jìn)行處理，譬如改善界面層面的設(shè)計(jì)？還是需要一個(gè)更好的模型？
• 針對(duì)失敗場(chǎng)景的設(shè)計(jì)：在設(shè)計(jì)的過程中有針對(duì)性地考慮到失敗場(chǎng)景，考慮到人們?cè)趯?shí)際使用時(shí)可能經(jīng)歷的各種情況，提供必要的額外保障措施，而不只是面向一切運(yùn)作正常的情況而設(shè)計(jì)。
• 評(píng)估實(shí)際體驗(yàn)：指標(biāo)可以給到我們關(guān)于模型質(zhì)量的客觀數(shù)字；模型的表現(xiàn)決定了體驗(yàn)，但不等同于體驗(yàn)。作為設(shè)計(jì)師，仍然需要對(duì)體驗(yàn)本身進(jìn)行持續(xù)評(píng)估。進(jìn)行必要的用研，通過原型進(jìn)行體驗(yàn)評(píng)估，與用戶交流并獲取反饋。如果評(píng)估結(jié)論是體驗(yàn)欠佳，但指標(biāo)顯示一切良好，那么你的指標(biāo)本身很可能存在問題。
• 持續(xù)優(yōu)化指標(biāo)：始終對(duì)指標(biāo)的有效性保持質(zhì)疑和評(píng)估。你越需要依賴某件事物，就越需要評(píng)估它的正確性。以不斷進(jìn)化的產(chǎn)品設(shè)計(jì)目標(biāo)為核心，持續(xù)追蹤和思考當(dāng)前模型指標(biāo)的合理性。

「數(shù)據(jù)」與「指標(biāo)」代表著模型層面的設(shè)計(jì)要素。接下來，我們將進(jìn)入界面設(shè)計(jì)的層面，了解基于機(jī)器學(xué)習(xí)的產(chǎn)品在界面輸出與輸入方面的一系列設(shè)計(jì)原則。

• 次回預(yù)告：(3) 輸出的設(shè)計(jì)
• 視頻鏈接：Designing Great ML Experiences

歡迎關(guān)注作者的微信公眾號(hào)：「Beforweb」