前幾年，基于深度學習的設計系統「鹿班」問世，關于 AI 驅動型的工具是否會革掉設計師的命的討論甚囂塵上，如今這個場景依然歷歷在目。雖然隨后還誕生了不少類似的產品，比如服務于京東這樣大型企業的「羚瓏」，以及各種針對單項功能進行迭代的小型 AI 工具，比如專精換臉的 Deepfake，用來摳圖的 Remove.bg 等等。
打不過就加入。相比于對于遙遠未來的焦慮，直接用這些 AI 驅動的設計工具來搞定問題，是越來越多設計師同學的務實選擇。
如何將機器學習生成的結果和設計師的構想結合起來，輸出貼合用戶需求的設計結果？也許，我們能夠在 Netflix 的「數據科學和工程團隊」制作封面/Banner的工作方式中，一窺未來的設計方法。
然而，當你還在 P 圖的時候，Netflix 已經走上了一條截然不同的設計道路。
布拉德·皮特在《搏擊俱樂部》中所飾演的角色 Tyler Durden，在做電影放映員的時候，會悄悄將一些「敏感」的畫面幀插入到正常的電影膠片中，按照正常的膠片電影的播放速度，1秒24幀，實際上這張「突兀」的畫面幀大概的存在時長為 42 毫秒。
即使僅僅只有一幀，一閃而過的42毫秒，觀眾依然會看到，會驚愕，會出神。這并不稀奇，因為人的肉眼的信息抓取能力相當強。
曾經我們認為人的眼睛能夠注意到體停留于視網膜上 100 毫秒以上的視覺信息，麻省理工大的一組神經科學家發現，人腦處理圖像信息的機制比我們之前想象中要強。
根據其他的研究，當人的雙眼看到信息之后，信息從視網膜傳遞到大腦能夠處理視覺信息的部位，然后反饋給眼球的神經元，這個時候眼球能夠根據反饋過來的決策機制來眼動，這個過程大約需要50毫秒。也就是說，當可見內容低于這個時間范疇的時候，信息的處理效果會打折扣——但是僅僅是打折扣。
麻省理工大的研究團隊將單個圖片存在時長從 100 毫秒降低到 80毫秒，再到 53 毫秒、40毫秒、27毫秒，最極限的情況下，存在是時長僅為13毫秒的圖片，也可以被注意到。換句話說，即使在 每秒 75 幀的視頻中插入一幀無關的畫面幀，都有可能被用戶注意到。這一研究成果，被發布在《Attention, Perception, and Psychophysics》 這一學術期刊上。
這項研究證明了我們日常「一瞥」當中，到底獲取到多少信息，我們的決策機制可能比我們想象重要「極端」和「靈敏」得多。這也意味著，用戶在瀏覽社交媒體的時候，也許會在1~2s 內翻一頁，但是大腦大概在剛剛看到圖片信息的時候就決定了是否要停留下來，而在諸如 Netflix 、Bilibili、愛奇異 這樣的視頻網站上瀏覽視頻的時候，這種視覺信息的競爭更加殘酷。
實際上，正是這項研究促使 Netflix 的數據科學團隊有意識地探索用戶點開視頻的底層邏輯。
對于每一個影視作品而言，它們起碼擁有 13 毫秒的「被看見」的機會，被設計出來的封面，就是通過這狹窄的時間窗口的契機，它們為這部作品爭取一個機會。但是實際上，從注意到問題，到找到內容呈現的正確方式，路徑非常長。
封面很重要，那么誰來決定封面用哪張？首先這是一個設計決策的問題。
正如同你我所熟知的，當我們需要為一部影片制作封面或宣傳圖的時候，我們會傾向于由設計師來選取合適的圖片和素材物料，經過修整處理之后，搭配上精心設計的標題和輔助文案，調整排版布局，幾經反饋和修改之后，輸出最終的宣傳物料。各位從事平面、視覺甚至 UI 設計的同學對此應該相當熟悉。
選圖，做字體，快速排版。就是這么個事兒，但是在 Netflix ，他們有成千上萬的影片，受眾群體橫跨多個國家地區，這也意味著做設計決策不能采用這種邏輯。
「做決策很簡單——難的是做出正確的決策。」這句話出自Netflix 的技術博客中，發人深省。通常，我們的設計決策方式會上以下 4 種決策方式中的一種：
- 讓領導做出所有決定。
- 聘請一些設計、產品管理、用戶體驗、流媒體交付和其他學科方面的專家，然后從他們的建議和方法中得出結果。
- 進行內部討論，讓團隊內的成員各抒己見，讓聲量最大的選擇占據主導。
- 抄襲對手的設計。
（左上：領導選擇；右上：專家決策；左下：內部討論；右下：抄襲對手；）
如果僅僅只是設計一張海報， 使用上面的任何一種方法，都可以在一定時間內做出「合理」的決策，起碼能夠較快得出結果。
2010 年Netflix 的首屏頁面
2020 年 Netflix 的首屏頁面
如果是設計一個首屏界面，涉及到的不僅僅上視覺體驗，還要考慮到產品和用戶需求，用戶體驗，交互邏輯，排版布局等等等等，這個決策時間可能還要長。正如同你所看到的，在過去的十幾年時間當中，Netflix 的首屏頁面經歷了不小的變化。但是這并不是最主要的挑戰。
海量的電影和劇集，怎樣才能給它們匹配上多變、符合不同國家和地區不同審美偏好用戶的封面圖？一部部影片地做肯定是不現實的。
Netflix 內部有若干個相輔相成的團隊，來共同決策并落地設計，而不是采用上面提及的4種策略。
Netflix 和很多其他同類公司一樣，有著專門的業務戰略部門（SP&A），通常他們通過財務、運營和戰略分析，來協助公司高層進行宏觀的決策制定。
在微觀層面上，他們也有專門分析用戶行為和決策的消費者洞察部門，直接面對用戶，仔細分辨用戶所說和用戶真正決策之間的差異，把握用戶的決策傾向，在某種程度上，他們可以確知消費者個人、受眾群體、市場層面的主要的模式、共識和主要的聲音。
但是在全平臺的落地執行上，Netflix 所倚靠的，是「數據科學與工程團隊」。用戶在數據層面上的行為和表達，是不會騙人的。他們要做的是將審美「規范化」和有針對性的「精細化」處理，而且要應用到海量的影視作品和海量的用戶頭上。
數據科學團隊是一個成員背景各不相同、來源廣泛的團隊，他們借助各自不同的技能組合，來共通分享技能并推動 Netflix 在宏觀數據層面上，逐步優化設計和體驗。他們當中很多人熟知個性化算法，了解內容評估，擅長流程優化，當然，也懂得設計，了解工程，可以和其他的業務/工程團隊密切合作。
宏觀上有戰略團隊，微觀上有消費者洞察部門，而在功能和設計的落地執行上，「數據科學和工程團隊」則是中堅力量。其中最硬核的事情，也正是由這個構成復雜的團隊來完成的。
2014年的時候，Netflix 的團隊進行過一項研究，結果發現了了不得的規律。通過這份研究，他們發現用戶通常會在每部影視作品的標題上平均花費 1.8s，但是每一部影視作品的圖片背景是影響用戶是否觀看的最關鍵因素，這些圖片內容占據了用戶瀏覽 Netflix 視覺內容比例的 82%。你難以想象用戶瀏覽信息時候的「草率」，對于平臺而言，抓取用戶興趣的時間窗口有多短。
在Netflix 推出原創紀錄片《The Short Game》的時候，Netflix 的內容分析團隊運用這項研究的結果進行了全方位的測試，最直觀的結果是：使用更好、更有針對性的圖片內容，會顯著增加這部作品的整體流媒體播放時長和用戶參與度。
在這份研究當中，有很多定性的研究結果非常值得參考。
面孔對于用戶注意力是有天然吸引力的，這一點可能大家都知道，但是更重要的地方在于：帶有復雜情緒的面部，比起溫柔或者堅韌的面部表情更能吸引用戶——復雜的面部表情更能激起用戶對于故事的好奇心。在下面的 Unbrakable Kimmy Schmidt 第二季開播的時候，Netflix 使用了多個不同版本的封面圖，其中轉化率最高的是右下角的那個：
雖然全球化程度正在提升，但是不同地區文化差異也是無法忽略的影響因素，以《黑客帝國》系列導演沃卓斯基姐妹所執導的系列劇集《超感獵殺》為例，這部 Netflix 投資的影視劇集在全球不同地區，轉化率最高的封面圖各不相同：
最具識別度的角色通常會更容易吸引用戶，而這個角色不一定要是這部作品的主角！注意看，《馴龍高手》系列的封面途中，通常是反派角色帶來的轉化率更高：
少即是多，也是一個相當重要的規律。在諸如 Netflix 的首頁這種封面圖使用場景之下，封面當中角色超過3個人的時候，轉化率就急轉直下了。Netflix 通過數據證明了在小屏幕上，撕番位這種事兒毫無意義，用戶會選擇單一角色的封面圖，它甚至不一定是主角的。以《女子監獄》系列劇集為例，第一季的多人封面數據明顯不好，后續學乖了，在二三季上使用了單人封面，數據轉化率有了明顯回升：
第一季
第二季
第三季
上面的這些測試結果，是「數據科學與工程團隊」借助大量的具有開創性的 A/B 測試來取得答案的。
上面提出的結論非常易于理解的，但是這些結論是建立在極度復雜而細致的測試的基礎上的。「數據科學與工程團隊」的工程師們的目標設立得非常明確：
- 確定讓用戶更快找到他們想要觀看的影視作品。
- 確保用戶會逐步增加參與度，觀看更多的內容。
- 確保在使用多個不同圖片背景的時候，不會歪曲標題含義。
從視覺排版的角度上來看，每一部電影或者劇集，其實都有很多屬性。以上圖的《毒梟》為例，通常都會有大標題、特征化的圖片背景、評級信息、評分信息、內容概要等等。
通過研究表明，用戶會先看圖片，然后再決定是否要看其他的文字信息。換句話來說，細節詳情重要……但是封面圖最重要。
所以，他們打算提高用戶指向圖片的「第一眼」的轉化率。但是，在其他場景下使用的圖片物料，其實是不一定適合給 Netflix 來使用的。
以上面提及的《The Short Game》紀錄片為例，數據科學團隊最初采用的測試很簡單：
在 3個不同的測試單元之下，他們監控了點擊率、總播放時長、短時播放比例、觀看內容比例等不同指標。結果表明，修改背景圖片對于轉化率有著明顯的效果，甚至拓展了這部作品的受眾人群。當然，也有人質疑，但是這僅僅只是最簡單、粗略的 A/B 測試。因此，在此之后，數據科學團隊還進行更加深入、復雜的 A/B 測試：
在前期基礎的測試當中，將封面圖中的主要元素都量化處理了，包含主要的標題、可選的標簽和背景圖，在用戶指標的篩選上則顯得更加細致，看了幾分鐘的用戶和看完整劇集的用戶，都被區分開來，不同國家、地區的用戶也被區分標記了。
這些 A/B 測試所涉及到的指標和場景相當的多，通過這些測試不僅找出了提升轉化率和用戶觀看時長的主要指標，而且還驗證了提升短時播放時長等次要因素的影響指標。之后，他們還花費了長達數月的時間，來做縱向 A/B 測試，來追蹤用戶跨設備的觀影印象的變化，以及同一個封面在不同設備、場景下的轉化率影響和變化。
但是不同設備上同一圖片是有不同的大小、縱橫比的，這就需要額外創造一套標識系統來標識同一圖片不同縱橫比的版本，相當于是為這些圖片素材創造一個「血統ID管理系統」。
在此之后，數據科學團隊還逐步升級出更加復雜的 A/B 測試方法，這些有針對性的測試不斷推進過程中，就篩選出上方所提及的結論。這些成果實實在在地轉化成 Netflix 的訂閱量，這也促使了 Netflix 的數據科學和工程團隊開始吸收更多的跨學科人才，并且儲備了越來越多的算法和工具，直到后來催生出 AVA 系統。
盡可能多、盡可能豐富、盡可能符合規律的的封面圖，能給 Netflix 帶來最直接的轉化，精心挑選封面圖這個事情……工作量太大了。AVA 系統就是用來解決這個「大量的封面圖從哪里來」的問題。
著名劇集《怪奇物語》一集有大約 86000 個靜態幀，這意味著10集一季的劇集當中，可以篩出接近 900 萬個靜態幀，這是一個巨大的資源庫，想想看，900萬幀圖片當中能夠篩出多少用來做封面的圖片？
但是要達成這一目標，數據科學與工程團隊，需要全方位地拆解和細化這些視覺信息。數據科學與工程團隊打算使用幀注釋來標記和測量每一幀圖片的客觀特征元數據：
AVA 為《Bright》篩選圖片
然后在此基礎上，拆分出框架子集，然后借助排名算法，篩選出符合審美、創意、多樣性的子集，這些圖片的集合，會成為代表這一影視作品的備選圖片素材。
為了盡可能好的篩選圖片，Netflix 的團隊會將視頻先拆分成小塊的段落，然后再進行細致的處理。想要實現這一目標，他們創建了一個名為 Archer 的框架來拆分視頻，在這個框架的基礎上，不斷加入智能算法，來逐一處理這些分割出來的視頻塊，分析圖片的元數據，或者是分析這些塊的內容和主題的相關度，上下文關系，對重要性進行排名。
在 Archer 框架的幫助下，他們獲得了視頻塊和圖片的 3 類基礎數據：
1、視頻元數據
簡單來說，視頻元數據包含了這些視頻和圖片的亮度、色彩、對比度和動態模糊的程度，這也是 AVA 最容易獲取到的內容和數據。
2、上下文元數據
上下文元數據就更有意思了，AVA 可以根據角色的姿勢、動作、面部表情來判斷角色的情緒，但是這個不是最強的。算法能夠估算鏡頭相對于拍攝主體的運動距離，從而能夠給動態模糊提供具體的參數，甚至可以識別拍攝鏡頭的類型和風格，比如是否是長鏡頭，是否是角色特寫，從而進一步佐證這一角色在這一場景下的情緒或者氛圍，而對象檢測的數據則能夠分辨場景中人物和物品的差異和特征。
3、構圖元數據
AVA 的算法能夠結合攝影和視覺美學的邏輯來判斷畫面的特征，比如使用對稱、景深關系和三分法來標識出鏡頭和畫面的特征。
在確定了這些基礎的元數據之后，下一步就會通過自動化流程，來從中提取「最佳」的候選圖片。當創意團隊需要進行封面合成或者剪輯的時候，就可以從中選取更有用的圖片和視頻素材。這個圖片排名的邏輯，也是有講究的。
1、篩選演員優先級
影視作品中，主角和關鍵角色的優先級無疑是更高的，借助深度學習訓練，算法可以篩選出符合關鍵角色和主角特征的圖片，當然，還需要兼顧到主角的動作、神態、面部情緒和構圖：
這個過程中，會將非關鍵角色、動態模糊的圖片以及畫面角色情緒不佳的去掉。
2、挑出美學多樣性畫面幀
考慮到封面圖還需要具備創意性和視覺多樣性，甚至是非常主觀的一門學科，所以從設計師和創意工作者那里獲得一些特征明顯的指標，借此來篩選出影片中一些有顯著美學特征的畫面。AVA 會特意篩選出特征性的鏡頭（遠景或中景），視覺性突出場景（三分法、亮度、對比度）、色彩突出場景（突出或者有代表性的顏色），以及特征結構性場景（負空間或者特定復雜度的場景）。
結合這些特征屬性，能夠篩選出很多優質的畫面。
3、增加分級過濾器
考慮到受眾和敏感度，篩選過程中還需要專門過濾掉含有性、裸露性的文字的畫面和視頻，去掉含有文字、LOGO以及未經授權的品牌的相關畫面，AVA 系統會給含有這些元素的畫面以較低評級，從而可以自然篩選掉。
基本上，到了這一步，就能夠獲得大量的圖片和視頻素材，結合設計師提供的不同語言不同版本的標題設計素材，就能夠快速合成針對不同國家地區用戶的封面圖了。那么，這個關鍵的「數據科學與工程團隊」里，具體都是些什么樣的人呢？
「數據科學與工程團隊」是一個很典型的站在「科技和人文」十字路口的團隊，他們需要用科學的方式來探索人性和藝術的特征，又要解決用戶體驗、流媒體的推流算法、合理的個性化推薦等等各種問題。
這個團隊當中，成員主要分成2個不同的類別，「數據分析工程師」和「可視化工程師」，在很大程度上，他們面臨的就是 Netflix 平臺的內容本身，海量的內容。而這兩個職位名稱之所以這么模糊，是因為這幫人并非單一學術背景，甚至同一專業的成員都有著各自所擅長的特殊技能和知識門類，這種模糊的稱謂恰恰是為了模糊這種界限，促進合作。
「數據科學與工程團隊」當中的成員都是多面手，而根據他們所專精的領域差異，它們又可以分為3個主要的類別。
- 分析師。他們通常可以提供推動業務決策的指標和數據模塊，善于和非技術背景的受眾進行溝通，和利益相關者討論不同選擇的戰略意義，他們的專長是描述性的分析和方法，同時他們也懂得必要的技術工具比如代碼、數學和統計。
- 工程師。他們擅長以最佳的方式來獲取數據，構建強大的數據模型、原型系統，并且善于為特定的項目來針對性獲取數據。本質上，他們依然是分析師，但是他們對于數據工程有著深入理解，尤其是對數據進行處理和性能優化特別拿手。他們大多位于多學科交叉點，可以全棧輸出，對項目進行分層可視化呈現。
- 洞察者。這是一個特別擅長視覺性表達、敘事的群體，他們對于拓展性、美觀和功能性都有非常強的掌控力，對于表層以下的數據和內容有深入洞察，他們大多能夠以準確優美的數據圖來講述事件和情形，輔助其他人理解，他們甚至會使用使用代碼和設計工具來制作工具、設計 UI。
從他們的職能特征可以看出來，他們日常工作涉及到的點始終都圍繞著數據、性能、可視化呈現，而他們要解決的問題也常常會是前人所未曾接觸過，甚至需要借助深入分析來「理解」。
Netflix 的「數據科學和工程團隊」對于設計的支撐是無處不在的，而他們這種高度技術化、跨學科的屬性之強，又和我們現在對于「設計」的認知，有著巨大的差異。當然，很大程度上，這種團隊只可能存在于一些大公司或者涉及海量數據的項目當中，但是它在一定程度中揭示了未來設計的一個方向和可能性。
在電視或者瀏覽器上打開 Netflix 的頁面之后，我不會先看60s的廣告打擾，也不會在好不容易選好一個劇集后再看 120s 的廣告。這份相對純粹的觀影體驗背后，大概有 Netflix 自制影視作品帶來的收益的支撐，當然也有「數據科學和工程團隊」這些硬核玩家努力工作的影響。當然，我最主要還是不太喜歡用廣告來倒逼付費訂閱的模式……
參考來源：
https://news.mit.edu/2014/in-the-blink-of-an-eye-0116
https://netflixtechblog.com/analytics-at-netflix-who-we-are-and-what-we-do-7d9c08fe6965
https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6
https://about.netflix.com/en/news/the-power-of-a-picture
https://jobs.netflix.com/teams/data-science-and-engineering
https://uxplanet.org/what-can-we-learn-about-design-from-netflix-502f6a384aa8
https://netflixtechblog.com/ava-the-art-and-science-of-image-discovery-at-netflix-a442f163af6
https://netflixtechblog.com/decision-making-at-netflix-33065fa06481
延伸閱讀：
復制本文鏈接 文章為作者獨立觀點不代表優設網立場，未經允許不得轉載。
熱評 六丙丁