AI浪潮下，XR設計師一定要掌握的設計工具（上篇）

引言

隨著 AI 浪潮的爆發，各種賦能于繪畫、UI 及 3D 美術領域的設計工具都發生了革新，提升了設計效。本期作者將介紹從上百個 AI 設計工具及插件中篩選出好用的提效設計工具，這些對 XR 設計師及產品經理可以快速上手且高效賦能的好工具，希望能幫助到大家日常的學習和工作。

更多XR干貨：

一、文案生成

1. ChatGPT

業界知名的公司 Open AI 出品的 AI 聊天機器人程序，ChatGPT 是一個由 OpenAI 開發的自然語言處理模型，這個模型被設計用于各種自然語言處理任務，如聊天對話、問答、文本生成和信息檢索。

對 XR 設計師來說，我們可利用 ChatGPT 輔助我們進行以下設計賦能：

1. 創意靈感和概念開發：ChatGPT 可以幫助 XR 設計師生成新的 XR 項目的創意靈感和概念。提供一些關于項目目標、受眾、主題等方面的信息，然后從其生成的想法中獲得靈感。
2. 用戶界面設計：ChatGPT 可以提供有關 XR 用戶界面設計的建議和指南。你可以詢問有關交互設計、界面布局、顏色方案等方面的建議，以改進用戶體驗。
3. 3D 模型和虛擬環境設計：ChatGPT 可以幫助你創建虛擬場景、建筑和 3D 模型的初步設計。你可以提供有關場景、物體或建筑的要求，并根據 ChatGPT 的建議來設計虛擬環境。
4. 用戶測試和反饋分析：ChatGPT 可以生成問題，來幫助你準備用戶測試的問題。它還可以協助分析用戶反饋，從中提取關鍵見解，以改進 XR 應用的設計。
5. 交互式演示和原型：ChatGPT 可以生成原型演示、交互式演示或虛擬演練的想法，幫助你展示項目概念和設計。
6. 制定 XR 策略：你可以與 ChatGPT 交流，討論 XR 策略、市場定位、目標受眾以及與 XR 技術相關的趨勢和挑戰。

舉個例子

“你是一位某大廠的資深 UX 設計師，擁有豐富 XR（AR，VR，MR）領域的 UX/UI 設計經驗（身份），目前你正在為某款 MR 硬件頭顯軟件系統進行 UX 設計(背景或叫現狀)，你想從 0 到 1 制定該 MR 系統的設計方案，請給我制定一個可以執行的設計流程及設計方法（目標）”

關于 UXUI 設計師如何利用 ChatGpt 來賦能進行設計賦能，作者之前寫過一篇文章，歡迎感興趣的同學點擊進行學習：

二、圖像制作

1. Midjourney

你有沒有想象過你可以把你輸入的文本變成圖片？Midjourney 是目前市場最火的，設計師運用主流繪畫工具，特點是生成圖片不局限于二次元人物，且能夠生成照片級精細的圖。

在 XR 設計領域主要可應用于虛擬人物、虛擬場景及 3D 模型物體的原畫繪制。

舉個例子，繪制一個賽博朋克風格的人物角色

“art toy,designer toy,mockup IP,a lovely girl in a jacket and skirt,detailed facial details,cyberpunk,3D render,octane render,c4d,zbrush,3d max,artstation,best quality,ultradetailed,studio lightning”

再來舉一個繪制 3D 模型的例子，Low poly 風格的飛機

“low poly，airplane”

針對 Midjourney 的教程，之前作者也寫過相關的快速入門教程。歡迎感興趣的同學進行點擊查看：

2. Stable Diffustion

號稱目前最強的 AI 繪畫工具，Stable Diffustion 是個開源的項目，所以目前市面上很多 AI 工具用的都是它的代碼，說是 AI 界的老大哥也不為過！缺點就是需要繁雜的配置。

應用場景與 Midjourney 一樣，同樣也可應用于虛擬人物、虛擬場景及 3D 模型物體的原畫繪制。

大家可以在優設搜索Stable Diffusion 學習相關教程。

3. Firefly Adobe

Adobe 推出了名為 Adobe Firefly 的 AI 文生圖工具，僅通過文字提示就可以生成 AI 圖像。目前其中文生圖模型 Firefly Image 2 已經在 Adobe Firefly 官網上線，目前可以免費體驗，其圖像生成質量相比之前的 Image 1 有了極大提升。

進入官網登陸后，可以看到有很多 AI 功能如文生圖、創意填充、文字效果等，還有即將推出的創建 3D 并生成圖像功能，可以期待一下。

Firefly 的文生圖功能已經將圖片的大小尺寸、效果和顏色基調做了一些封裝，供用戶快速選擇，相較于 Midjourney 和 Stable Diffusion 來說更加容易上手使用。同時還有提示詞建議，幫助你寫出更準確可控的提示詞。

這里也有 Adobe 官方出的關于如何寫好提示詞的教程文檔：https://helpx.adobe.com/cn/firefly/using/tips-and-tricks.html

對 XR 設計師來說也是一個不錯的選擇工具。

更多教程：

三、原型創作

1. Spline

Spline 是一款輕量化 3D 在線協作設計工具，集建模，材質，交互，動畫，代碼交付于一身。是一款非常適合 XR 領域設計師用于空間 UI、模型及動效的軟件。今年 Spline 也上架了其 AI 功能，能夠借助 prompt 來輔助生成 3D 的素材，真正可以編輯的矢量素材，這使得過去幾十年從來都沒有簡單過的 3D 建模變的更加容易上手，現在甚至可以實時協作，讓同事和你一同完成。目前 Spline AI 已經支持物理規則和隨機性，能夠輔助生成動畫，目前正在內測階段，快來嘗試吧～

對 XR 設計師來說，可以用該工具制作 2D UI 及 3D 模型界面等。同時也有豐富的社區資源供設計師快速調用。

下圖為某國外設計師利用 Spline 搭建了一個 Apple Vision Pro 的主頁界面 Demo，支持相關交互的響應動效，同時還支持多個格式的導出功能。

Demo 鏈接直達：https://app.spline.design/community/file

如果你想系統性學習 Spline 工具，作者為你推薦幾個好用的學習文檔及教程：

學習文檔：https://cn.spline.design/learning-community

學習教程：https://space.bilibili.com/2033738697/channel/collectiondetail?sid=394913

2. Bezel

與 Spline 類似，Bezel 也是一款基于瀏覽器的 3D 建模工具，拖拉拽即可操作。易上手，支持多種模型和場景，試用版免費，適合元宇宙賽道的產品經理和沒有建模經驗的設計師。

不過相較 Spline, Bezi 的開源社區資源沒有特別豐富，但我們依舊可以從它的社區資源中看到可以應用在 XR 領域的設計可能性。3D 模型場景，手勢交互，3D UI 界面都可以通過該工具進行搭建。同時可與 figma 素材無縫銜接，也是大廠 XR 設計師使用的主要生產工具之一。

歡迎感興趣的同學關注其官方的學習教程文檔：https://bezi.com/hq/docs

3. Figma

作為 UX/UI 設計師使用的主要的矢量圖形編輯器及原型工具之一，figma 同樣適用于 XR 領域的設計同學。尤其是 Apple Vision Pro 相關項目從業設計師或產品經理，強烈優先使用 Figma。

AVP 擁有 Figma 較全的設計組件庫及模版，更方便設計師及產品經理快速使用。

Figma 鏈接直達:https://www.figma.com/file/U8b05floXkrzcTxeYbzOSf/Apple-Design-Resources

4. Unity

Unity 是一款實時 3D 互動內容創作原型及開發平臺，目前主要可用于游戲及 XR 應用的開發。對設計師來說 Unity 的上手門檻略高，因為需要一些 Coding 功底來進行一些基礎交互及動效的實現。但 Unity 工具能幫助設計師了解更多底層實現的邏輯，從而輸出更加實際可落地的方案。

但是為了降低上手和學習門檻，初學者可以先從 unity 中 XR Interaction Toolkit 入手；XR Interaction Toolkit（簡稱 XRI）是一款基于組件的上層互動系統，可用于創作 VR 和 AR 體驗。它提供了一種常見的互動框架，并簡化了跨平臺創作。

若想深入了解更新，歡迎查看 XRI 2.3 的更新說明文檔（What's new in version 2.3.0 | XR Interaction Toolkit | 2.3.2 (unity3d.com)），或探索附帶的樣例項目（項目概覽 - xr-interaction-toolkit-examples - GitCode）。

隨著 ChatGPT 的爆發，也有開發者自研了可以用于 unity 開發提效的插件，推薦其中一個 unity+ChatGPT 提效插件：

keijiro/AICommand：https://github.com/keijiro/AICommand

可以助力你提升 coding 效率。該插件的使用方法也很簡單，基于 ChatGPT 只需與其進行文本對話，即可生成對應代碼工程。

當然類似的基于 unity 的 AI 插件很多，作者后續慢慢為大家介紹。

四、3D 虛擬空間/全景圖片制作

1. Skybox Lab

Skybox Lab 也是一款類似于 Midjourney 可用于文生圖（text-to-image）的 AI 繪圖工具，不同的是它可以，Skybox Lab 生成的是 360 度視角的全景圖片。如果說傳統文生圖的最終產物還只能被局限在 2D 的平面之中，那么 Skybox Lab 就讓我們離 AI 生成“3D 空間”更近了一步。這一產品可以被用來便捷地生成天空盒（Skybox）材質。

與 Midjourney 等產品類似，Skybox Lab 允許用戶通過文字 prompt 指示圖片生成的方向，并可生成近 20 種風格的全景圖片。

詳細介紹：

2. Versy

Versy 是一款可用于文本生成虛擬空間（Text-to-Space）的 AI 工具，可以通過文本提示詞創建可交互式的 3D 虛擬空間。該工具大大降低了內容的創作門檻，讓不會建模的小白設計師也可以通過簡單的提示詞來創建交互式虛擬體驗。

目前 Versy 正處于內測階段，需要審核才可使用，歡迎大家申請嘗試。

3. Canvas

Canvas 是由英偉達出品的一款免費的可以生成真實圖像的 AI 藝術工具，可以將粗略的塊狀草圖轉變為逼真的風景圖像，支持普通平面圖片及 360°全景圖片。你只需要給出粗略的形狀，就可以讓你使用不同顏色的筆觸來描繪自然環境的整體形態，以代表不同的地貌，如丘陵、山脈、河流和海洋。

4. 360 全景在線體驗工具查看器

再為大家推薦一款生成 360 全景體驗的查看器，基于 AI 繪圖工具生成的圖片，放到這個在線工具中，就可以為你生成 360 全景體驗，完全免費、在線觀看 360 全景圖像。有了它，你不僅可以創建一個 URL 與他人分享你的 360 度全景，也可以創建一個嵌入代碼，允許你嵌入這個全景查看器在你的網站頁面。高性能，不需要插件。

360 全景在線體驗工具查看器：https://renderstuff.com/tools/360-panorama-web-viewer/

總結

本篇文章大家介紹了一些可用于生成文案、圖像繪制、原型創作及全景環境空間創作工具，主要有以下工具可供大家嘗試：

文案生成

ChatGPT：https://chat.openai.com

圖像制作

1. Midjourney：https://www.midjourney.com/explore
2. Stable Diffusion：https://beta.dreamstudio.ai/
3. Firefly adobe：https://firefly.adobe.com/generate/images#

原型創作

1. Spline：https://spline.design/ai
2. Bezel：https://bezel.it
3. Figma：https://www.figma.com/
4. Unity: https://unity.com

3D 虛擬空間/全景圖片制作

1. Skybox Lab：https://skybox.blockadelabs.com/
2. Versy：https://www.versy.ai/
3. Canvas：https://www.nvidia.com/en-us/studio/canvas/
4. 360 全景在線體驗工具查看器：https://renderstuff.com/tools/360-panorama-web-viewer/

歡迎關注作者微信公眾號：Vicky Design Studio