10秒出圖，以假亂真！設(shè)計(jì)師「用嘴修圖」的愿望要成真了？

大家好，我是和你們聊設(shè)計(jì)的花生~

之前給大家推薦了 AI 圖畫生成器 Disco Difussion，它可以根據(jù)文本提示自動(dòng)生成恢弘奇幻的藝術(shù)，非常適合作為藝術(shù)創(chuàng)作的靈感來源。

那如果現(xiàn)在有一款新的 AI 圖像工具，它可以根據(jù)你給出的「文本提示」，自動(dòng)合成猶如照片般的真實(shí)場景，或者可以根據(jù)你給出的文字提示自動(dòng)修改照片中的某個(gè)部分，而且毫無 PS 痕跡，你會(huì)怎么看呢？

有關(guān)注阿文（微博 @Simon_阿文）的小伙伴可能已經(jīng)知道，已經(jīng)有人工智能可以實(shí)現(xiàn)上述功能了，而且生成速度極快，圖片質(zhì)量非常高。今天我要和大家介紹的，就是這樣一個(gè)能根據(jù)語言描述，創(chuàng)建逼真的圖像和藝術(shù)的人工智能系統(tǒng) —— DALL·E 2。

DALL·E 2 主要功能

DALL·E 2 是由 OpenAI 公司研發(fā)的一款新的人工智能系統(tǒng)，它不僅可以更根據(jù)文本描述生成對(duì)應(yīng)的逼真圖像，還可以根據(jù)文本提示修改圖像內(nèi)容，以及根據(jù)給定的圖像拓展生成多種主題風(fēng)格一致的“變體”。

1. 圖像生成功能

我們先來看一組圖片：

這些圖片是不是看起來非常真實(shí)？如同用相機(jī)拍出來的一樣。但其實(shí)，這些圖片都是 DALL·E 2 根據(jù)給定的文本，通過模型渲染出來的，是完全的虛擬產(chǎn)物。

這就是 DALL·E 2 最主要也是最擅長的功能——根據(jù)語句描述創(chuàng)建逼真的圖像和藝術(shù)。以往我們想得到一個(gè)具體的場景，需要通過布景攝影或者繪畫來實(shí)現(xiàn)，一些具有真實(shí)感的奇幻場景更少不了后期合成，而DALL·E 2讓這一切都不再復(fù)雜。

除了生成逼真的圖像，DALL·E 2 也能根據(jù)提示生成具有不同藝術(shù)風(fēng)格的圖像：

圖片來源：DALL·E 2 官方 Instagram

2. 圖像修改功能

除了根據(jù)文本描述提示生成圖像，DALL·E 2 還可以根據(jù)給出的提示，修改現(xiàn)有圖像。

這種修改包括刪除、增加、替換、重塑圖片的任意部分，同時(shí)考慮陰影、反射和紋理等各方面影響，修改后的圖像看不任何修改痕跡。

圖片來源：DALL·E 2 官網(wǎng)

之前優(yōu)設(shè)有給大家推薦過智能修圖軟件，可以能借助 AI 算法實(shí)現(xiàn)元素?zé)o痕去除。DALL·E 2 的技術(shù)則更上一層樓，可以直接添加或替換元素，這對(duì)設(shè)計(jì)師來說無疑是提高工作效率的利器。

3. 風(fēng)格延展功能

DALL·E 2 可以根據(jù)一張給定的圖片，生成許多與之相關(guān)的“變體”。這些“變體”在主題與風(fēng)格上與原圖保持一致，在其他細(xì)節(jié)方面會(huì)自動(dòng)生成很多變化。

圖片來源：DALL·E 2 官網(wǎng)

DALL·E 2 的優(yōu)點(diǎn)及不足

不同于 Disco Difussion 的 CLIP+generator，DALL·E 2 開發(fā)了一種新的文本-圖像生成方法，稱為 unCLIP。unCLIP 讓 DALL·E 2 無論是識(shí)別文本及圖像準(zhǔn)確程度還是圖像生成速度上，都有了極大地提升。

OpenAI 聯(lián)合創(chuàng)始人 Aditya Ramesh 通過 Twitter 分享的 DALL·E 2 模型運(yùn)作過程

1. 極高的圖像質(zhì)量及精準(zhǔn)度

在 2021 年 1 月，OpenAI 公司就推出了 DALL·E 1，但那時(shí)生成出的圖片質(zhì)量較低，與提示文本的匹配度也只有 71.7%。一年后，新的 DALL·E 2 系統(tǒng)可以生成 4 倍于之前的高分辨率圖像，匹配程度也上升至 88.8%，生成的圖像更逼真準(zhǔn)確。

圖片來源：DALL·E 2 官網(wǎng)

通過深度學(xué)習(xí)，DALL·E 2 還能如人一樣理解兩個(gè)物體間的關(guān)系。

當(dāng)你輸入文本“一只考拉騎著摩托車”時(shí)，DALL·E 2 能夠明白「考拉」與「摩托車」之間的「騎」的動(dòng)作關(guān)系，然后自動(dòng)創(chuàng)作相應(yīng)的圖像。

圖片來源：DALL·E 2 官網(wǎng)

2. 極快的圖像生成速度

平時(shí)我們需要找到一張符合主題的圖片，少不了要去不同的網(wǎng)站搜索一番；要修改圖片的某一部分，也需要手動(dòng)用圖片工具調(diào)整，所需的時(shí)間都不算少。

而 DALL·E 2 能在或十幾秒內(nèi)，就生成與文本匹配的圖像，一次性生成的圖片數(shù)量有達(dá)到 10 張之多。刪除、增加、替換、重塑圖片的任意部分也不再需要人工一點(diǎn)點(diǎn)去修復(fù)，修復(fù)質(zhì)量也更精準(zhǔn)自然。

Twitter 用戶 @karenxcheng 發(fā)布的一段 DALL·E 2 測試視頻，視頻中由文本生成圖片只需幾秒。

視頻地址： https://twitter.com/karenxcheng/status/1513569345049280512

DALL·E 2 的 unCLIP 模型使其生成的圖像與文本提示的匹配度非常高，不像 Disco Diffusion 一樣會(huì)錯(cuò)誤理解文本描述，將水印或者把藝術(shù)家本人當(dāng)成關(guān)聯(lián)圖像的一部分。

但如果 DALL·E 2 的模型在訓(xùn)練過程中，學(xué)習(xí)到的圖像與其關(guān)聯(lián)標(biāo)簽是錯(cuò)誤的，那么最終生成的圖像結(jié)果就是錯(cuò)誤的。比如，訓(xùn)練到的信息是：與圖片 「飛機(jī)」關(guān)聯(lián)的標(biāo)簽是 「車」，那么其在生成關(guān)于「車」的圖片時(shí)，就會(huì)產(chǎn)生包含「飛機(jī)」的圖片，并不像人一樣能主動(dòng)進(jìn)行糾錯(cuò)。

另外 DALL·E 2 在生成的多角度真實(shí)圖像時(shí)，也會(huì)出現(xiàn)透視比例失真問題。

DALL·E 2 的潛在機(jī)遇與風(fēng)險(xiǎn)

DALL·E 2 功能如此強(qiáng)大迷人，想必大家都非常想親自使用體驗(yàn)。但非常遺憾，DALL·E 2 的程序目前并不對(duì)公眾開發(fā)，我們目前在網(wǎng)上看到的 DALL·E 2 相關(guān)信息，都是 DALL·E 2 官網(wǎng)、內(nèi)部工作人員及少數(shù)特邀的相關(guān)行業(yè)專家發(fā)布出來的。

如果想要使用 DALL·E 2，目前唯一的辦法就是通過官網(wǎng)申請進(jìn)入候補(bǔ)名單，等待官方的邀請。

之所以采取這樣謹(jǐn)慎的方式，是因?yàn)?OpenAI 公司深知 DALL·E 2 強(qiáng)大的圖像生成和修改技術(shù)一旦開放使用，將會(huì)給社會(huì)的很多方面帶來極大沖擊和影響。

從好的方面來說，DALL·E 2 的合理運(yùn)用可以給教育、藝術(shù)創(chuàng)意、營銷、設(shè)計(jì)、研究等領(lǐng)域的發(fā)展帶來極大方便。人們可以借用 DALL·E 2 生成圖像來解釋抽象的原理或者概念；也可用 DALL·E 2 讓腦海中復(fù)雜的、天馬行空的想法與創(chuàng)意快速成型，并可以隨時(shí)修改；甚至可以將 DALL·E 2 作為生產(chǎn)工具，成為藝術(shù)創(chuàng)作流程的一部分。

推特網(wǎng)友 @benbarry 用 DALL·E 2 以「機(jī)器人畫畫」為主題，生成了 1000 張相關(guān)圖像，這些圖像已經(jīng)被整理成一本書，分享在 「Internet Archive」 上共所有人免費(fèi)下載閱讀。

但 DALL·E 2 也存在著被濫用的風(fēng)險(xiǎn)，比如用以生成血腥、暴力、露骨、低俗內(nèi)容；偽造虛假的圖像威脅誣告他人；或生成重大事件的虛假圖像誤導(dǎo)社會(huì)輿論等。

為了避免此類問題，DALL·E 2 對(duì)系統(tǒng)模型進(jìn)行了預(yù)訓(xùn)練過濾，所有暴力、露骨內(nèi)容都從其訓(xùn)練數(shù)據(jù)中刪除，以限制 DALL·E 2 生成相關(guān)圖像的能力。但是這并不能完全杜絕相關(guān)內(nèi)容的出現(xiàn)，一些間接的描述可以繞過 DALL·E 2 的過濾設(shè)置。

下圖是官方給出的一張示例，我們可以從中感受到人工智能被濫用的可怕后果。

此外，DALL·E 2 也帶有一些原生的限制。據(jù)官方介紹，DALL·E 2 在默認(rèn)情況下生成的圖像，都以白人和西方文化特征為主，比如涉及到“婚禮”時(shí)，會(huì)假定是西方婚禮傳統(tǒng)，并默認(rèn)為異性戀夫婦。而且存在一些“刻板印象”：涉及到 CEO，圖像都是男性，而涉及到空姐、護(hù)士的概念時(shí)，形象都是女性等，這些都是 DALL·E 2 目前正在改進(jìn)并需要不斷完善的地方。

總結(jié)

DALL·E 2 通過文本提示進(jìn)行圖像生成及修改方面的功能非常強(qiáng)大，可以達(dá)到以假亂真的地步。它的出現(xiàn)，無疑會(huì)給藝術(shù)、營銷、設(shè)計(jì)、研究相關(guān)行業(yè)帶來革命性的改變，但同時(shí)也存在被濫用的風(fēng)險(xiǎn)，需要謹(jǐn)慎、有限制性地使用。

DALL·E 2 程序目前沒有對(duì)社會(huì)公眾開放，想要體驗(yàn)功能的小伙伴，可以用進(jìn)入 DALL·E 2 官網(wǎng)： https://openai.com/blog/dall-e/ 申請加入候補(bǔ)者名單。

如果你非常幸運(yùn)得到了 DALL·E 2 名額，記得一定要仔細(xì)閱讀官方給出的 「政策聲明」 ，里面詳細(xì)說明了 DALL·E 2 及生成圖像的使用規(guī)范，如 DALL·E 2 生成的圖像不可被用于商業(yè)用途，生成的圖像不能侵犯他人肖像權(quán)（包括公眾人物），圖像發(fā)布到網(wǎng)絡(luò)上時(shí)需明確注釋是使用人工智能生成的等等。

參考資料：

https://www.lesswrong.com/posts/r99tazGiLgzqFX7ka/playing-with-dall-e-2

https://www.dezeen.com/2022/04/21/openai-dall-e-2-unseen-images-basic-text-technology/

https://80.lv/articles/transforming-images-with-openai-dall-e-2/

https://github.com/openai/dalle-2-preview/blob/main/system-card.md

https://weibo.com/1757693565/Lq4NV6ent?pagetype=profilefeed