在視覺(jué)圖像設(shè)計(jì)中，用戶的需求與最終的設(shè)計(jì)成品往往是“想象很美好，現(xiàn)實(shí)很骨感”。這通常是因?yàn)橛脩粼谂c設(shè)計(jì)師溝通時(shí)，雙方理解不一致，導(dǎo)致最終設(shè)計(jì)結(jié)果不盡如人意。但是，如果能夠“自給自足”，借助人工智能技術(shù)為每個(gè)人賦予設(shè)計(jì)能力，是否會(huì)更容易讓自己腦海中的畫(huà)面變?yōu)楝F(xiàn)實(shí)？智能化設(shè)計(jì)工具 Microsoft Designer 就是一個(gè)能輔助用戶成為設(shè)計(jì)師的好幫手。

2022年10月，微軟在 Ignite 大會(huì)上發(fā)布了 Microsoft Designer 內(nèi)測(cè)版，為 Microsoft 365 家族再添一個(gè)視覺(jué)生產(chǎn)力工具。2023年4月27日，經(jīng)過(guò)半年的迭代和改進(jìn)，微軟宣布推出 Microsoft Designer 公開(kāi)預(yù)覽版。利用人工智能技術(shù)“猜想”用戶的想法，智能輔助生成文字提示和視覺(jué)圖像，Microsoft Designer 大大降低了設(shè)計(jì)難度，讓人人都能成為視覺(jué)設(shè)計(jì)師。

如今，市場(chǎng)上充斥著各種各樣視覺(jué)的設(shè)計(jì)工具，然而這些專業(yè)軟件有很高的技術(shù)門(mén)檻且操作復(fù)雜，非專業(yè)人員難以熟練使用。也有一些工具提供了海量的模板庫(kù)，用戶可以基于模板進(jìn)行修改，雖然這簡(jiǎn)化了部分操作，但其呈現(xiàn)效果與用戶的設(shè)想仍有不小的差距。Microsoft Designer 則能夠智能理解用戶的需求，自動(dòng)生成文字表述，實(shí)現(xiàn)從文字到視覺(jué)圖像的自動(dòng)化創(chuàng)造，并將這些素材用于設(shè)計(jì)項(xiàng)目。

作為智能化的設(shè)計(jì)工具，Microsoft Designer 將先進(jìn)的科研成果快速吸納并轉(zhuǎn)化為生產(chǎn)力，其中包括來(lái)自微軟亞洲研究院視覺(jué)計(jì)算組的 Provence、Swin Transformer 模型，自然語(yǔ)言計(jì)算組與微軟圖靈團(tuán)隊(duì)合作的圖靈通用語(yǔ)言表示模型，系統(tǒng)研究組的SPANN（存儲(chǔ)器-磁盤(pán)混合索引和搜索系統(tǒng)）算法等眾多前沿技術(shù)。

厚積薄發(fā)：Provence多模態(tài)內(nèi)容推薦模型助力實(shí)現(xiàn)“一鍵式”設(shè)計(jì)配圖

微軟亞洲研究院很早就開(kāi)始研究通過(guò)自然語(yǔ)言生成圖像或視頻的技術(shù)。2018年，正值短視頻發(fā)展的上升時(shí)期，研究員們意識(shí)到視頻化的傳播形態(tài)將成為未來(lái)互聯(lián)網(wǎng)主要的溝通交流方式。然而視頻內(nèi)容的制作流程繁雜，高質(zhì)量視頻的拍攝更需要專業(yè)人員的參與，那么是否可以通過(guò)技術(shù)創(chuàng)新創(chuàng)造出一個(gè)簡(jiǎn)化視頻制作和生成的工具？在這一目標(biāo)的驅(qū)動(dòng)下，視覺(jué)計(jì)算組開(kāi)始了文字到圖像和視覺(jué)的生成技術(shù)的研究。

經(jīng)過(guò)一年多的潛心鉆研，2020年視覺(jué)計(jì)算組推出了第一代基于檢索的文字到視頻的生成模型 Provence（Retrieval-based text-to-video generation）。Provence 模型能夠根據(jù)文本描述搜索相匹配的視頻或圖像，同時(shí)確?？缒B(tài)對(duì)應(yīng)具有較高的準(zhǔn)確率，達(dá)到了“一鍵式（即檢索到的第一個(gè)圖像推薦就是用戶所需）”的水平。

Provence 模型的潛力很快就被微軟 Microsoft 365 產(chǎn)品部門(mén)發(fā)現(xiàn)，并將其引入到了 PowerPoint Design Ideas（PowerPoint 設(shè)計(jì)器）功能中。為了更好地滿足產(chǎn)品端的工程化需求，微軟多個(gè)研究組的研究員們將 Provence 與 Swin Transformer、圖靈通用語(yǔ)言表示模型和 SPANN 算法結(jié)合，在 Design Ideas 功能的底層構(gòu)建了零樣本多模態(tài)的內(nèi)容檢索引擎，讓用戶在幾秒鐘內(nèi)就能通過(guò)文字自動(dòng)檢索出最適合于當(dāng)前幻燈片的配圖，并給出布局設(shè)計(jì)建議，良好的使用體驗(yàn)讓 Design Ideas 功能的用戶使用率提升了20%以上。

圖1：Provence 模型分別應(yīng)用于 PowerPoint Design Ideas，Microsoft Designer 及其生態(tài)系統(tǒng)中

2021年3月，在微軟內(nèi)部的駭客松（Hackathon）活動(dòng)期間，Microsoft 365 產(chǎn)品團(tuán)隊(duì)通過(guò)與研究員們的思想碰撞，更加深入地了解了機(jī)器學(xué)習(xí)領(lǐng)域的前沿技術(shù)趨勢(shì)，不僅看到了走向成熟的 Provence 檢索技術(shù)，也看到了更多創(chuàng)新的機(jī)器學(xué)習(xí)算法的應(yīng)用潛力。由此，雙方共同發(fā)起了 Designer in Edge 的 Hackathon 項(xiàng)目，此后這一項(xiàng)目進(jìn)入產(chǎn)品化迭代過(guò)程，也形成了如今的 Microsoft Designer 和 Designer Platform 這兩款由人工智能驅(qū)動(dòng)的產(chǎn)品。

微軟 Microsoft 365 產(chǎn)品部副總裁張大川表示，“在與微軟亞洲研究院多個(gè)研究組的交流中，我們看到了 Provence、Swin Transformer、圖靈通用語(yǔ)言表示模型等諸多超前的 AI 技術(shù)理念，這些前沿技術(shù)完全滿足 Microsoft Designer 及其生態(tài)系統(tǒng)的需求。雙方的緊密合作，不僅大大加速了產(chǎn)品的創(chuàng)新周期，而且還革新了傳統(tǒng)設(shè)計(jì)的流程。下一步，我們將共同致力于創(chuàng)新技術(shù)的落地應(yīng)用，為全球用戶提供更加便捷易用的視覺(jué)設(shè)計(jì)工具，更好地激發(fā)人們的創(chuàng)造力和創(chuàng)新力。”

“很高興看到微軟亞洲研究院越來(lái)越多的創(chuàng)新研究成果走向了實(shí)際應(yīng)用，成為支持產(chǎn)品開(kāi)發(fā)的核心技術(shù)。以 Microsoft Designer 為例，它的關(guān)鍵技術(shù)始于研究院五年前的創(chuàng)新突破，正是因?yàn)槲④泚喼扪芯吭撼掷m(xù)致力于探索計(jì)算機(jī)領(lǐng)域前瞻性的基礎(chǔ)研究，才使得這種拿來(lái)即用的技術(shù)轉(zhuǎn)化成為可能。未來(lái)，微軟亞洲研究院將一如既往地著眼于下一代革命性技術(shù)的研究，并將科研成果快速轉(zhuǎn)化到微軟的產(chǎn)品中，賦能更多用戶?！蔽④泚喼扪芯吭撼?wù)副院長(zhǎng)郭百寧表示。

Microsoft Designer：

從多模態(tài)推薦走向具有“創(chuàng)作”能力的AI

生成式視覺(jué)設(shè)計(jì)的一個(gè)關(guān)鍵環(huán)節(jié)是用語(yǔ)言或者文字將用戶腦海中想象的畫(huà)面清晰地表達(dá)出來(lái)。因此，微軟亞洲研究院視覺(jué)計(jì)算組的研究員們進(jìn)一步對(duì) Provence 模型進(jìn)行了升級(jí)，讓 Microsoft Designer 在從文字描述中精準(zhǔn)檢索出用戶所需圖像的基礎(chǔ)上，又實(shí)現(xiàn)了根據(jù)用戶意圖智能輸出文字提示的功能。

其核心思想是基于學(xué)習(xí)到的自動(dòng)模板為不同的輸入文本創(chuàng)建不同的提示，具體包括三個(gè)步驟：

• 首先，將用戶原始輸入的文本與一組字符（token）結(jié)合，這些字符是對(duì)用戶所需要的設(shè)計(jì)圖像的視角、樣式、氛圍、用途等的描述。

• 然后，根據(jù)美術(shù)設(shè)計(jì)的評(píng)分，使用學(xué)習(xí)到的自動(dòng)模板找到與不同字符匹配的最佳組合。

• 最后，將輸入文本和自動(dòng)模板提示的組合返回給用戶，并使用評(píng)分指標(biāo)對(duì)結(jié)果進(jìn)行排序，再?gòu)闹袡z索出最佳的圖像。

智能輸出提示文字，為用戶原始的輸入文本添加了更多的描述和細(xì)節(jié)，從而激勵(lì)視覺(jué)模型“創(chuàng)作”出更符合用戶需求的結(jié)果。如圖2所示：用戶輸入“a cat hacker wearing a VR headset”后，Microsoft Designer 自動(dòng)輸出了相關(guān)的提示與圖像。

圖2：智能輸出提示文字的流程

另外，研究員們還提出了一種檢索增強(qiáng)提示的推薦方法，通過(guò)使用提示數(shù)據(jù)庫(kù)來(lái)增強(qiáng)自動(dòng)提示的結(jié)果。隨著用戶對(duì) Microsoft Designer 的頻繁使用，模型會(huì)學(xué)習(xí)到更多的提示，而這些數(shù)據(jù)將能進(jìn)一步提高提示質(zhì)量。如圖3所示，對(duì)于用戶輸入，Microsoft Designer 會(huì)先使用語(yǔ)言模型從提示數(shù)據(jù)庫(kù)中檢索最相似的提示文本，然后通過(guò)評(píng)估分?jǐn)?shù)對(duì)檢索結(jié)果排序，再將自動(dòng)提示與排序檢索提示結(jié)合，以獲得更好的結(jié)果。由于模型具有持續(xù)學(xué)習(xí)的特性，最終將有越來(lái)越多的用戶數(shù)據(jù)納入到提示數(shù)據(jù)庫(kù)中來(lái)增強(qiáng)提示。

圖3：檢索增強(qiáng)提示

借助智能輸出文字提示和智能圖像生成的雙重加持，用戶可以更好地用文字描述出腦海中的畫(huà)面，讓 Microsoft Designer “創(chuàng)作”更符合需求的視覺(jué)圖像，并從推薦的圖像中選擇出最匹配需求的用于后續(xù)的定制化設(shè)計(jì)。

由人工智能技術(shù)驅(qū)動(dòng)的 Microsoft Designer 極大地降低了設(shè)計(jì)工作的專業(yè)門(mén)檻，讓設(shè)計(jì)更加大眾化，人人都能成為設(shè)計(jì)師。未來(lái)，Microsoft Designer 還將引入更多的人工智能算法，比如個(gè)性化的智能修圖、借助大模型實(shí)現(xiàn)平面布局等等，以此豐富 Microsoft Designer 的功能，為更多用戶帶來(lái)更高水平的創(chuàng)意和創(chuàng)造力生產(chǎn)工具。

點(diǎn)擊“閱讀原文”即可試用 Microsoft Designer，開(kāi)啟屬于你的 AI 設(shè)計(jì)之旅吧！

隨著人工智能技術(shù)的快速發(fā)展，確保相關(guān)技術(shù)能被人們信賴是一個(gè)需要攻堅(jiān)的問(wèn)題。微軟主動(dòng)采取了一系列措施來(lái)預(yù)判和降低人工智能技術(shù)所帶來(lái)的風(fēng)險(xiǎn)。微軟致力于依照以人為本的倫理原則推進(jìn)人工智能的發(fā)展，早在2018年就發(fā)布了“公平、包容、可靠與安全、透明、隱私與保障、負(fù)責(zé)”六個(gè)負(fù)責(zé)任的人工智能原則（Responsible AI Principles），隨后又發(fā)布了負(fù)責(zé)任的人工智能標(biāo)準(zhǔn)（Responsible AI Standards）將各項(xiàng)原則實(shí)施落地，并設(shè)置了治理架構(gòu)確保各團(tuán)隊(duì)把各項(xiàng)原則和標(biāo)準(zhǔn)落實(shí)到日常工作中。微軟也持續(xù)與全球的研究人員和學(xué)術(shù)機(jī)構(gòu)合作，不斷推進(jìn)負(fù)責(zé)任的人工智能的實(shí)踐和技術(shù)。

相關(guān)論文鏈接：

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

https://arxiv.org/abs/2103.14030

SPANN: Highly-efficient Billion-scale Approximate Nearest Neighbor Search

https://arxiv.org/abs/2111.08566

BEiT: BERT Pre-Training of Image Transformers

https://openreview.net/forum?id=p-BhZSz59o4

關(guān)注微軟科技視頻號(hào)

了解更多科技前沿資訊