通過(guò)一張簡(jiǎn)單的食物照片你能看到什么？當(dāng)時(shí)和你一起吃飯的人？用餐的那個(gè)餐館播放的爵士樂(lè)？或者是懷念那一口美味的，自己卻做不出吃不到的家鄉(xiāng)菜？

Facebook最新研究，使用AI技術(shù)，只需要一張食物的圖片就可以洞悉它的烹飪方法。

該系統(tǒng)通過(guò)新穎的架構(gòu)預(yù)測(cè)成分作為集合，在不強(qiáng)加任何順序的情況下對(duì)其依賴(lài)性進(jìn)行建模，然后通過(guò)同時(shí)處理圖像及其推斷成分來(lái)生成烹飪指令。

AI變身大廚：看一眼就知道這道菜怎么做的

一份優(yōu)秀的菜譜不僅能夠?qū)懬宄淞?，還要有清晰的烹飪步驟，例如大火爆炒幾分鐘，小火慢燉幾分鐘，是切絲還是切塊等等。

之前，傳統(tǒng)的做法是將圖片轉(zhuǎn)圖譜問(wèn)題看做一種“檢索任務(wù)”，即根據(jù)圖片的相似度從食譜譜數(shù)據(jù)集中匹配烹飪方案。

這類(lèi)系統(tǒng)的性能在很大程度上取決于數(shù)據(jù)集的大小和多樣性，以及圖片的質(zhì)量。如果數(shù)據(jù)集中壓根沒(méi)有圖片對(duì)應(yīng)食譜的時(shí)候，顯然這個(gè)系統(tǒng)非常失敗。

將圖片到食譜看成條件生成問(wèn)題可以很好的解決傳統(tǒng)系統(tǒng)的難題。換句話說(shuō)，與直接的圖片匹配不同，后者更多的是預(yù)測(cè)配料的成分，然后根據(jù)配料和其對(duì)應(yīng)的美食圖片生成烹飪步驟。

更重要的進(jìn)步：除了食譜，之后可能還能識(shí)別卡路里

從食品圖片到菜譜，需要獲得超越僅僅是可見(jiàn)的圖片之外的信息，這對(duì)于當(dāng)前的計(jì)算機(jī)視覺(jué)系統(tǒng)無(wú)疑是一個(gè)巨大挑戰(zhàn)。

與單純理解自然圖像相比，視覺(jué)成分預(yù)測(cè)需要的還有高級(jí)推理和先驗(yàn)知識(shí)，例如，羊角面包中含有黃油。 因?yàn)槭称肪哂斜容^高的類(lèi)別內(nèi)可變性 intra-class variability，食物的形態(tài)在烹飪過(guò)程中發(fā)生改變，一道煮熟的菜肴和生的原料的樣子可能天差地別。

逆烹飪的實(shí)現(xiàn)是邁向更廣泛的食品理解系統(tǒng)的第一步，接下來(lái)也許就可以通過(guò)照片實(shí)現(xiàn)系統(tǒng)對(duì)于食物的卡路里估算和自動(dòng)創(chuàng)建食譜。

成分預(yù)測(cè)也可以用于解決更廣泛的問(wèn)題，例如實(shí)現(xiàn)圖像到集合的預(yù)測(cè)。