AI正在成為新的UI，科技和人的關(guān)系也因此被重新定義。從邊緣到云端，從數(shù)字空間到物理世界，AI已經(jīng)融進(jìn)手機(jī)、PC、眼鏡、汽車(chē)等智能終端，融進(jìn)我們每一次看、觸、說(shuō)、動(dòng)的自然瞬間。在這樣的變革中，高通正與生態(tài)伙伴一起，讓終端設(shè)備從“跑應(yīng)用的工具”，進(jìn)化為能夠理解、學(xué)習(xí)、并提前感知用戶需求的個(gè)人智能體——讓每臺(tái)設(shè)備都更貼心、更聰明，也更懂你。

歡迎來(lái)到《高朋滿座話未來(lái)》，本期我們特邀小米集團(tuán)合伙人、總裁盧偉冰先生，一同聆聽(tīng)他的創(chuàng)新實(shí)踐與戰(zhàn)略思考。

借助第五代驍龍8至尊版的端側(cè)AI能力，我們讓影像AI更高效，也讓拍照這件事，更簡(jiǎn)單?！∶准瘓F(tuán)合伙人、總裁盧偉冰

Xiaomi 17 Ultra徠卡版的「徠卡一瞬」功能，如何把驍龍平臺(tái)的NPU算力與小米影調(diào)美學(xué)聯(lián)動(dòng)，讓手機(jī)不只“拍得準(zhǔn)”，更能“拍得動(dòng)人”？

盧偉冰：我們從Xiaomi 12S Ultra首次與徠卡合作開(kāi)始，雙方就達(dá)成了影像觀的共識(shí)「超越人眼，感知人心」，這意味著我們理想中的影像風(fēng)格，需要強(qiáng)大的光學(xué)能力，將光學(xué)問(wèn)題交還給光學(xué)設(shè)計(jì)解決，更要在畫(huà)質(zhì)、色調(diào)、光影等方面還原真實(shí)，讓計(jì)算攝影盡量少的無(wú)中生有，盡量多的錦上添花，讓照片比現(xiàn)實(shí)好看“一點(diǎn)點(diǎn)”。

一百多年前，徠卡工程師Oscar Barnack將電影膠片以橫向滾動(dòng)的方式嵌入U(xiǎn)r-Leica相機(jī)，打造出世界上第一臺(tái)35mm照相機(jī)，也締造了如今的36x24mm“全畫(huà)幅”。

今天，Xiaomi 17 Ultra徠卡版將溯源徠卡的百年歷史，結(jié)合最新的端側(cè)大模型技術(shù)，重塑兩款傳奇相機(jī)的經(jīng)典畫(huà)質(zhì)，打造出受到非常多專業(yè)用戶的喜愛(ài)的「徠卡一瞬」功能。

我們?cè)趶瓶∕3+MONOPAN50模式中，模擬真實(shí)膠片的畫(huà)質(zhì)，對(duì)Leica MONOPAN 50膠片的色彩響應(yīng)、影調(diào)、顆粒和細(xì)節(jié)進(jìn)行了數(shù)字建模?；谠瓘S膠片的色譜響應(yīng)曲線，對(duì)RGB三個(gè)通道進(jìn)行單獨(dú)調(diào)整，模仿銀鹽顆粒物理層面的感光特性，并通過(guò)大量膠片實(shí)拍測(cè)試和對(duì)比，確保二者的一致性。它完美還原了MONOPAN膠片對(duì)不同顏色的響應(yīng)曲線，其所呈現(xiàn)的黑白效果細(xì)膩柔和，完全摒棄了手機(jī)常見(jiàn)的“算法味”。

而針對(duì)膠片顆粒模擬，我們用了動(dòng)態(tài)算法逐像素鋪設(shè)顆粒，完美還原了ISO 50膠片細(xì)膩又真實(shí)的質(zhì)感。如果仔細(xì)觀察，每張照片的顆粒分布都不一樣，并且顆粒的可見(jiàn)度會(huì)隨著畫(huà)面的明暗而變化。

徠卡M9是徠卡第一款全畫(huà)幅M相機(jī)，也是最著名的CCD相機(jī)，直至今日都是徠卡愛(ài)好者和收藏家追捧的神器。我們基于徠卡M9實(shí)機(jī)采集的數(shù)十萬(wàn)張照片，訓(xùn)練了一套端側(cè)「RAW-to-RGB」Style Transfer模型，不只可以還原M9濃郁的影調(diào)和色彩，還能模仿相機(jī)光學(xué)柔和的細(xì)節(jié)質(zhì)感。

為了保留最大的氛圍感，我們專門(mén)選擇了Leica M9鎖定日光白平衡的畫(huà)面效果，無(wú)論是燭光的暖光氛圍，還是日光陰影中強(qiáng)烈的藍(lán)色調(diào)，都可以完美還原。在采集Leica M9真機(jī)照片的過(guò)程中，我們覆蓋了從明到暗、從冷到暖的各種場(chǎng)景，讓AI模型可以從語(yǔ)義上理解不同物體在不同光線下會(huì)被Leica M9還原成什么顏色，甚至同一張照片內(nèi)也可以分辨天空和其他藍(lán)色物體的區(qū)別。這是傳統(tǒng)濾鏡完全無(wú)法實(shí)現(xiàn)的。而在影調(diào)方面，更是完整還原了Leica M9所渲染的明暗關(guān)系，不會(huì)存在計(jì)算攝影常見(jiàn)的亮度反轉(zhuǎn)情況。

不論是M9模式的全新自研端側(cè)模型，還是M3+MONOPAN50模式的黑白圖像處理引擎，我們都充分利用第五代驍龍8至尊版的NPU高性能、低功耗的特性，實(shí)現(xiàn)更為高效、高品質(zhì)的圖片輸出，讓M9模式呈現(xiàn)出強(qiáng)烈的CCD色彩反差和M3張力極強(qiáng)的古典膠片質(zhì)感。

除了利用端側(cè)的算法和算力，我們還在徠卡一瞬的M9模式中加入了端到端AI大模型的處理，只要在相冊(cè)中點(diǎn)按處理按鈕，即可將RAW數(shù)據(jù)直連云端，將照片進(jìn)行畫(huà)質(zhì)增強(qiáng)，讓照片更具相機(jī)味和光學(xué)味。我們就是要把復(fù)雜的算力藏在簡(jiǎn)單的快門(mén)背后，你只管按，剩下的交給Xiaomi17 Ultra徠卡版。

在小米人車(chē)家的生態(tài)里，當(dāng)智能體AI升級(jí)為系統(tǒng)級(jí)能力，小米如何讓手機(jī)、汽車(chē)、AI眼鏡、家居里的多個(gè)Agent組隊(duì)協(xié)同，搞出智能體 “組隊(duì)開(kāi)掛” 的全場(chǎng)景智能體驗(yàn)？

盧偉冰：以往多數(shù)智能家居系統(tǒng)依賴預(yù)設(shè)規(guī)則引擎，用戶必須手動(dòng)配置，例如“溫度＞30℃就開(kāi)空調(diào)”等觸發(fā)條件，使整個(gè)智能家居交互過(guò)程顯得既機(jī)械又繁瑣。如果能把大模型的能力接入進(jìn)來(lái)，則會(huì)簡(jiǎn)單且智能很多。比如你直接說(shuō) “當(dāng)我讀書(shū)時(shí)，幫我打開(kāi)臺(tái)燈，播放舒緩的音樂(lè)”，系統(tǒng)在識(shí)別到讀書(shū)動(dòng)作時(shí)就會(huì)自動(dòng)完成操作。

我們?cè)?5年底剛剛在GitHub開(kāi)源了我們的Xiaomi Miloco智能家居未來(lái)探索方案，率先探索由大模型驅(qū)動(dòng)全屋智能生活?；赬iaomi MiMo-VL-Miloco端側(cè)視覺(jué)語(yǔ)言模型，用戶可以用自然語(yǔ)言跟智能家居系統(tǒng)對(duì)話溝通，經(jīng)過(guò)大模型的推理計(jì)算，自動(dòng)完成家庭生活中的各類智能需求和規(guī)則，實(shí)現(xiàn)更廣泛、更具創(chuàng)意的智能聯(lián)動(dòng)。

也歡迎對(duì)智能家居感興趣的極客朋友們來(lái)試試，和我們一起推動(dòng)全屋智能行業(yè)，向著更開(kāi)放、更智能、更貼合用戶需求的方向發(fā)展。

如果端側(cè)AI深度學(xué)習(xí)您的工作習(xí)慣，您最希望它自動(dòng)幫您完成哪件繁瑣事，以便讓您有更多時(shí)間精力去做其他想做的事？

盧偉冰：我最希望他能幫我開(kāi)會(huì)，如果端側(cè)AI能夠成為我的思維替身，熟悉我的習(xí)慣和歷史決策傾向，在重要不緊急的會(huì)議中幫我總結(jié)重點(diǎn)和整理決策項(xiàng)，在緊急不重要的會(huì)上直接幫我做決策，我就能騰出更多的時(shí)間來(lái)思考更重要的事情，感覺(jué)還挺有未來(lái)感的。