很多人在拍旅游照、寵物照、生活照的時(shí)候，總覺得成片效果平淡無(wú)趣，缺少氛圍感。想讓某個(gè)人物居中、給素材加特效，對(duì)手殘黨來說操作又極其復(fù)雜繁瑣，折騰老半天，耗時(shí)又耗精力。那有沒有一種簡(jiǎn)單易用的工具，能一鍵識(shí)別人/寵物并實(shí)現(xiàn)智能居中，點(diǎn)一下就能讓照片/視頻秒變質(zhì)感大片呢？

01

涂鴉助你一鍵生成氛圍感寫真

基于強(qiáng)大的On-App AI 技術(shù)架構(gòu)，涂鴉重磅推出AI 寫真+視頻前景開發(fā)方案，結(jié)合智能硬件，幫助完善一站式服務(wù)鏈路。它利用移動(dòng)端的 AI 能力，能自動(dòng)檢測(cè)+識(shí)別圖片/視頻中的目標(biāo)主體，并通過智能算法快速計(jì)算主體中心，實(shí)現(xiàn)精準(zhǔn)居中。結(jié)合云端下發(fā)的前景模板（包括靜態(tài)和動(dòng)態(tài)模板），對(duì)圖片進(jìn)行編輯、編碼和封裝，最終一鍵生成趣味十足、主體突出的“寫真級(jí)”圖片或視頻。

在提供卓越視覺效果的同時(shí)，也兼顧了實(shí)時(shí)性、隱私安全和成本效益，是圖片/視頻編輯的創(chuàng)新選擇。

（On-App AI整體架構(gòu)圖）

比如：搭載 IPC 的寵物喂食器，在捕捉到寵物撒潑賣萌或出糗的瞬間后，手機(jī)就能同步收到相關(guān)照片或視頻，上傳至涂鴉賦能 App ，就可一鍵識(shí)別寵物并實(shí)現(xiàn)畫面居中。而且涂鴉提供前景模板庫(kù)，可供用戶自由選擇和添加，完成編輯后即可快速導(dǎo)出。整個(gè)過程簡(jiǎn)單方便，相較傳統(tǒng)剪輯功能更智能。目前，該方案可廣泛應(yīng)用于任何需要突出主體、增加氛圍的場(chǎng)景中。

我們提供下方參考案例，幫助大家更直觀了解渲染效果：

這是抓拍到的狗狗原圖，稍顯單調(diào)普通：

• 智能居中，并一鍵添加前景模板后，照片畫面更有氛圍感：

• 再給圖片配上動(dòng)效，效果更加生動(dòng)，讓狗狗的顏值也瞬間 UP：

同時(shí)，也可以將動(dòng)效圖片生成視頻

02

深度解析核心技術(shù)+亮點(diǎn)

1、核心技術(shù)是什么？

在部署移動(dòng)端模型的時(shí)候，我們采用了 TensorFlow Lite 方案，它具備高效推理、低延遲、低功耗優(yōu)勢(shì)，且支持本地離線運(yùn)行。主體居中突出+精美前景模板，幫助用戶輕松提升內(nèi)容質(zhì)感。

（云端下發(fā)前景模板流程示意圖）

智能識(shí)別與居中：結(jié)合輕量級(jí) AI 目標(biāo)檢測(cè)模型EfficientDet-D0，系統(tǒng)可實(shí)現(xiàn)毫秒級(jí)識(shí)別主體位置和類別的速度，并自動(dòng)將主體調(diào)整至畫面中心；

前景特效管理與合成：涂鴉采用了自研的媒體合成器，云端提供前景模板庫(kù)，支持動(dòng)態(tài)配置、更新和下發(fā)，不僅能生成全新的圖片和視頻，還支持合成音頻。

注：后期涂鴉將支持開發(fā)者自定義上傳前景模板，敬請(qǐng)期待～

2、技術(shù)亮點(diǎn)

2.1 更靈活的 AI 架構(gòu)：輕量化和動(dòng)態(tài)化

輕量級(jí)檢測(cè)模型

涂鴉采用專門優(yōu)化移動(dòng)端的輕量級(jí)對(duì)象檢測(cè)模型EfficientDet-D0，模型參數(shù)少、計(jì)算量小、推理速度快，可以精準(zhǔn)檢測(cè)圖片/視頻中指定主體（如寵物、人）的位置與類別。同時(shí)，基于智能分析快速篩除無(wú)主體片段，有效降低計(jì)算負(fù)擔(dān)，提升處理效率。

模型動(dòng)態(tài)化

采用按需加載的動(dòng)態(tài)模型管理機(jī)制，支持模型在線下載、更新與部署，始終確保使用最優(yōu)模型版本，同時(shí)減少初始安裝包體積，提高運(yùn)行效率。

（模型檢測(cè)與動(dòng)態(tài)化運(yùn)行流程示意圖）

2.2 更優(yōu)的用戶體驗(yàn)：實(shí)時(shí)性和高效率

實(shí)時(shí)交互處理

依托高效的本地計(jì)算，涂鴉可確保流暢無(wú)延遲的用戶體驗(yàn)，無(wú)需依賴網(wǎng)絡(luò)，即可實(shí)現(xiàn)快速響應(yīng)與實(shí)時(shí)處理。

智能算法提升效果

在媒體合成過程中，當(dāng)檢測(cè)到主體的中心和前景模板的中心偏移超過閾值時(shí)，系統(tǒng)會(huì)自動(dòng)縮放主體確保居中；如果一張圖片擁有多個(gè)主體，我們會(huì)直接合成，不做主體居中優(yōu)化，避免僅展示部分內(nèi)容，以確保最佳的合成效果。

微調(diào)模型提高準(zhǔn)確度

涂鴉花費(fèi)數(shù)年，累計(jì)了海量不同場(chǎng)景、不同光照條件下的主體圖片，在完成數(shù)據(jù)脫敏后，再對(duì)模型訓(xùn)練進(jìn)行微調(diào)，確保模型推理過程中的泛化能力。

（媒體處理流程示意圖）

2.3 更安全的計(jì)算能力：低成本和隱私保護(hù)

降低處理成本

相比云端處理，本地化處理成本低、更節(jié)約云端負(fù)荷，算力消耗每萬(wàn)次減少 25 TFLOPs，節(jié)省成本10%左右。

保護(hù)隱私安全

所有處理均在本地完成，可顯著降低時(shí)延、提高響應(yīng)速度，同時(shí)避免數(shù)據(jù)外傳，有效保護(hù)用戶隱私，構(gòu)建更安全、高效的計(jì)算環(huán)境。

（本地化處理流程示意圖）