隨著AI與云計(jì)算等前沿技術(shù)的發(fā)展,全屋智能正從“以設(shè)備為中心”邁向“以空間為中心”的高階形態(tài),用戶越來越期待“走進(jìn)自己的家去操作設(shè)備”。
然而,當(dāng)前大部分智能家居產(chǎn)品普遍以獨(dú)立面板在App中呈現(xiàn),缺少一個直觀場景來展示家庭里的所有設(shè)備及其使用狀態(tài),用戶需反復(fù)切換不同界面來進(jìn)行操作,交互成本高。即便部分產(chǎn)品引入了3D可視化,其模型也相對粗糙,缺少動態(tài)環(huán)境的實(shí)時反饋(如光照、濕度、風(fēng)效等)。
為了讓用戶擁有更沉浸式的智能空間體驗(yàn),涂鴉智能推出基于機(jī)器人的3D全屋智能,顛覆傳統(tǒng)設(shè)備控制方式,構(gòu)建高保真、可交互的3D家庭場景,以三大核心維度重新定義智控體驗(yàn):
技術(shù)升級:AI驅(qū)動空間智能進(jìn)化。機(jī)器人+AI算法自動生成完整戶型圖,自研算法和多項(xiàng)核心能力實(shí)現(xiàn)智能設(shè)備復(fù)雜動態(tài)效果模擬。
場景升級:從單一控制到一鍵掌控。通過涂鴉標(biāo)準(zhǔn)化接入能力,支持設(shè)備在3D場景中快速實(shí)現(xiàn)智能聯(lián)動與一鍵實(shí)時控制。
體驗(yàn)升級:從設(shè)備列表到空間沉浸。用戶無需再在碎片化面板中切換操作,可在直觀的3D全景中體驗(yàn)沉浸式交互。
為了滿足看官們的好奇心,我們先奉上本次的核心能力視頻:
機(jī)器人建圖+On-App AI算法美化
自動生成家庭戶型圖
3D全屋智能的基礎(chǔ),是生成家庭戶型地圖。目前市面上的一些3D全屋智能產(chǎn)品,在戶型圖生成上主要有兩種方式:一種是用戶手動上傳,由算法或AI進(jìn)行數(shù)據(jù)識別和渲染,精準(zhǔn)美觀,但獲取戶型圖不易;另一種是用戶自畫戶型圖,操作繁瑣,比例尺不好掌握,用戶使用心智成本高。
基于此,涂鴉給出了更簡單的方案:有戶型圖的用戶,支持手動上傳,并由AI自動識別建模;沒有戶型圖的用戶,也無需困擾,涂鴉運(yùn)動子系統(tǒng)提供無縫解決方案:搭載該子系統(tǒng)的激光掃地機(jī)能夠自動探索建圖,通過SLAM算法生成點(diǎn)云數(shù)據(jù),自動生成家庭戶型圖,簡單便捷,比例準(zhǔn)確。
涂鴉運(yùn)動子系統(tǒng)基于TuyaOS架構(gòu),集成高效自主建圖、精準(zhǔn)定位與規(guī)劃算法,開發(fā)者可通過一站式技術(shù)矩陣實(shí)現(xiàn)感知-決策-執(zhí)行的全棧式閉環(huán),大幅降低移動智能硬件開發(fā)門檻,為3D全屋智能奠定堅(jiān)實(shí)基礎(chǔ)?!贝吝@里,看涂鴉運(yùn)動子系統(tǒng)更多核心技術(shù)能力。
雖然,機(jī)器人已經(jīng)能夠解決建圖的問題,但SLAM算法生成的點(diǎn)云地圖不夠規(guī)整,邊線會產(chǎn)生不規(guī)則鋸齒狀,在生成3D時影響整體美觀度。
為了解決戶型規(guī)整度問題,涂鴉技術(shù)團(tuán)隊(duì)經(jīng)過自研算法,對掃地機(jī)方案進(jìn)行更新,由原來使用opencv的方式對戶型進(jìn)行輪廓識別和形態(tài)學(xué)調(diào)整,轉(zhuǎn)變?yōu)槭褂?strong>特定掃地機(jī)戶型算法,最終完美解決了該問題。我們來看看美化前后有什么變化吧~

全新的掃地機(jī)戶型算法基于On-App AI技術(shù)架構(gòu),支持在App上實(shí)時生成戶型數(shù)據(jù),不僅能夠?qū)崿F(xiàn)戶型圖規(guī)整化處理,還能夠識別出對應(yīng)的房間通道(門)的位置,完全能夠支持3D全屋智控的進(jìn)階需求。
在此基礎(chǔ)上,涂鴉還支持多樓層3D全屋建模,滿足復(fù)雜空間結(jié)構(gòu)與場景下的智控需求。
在“真實(shí)”的Mini空間里
與智能設(shè)備無縫聯(lián)動
一個完整的“家”,建立戶型、家具、設(shè)備等靜態(tài)模型還遠(yuǎn)遠(yuǎn)不夠,實(shí)現(xiàn)與真實(shí)環(huán)境的交互體驗(yàn)才是我們的核心目標(biāo)。面對各類設(shè)備需要呈現(xiàn)的不同動態(tài)效果和模型難度,涂鴉給出了更逼真和人性化的方案,讓“所見即所控”真正落地,我們一起來感受下吧。
01
窗戶
為了讓整體戶型更加仿真,涂鴉在完全閉合的模型外墻中嵌入了窗戶——通過模型腐蝕外加反射器的能力,實(shí)現(xiàn)了逼真的反射與透視效果。此外,窗戶還將根據(jù)天氣預(yù)報應(yīng)用不同的效果。看~這就是您家的大落地窗。

02
全屋燈光(照明)
在3D全屋智控中,光反射是營造真實(shí)感的核心要素。為了模擬真實(shí)世界的光照效果,涂鴉基于自研Shader算法,深度優(yōu)化了光照反射模型,同時將光照模型通過設(shè)備聯(lián)動的方式,與涂鴉App家庭下的照明產(chǎn)品打通,用戶可以通過設(shè)備或者3D模型,實(shí)現(xiàn)虛擬場景與真實(shí)設(shè)備的無縫聯(lián)動。
03
空調(diào)風(fēng)效(大家電)
除了聯(lián)動照明產(chǎn)品給3D場景添加真實(shí)的光照反射外,大家電中的空調(diào)風(fēng)效也是一個極大的難點(diǎn)。為了模擬真實(shí)的空調(diào)出風(fēng)效果,如何讓空調(diào)出風(fēng)既具備流動感,又呈現(xiàn)光影層次,是一個編程難點(diǎn)。為了解決該問題,涂鴉透過在GPU上進(jìn)行編碼,利用GPU的算力來對風(fēng)的流動進(jìn)行物理模擬,從而創(chuàng)造出來一個可見、可感、可控的空調(diào)出風(fēng)效果。

04
窗簾&風(fēng)扇(小家電)
在窗簾的智控中,視覺表現(xiàn)遠(yuǎn)不止“開”與“關(guān)”兩個狀態(tài)——真正的挑戰(zhàn)在于如何真實(shí)還原其運(yùn)動過程中的褶皺與折疊動態(tài)。我們細(xì)致觀察了真實(shí)窗簾在滑軌牽引下的收放過程,捕捉其運(yùn)動規(guī)律,在3D場景中還原出了高度擬真的動態(tài)效果,達(dá)到如現(xiàn)實(shí)般流暢生動。

在風(fēng)扇的3D效果中,獨(dú)立控制扇葉與保護(hù)罩的旋轉(zhuǎn)邏輯也是相對棘手的問題。例如,用戶可能希望扇葉轉(zhuǎn)得更快一些,而保護(hù)罩保持靜止或低速轉(zhuǎn)動,這在整體模型中很難實(shí)現(xiàn)。為此,我們通過建模軟件對風(fēng)扇模型進(jìn)行部件拆分,為每個風(fēng)扇部件添加獨(dú)立可控的動畫,再將部件組合綁定,導(dǎo)出暴露至代碼中,即可通過邏輯精準(zhǔn)驅(qū)動各部件。無論是“扇葉狂轉(zhuǎn)、罩體靜止”,還是“扇葉不轉(zhuǎn),保護(hù)罩轉(zhuǎn)”,都能靈活實(shí)現(xiàn)。

05
溫濕度(傳感)
溫濕度傳感器作為家庭常見設(shè)備,如何在3D全屋場景中實(shí)現(xiàn)直觀、沉浸式的可視化呈現(xiàn),是設(shè)計(jì)與技術(shù)融合的關(guān)鍵挑戰(zhàn)。涂鴉通過深入探索與創(chuàng)新,巧妙對房間墻體疊加高光循環(huán)效果,模擬溫濕度信息在空間中的動態(tài)流動與滲透,讓抽象數(shù)值自然融入環(huán)境氛圍,實(shí)現(xiàn)溫濕度可見可感的沉浸式體驗(yàn)。

06
安防設(shè)備(IPC)
目前,安防設(shè)備基本上是每個家庭必備的智能設(shè)備之一。但在3D全屋智控場景中還原其核心能力——實(shí)時視頻流播放,卻是一項(xiàng)極具挑戰(zhàn)的技術(shù)工程。不僅要精準(zhǔn)呈現(xiàn)攝像頭的物理模型與視角特效,還要對視頻流進(jìn)行處理和播放,這涉及一系列的復(fù)雜能力集。
涂鴉機(jī)器人與IPC團(tuán)隊(duì)共同打造的高性能、高靈活的音視頻SDK【Nebula】,成為3D智控中視頻設(shè)備的核心技術(shù)底座,讓視頻流無縫嵌入3D場景,實(shí)現(xiàn)點(diǎn)擊即看的沉浸式安防體驗(yàn),真正讓3D不止于模型,更承載實(shí)時感知。

07
其他設(shè)備和聯(lián)動
智能家居產(chǎn)品種類繁多——從風(fēng)扇、門鎖到照明、空調(diào),每一種都需在3D全屋智控中實(shí)現(xiàn)精準(zhǔn)聯(lián)動。為此,涂鴉提供了一套標(biāo)準(zhǔn)化接入方案:
戶型圖:如果您已有戶型圖或戶型數(shù)據(jù),可通過涂鴉提供的方式直接無縫對接,獲得全屋智控渲染能力。
設(shè)備模型:基于涂鴉的DP協(xié)議,針對所有設(shè)備模型,只需提供DP能力映射集,即可在涂鴉小程序或者Web項(xiàng)目上,實(shí)現(xiàn)您對家庭設(shè)備的全屋控制。
后續(xù)涂鴉將持續(xù)對產(chǎn)品進(jìn)行深度打磨和體驗(yàn)提升,不斷探索行業(yè)能力的邊界。3D全屋智能還有更多的想象,涂鴉邀請開發(fā)者們,一起探索未來。
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
31092瀏覽量
222328 -
AI
+關(guān)注
關(guān)注
91文章
39819瀏覽量
301483 -
涂鴉智能
+關(guān)注
關(guān)注
7文章
312瀏覽量
20702
發(fā)布評論請先 登錄
人形機(jī)器人 3D 視覺路線之爭:激光雷達(dá)、雙目和 3D - ToF 誰更勝一籌?
再談低溫?zé)Y(jié)銀的應(yīng)用:從春晚四家機(jī)器人出鏡的幕后推手說起
高精度機(jī)器人控制的核心——基于 MYD-LT536 開發(fā)板的精密運(yùn)動控制方案
奧比中光領(lǐng)跑韓國機(jī)器人3D視覺市場
普渡科技推出3D感知AI掃地機(jī)器人PUDU MT1 Max
黑芝麻智能AI全棧機(jī)器人計(jì)算平臺榮膺國際大獎
基于NVIDIA AI的3D機(jī)器人感知與地圖構(gòu)建系統(tǒng)設(shè)計(jì)
涂鴉AI畫畫機(jī)器人開發(fā)方案
【「# ROS 2智能機(jī)器人開發(fā)實(shí)踐」閱讀體驗(yàn)】視覺實(shí)現(xiàn)的基礎(chǔ)算法的應(yīng)用
大象機(jī)器人攜手進(jìn)迭時空推出 RISC-V 全棧開源六軸機(jī)械臂產(chǎn)品
復(fù)合機(jī)器人是通過什么導(dǎo)航方式?
從 “執(zhí)行工具” 到 “智能伙伴”:工業(yè)機(jī)器人的 AI 進(jìn)化之路
TCL攜手INDEMIND重新定義家庭AI交互邊界
解碼“什么是具身智能工業(yè)機(jī)器人”
涂鴉3D全屋智能方案:基于機(jī)器人建圖+On-App AI算法美化,重新定義空間智控體驗(yàn)
評論