多模態(tài)感知+豆包大模型！家居端側(cè)智能升級
電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，在火山引擎2025春季FORCE原動力大會上，星宸科技股份有限公司董事副總經(jīng)理陳立敬談到，在人工智能技術飛速發(fā)展的時代，多模態(tài)感知與大模型的融合成為推動各行業(yè)變革的關鍵力量。星宸科技與豆包大模型的合作，將這一技術趨勢落實到實際應用場景中，在智能家居、可穿戴設備以及連鎖店等領域引發(fā)了深刻變革。
智能家居升級
陳立敬指出：“智能家居2.0需要大模型大腦”。在智能家居領域，多模態(tài)感知與豆包大模型的結(jié)合實現(xiàn)了從基礎連接控制到智能理解決策的跨越升級。傳統(tǒng)的智能家居1.0時代，設備僅能實現(xiàn)簡單的連接與控制功能，而如今智能家居2.0時代，星宸科技借助多模態(tài)感知技術，為設備賦予了“感知”能力。以SSC305DE產(chǎn)品為例，其具備1TOPs + 2*CA32 + CM4的計算能力，支持多模態(tài)感知且功耗較低，能接入雙攝像頭，搭配豆包大模型，構建起全面的智能看護體系。
在居家跌倒監(jiān)測場景中，端側(cè)設備通過視覺和語音等多模態(tài)信息初步識別，將有效幀、有效信息發(fā)送至云端豆包大模型進行確認。豆包大模型憑借強大的視覺理解和語音交互能力，不僅提高了事件識別率，避免誤報、漏報，還能在確認跌倒后主動交互，及時通知家人和物業(yè)，保障老人安全。
此外，智能家居還接入豆包大模型實現(xiàn)問醫(yī)問藥、情感陪伴等功能。用戶在家中就能通過設備獲取專業(yè)醫(yī)療建議，與設備進行自然流暢的情感交流，滿足情感陪伴需求。同時，通過在板端搭建RAG應用，結(jié)合云端大模型，打造智能管家和私人知識庫，實現(xiàn)對個人私有數(shù)據(jù)的高效管理與智能問答。
大模型如何改變可穿戴場景
可穿戴設備領域同樣因多模態(tài)感知與豆包大模型的結(jié)合而煥然一新。星宸科技的SSC309QL 小型化、低功耗產(chǎn)品，擁有15TOPs算力，適用于智能眼鏡、智能胸牌等設備，為多模態(tài)交互提供了硬件基礎。
智能眼鏡成為個人豆包智能助理的最佳載體，在多個場景發(fā)揮重要作用。在學習場景中，智能眼鏡通過多模態(tài)感知獲取學習資料、學生的學習狀態(tài)等信息，結(jié)合豆包大模型的知識儲備，為用戶提供學習輔導和翻譯服務；在工作場景中，可輔助會議記錄、商務溝通和客戶管理，成為高效的工作助理；在日常生活中，能實現(xiàn)快速拍照、錄像、直播等功能，還可根據(jù)用戶定義的感興趣區(qū)域或物體，智能判斷場景并截取精彩瞬間，生成集錦。在運動和旅游場景中，用戶無需動手操作手機，智能眼鏡就能實時感知環(huán)境，結(jié)合豆包大模型提供導航、景點介紹等服務，真正實現(xiàn)解放雙手，提升用戶體驗。
大模型應用之連鎖店提效
在連鎖店領域，多模態(tài)感知與豆包大模型的應用助力企業(yè)實現(xiàn)高效運營和精準管理。星宸科技的SSC388G多模態(tài)大算力產(chǎn)品，支持3路sensor輸入，具備強大的多模態(tài)分析能力，配合豆包大模型，為連鎖店帶來全方位的提效方案。
在安防合規(guī)監(jiān)測方面，通過實時行為監(jiān)測與分析，能快速識別違法違規(guī)及可疑行為，并聯(lián)動安防系統(tǒng)發(fā)出警報，保障店鋪安全；在客流分析優(yōu)化上，利用多模態(tài)數(shù)據(jù)進行客流預測，根據(jù)員工經(jīng)驗和能力合理排班，減少人力浪費，同時通過追蹤客戶移動路徑，識別高流量區(qū)域，優(yōu)化貨架布局，提升排隊及結(jié)算效率；在運營管理方面，可識別貨架空置率，自動觸發(fā)補貨工單，還能判斷價簽與促銷是否合規(guī)；在員工效率提升方面，實現(xiàn)動作標準化檢測及工時統(tǒng)計。
以沃爾瑪為例，通過應用相關技術，利用AI攝像頭將盜竊損失減少35%，借助多模態(tài)分析根據(jù)攝像頭數(shù)據(jù)生成決策建議，利用熱力圖調(diào)整陳列，使高價值區(qū)域轉(zhuǎn)化率提升18%；其他便利店也通過視覺補貨系統(tǒng)降低缺貨率27%，充分展現(xiàn)了該技術在連鎖店運營中的巨大價值。
寫在最后
多模態(tài)感知與豆包大模型的結(jié)合，為智能家居、可穿戴設備和連鎖店等行業(yè)帶來了顯著的升級與變革。隨著技術的不斷發(fā)展和完善，這一技術組合有望在更多領域得到應用，持續(xù)推動各行業(yè)向智能化、高效化方向邁進，為人們的生活和生產(chǎn)方式帶來更大的改變。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
發(fā)布評論請先 登錄
相關推薦
熱點推薦
瑞芯微RK182X全面適配主流多模態(tài)大模型
在全球端側(cè)人工智能加速滲透的今天， “生態(tài)適配廣度”與“場景落地深度”正成為衡量端側(cè)AI平臺核心價值的新標尺。瑞芯微基于全球首顆3D創(chuàng)新架構
端側(cè)大模型上車：從“語音助手”到“車內(nèi) AI 智能體”的躍遷革命
生活空間”的可能性。當7B級大模型在車規(guī)級芯片上流暢運行，當多模態(tài)交互（語音+視覺+傳感）成為標配，車載助手已從“被動響應”升級為“主動決策”，成為車內(nèi)真正的“數(shù)字大腦”。這場由
多模態(tài)感知大模型驅(qū)動的密閉空間自主勘探系統(tǒng)的應用與未來發(fā)展
? ? 多模態(tài)感知大模型驅(qū)動的密閉空間自主勘探系統(tǒng) ? ?北京華盛恒輝多模態(tài)
易百納攜多模態(tài)AI桌面機器人——Kubee Robot亮相2025火山引擎冬季FORCE大會
的 Kubee Robot AI 桌面機器人亮相，該產(chǎn)品搭載海思 AI 主控與星閃技術，以 HongOU Lite 模組為內(nèi)核，深度融合豆包大模型能力，實現(xiàn)多模態(tài)
集成端側(cè)AI的可穿戴多模態(tài)生理參數(shù)采集設備是腦機接口家用的未來？
HUIYING集成端側(cè)AI的可穿戴多模態(tài)生理參數(shù)采集設備系統(tǒng)概述隨著對實時生理監(jiān)測與人機交互需求的增長，傳統(tǒng)可穿戴設備在多
米爾RK3576部署端側(cè)多模態(tài)多輪對話,6TOPS算力驅(qū)動30億參數(shù)LLM
“看圖說話+語音問答”的融合交互。
五、結(jié)論與未來發(fā)展方向如果說 “大模型上云” 是 AI 的 “星辰大?！?，那么 “多模態(tài)落地端側(cè)” 就
發(fā)表于 09-05 17:25
基于米爾瑞芯微RK3576開發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評測
關鍵詞：瑞芯微 RK3576、NPU（神經(jīng)網(wǎng)絡處理器）、端側(cè)小語言模型（SLM）、多模態(tài) LLM、邊緣 AI 部署、開發(fā)板、RKLLM隨著
發(fā)表于 08-29 18:08
當主控SoC遇上AI大模型，物奇智能藍牙芯片驅(qū)動端側(cè)AI新場景
，成為端側(cè)AI落地的重要載體，將超越傳統(tǒng)音頻播放范疇，演變?yōu)槿藱C交互的關鍵接口，帶來前所未有的智能體驗。 借助AI大模型技術，AI耳機與AI眼鏡集成了
“端云＋多模態(tài)”新范式：《移遠通信AI大模型技術方案白皮書》正式發(fā)布
大模型技術方案的核心優(yōu)勢、落地路徑及標桿案例，為行業(yè)智能化升級提供了可借鑒的實踐框架。洞察技術演進：AI大模型邁入“端云協(xié)同+
德賽西威端側(cè)大模型重塑智能座艙體驗
智能汽車產(chǎn)業(yè)發(fā)展正從規(guī)模擴張向質(zhì)量躍升轉(zhuǎn)變，其中大模型驅(qū)動的智能化升級將成為產(chǎn)業(yè)突破的核心引擎。在日前召開的2025上海車展國際汽車關鍵技術論壇上，德賽西威技術中心人工
愛芯通元NPU適配Qwen2.5-VL-3B視覺多模態(tài)大模型
熟悉愛芯通元NPU的網(wǎng)友很清楚，從去年開始我們在端側(cè)多模態(tài)大模型適配上一直處于主動緊跟的節(jié)奏。先后適配了國內(nèi)最早開源的
?？低暟l(fā)布多模態(tài)大模型AI融合巡檢超腦
基于?？涤^瀾大模型技術體系，海康威視推出新一代多模態(tài)大模型AI融合巡檢超腦，全面升級人、車、行為、事件等算法，為行業(yè)帶來全新的
首創(chuàng)開源架構，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應手
的自有模型移植，使首字詞生態(tài)速度比云端方案提升70%，賦能絕影多模態(tài)智能座艙強大的端側(cè)運行能力，
發(fā)表于 04-13 19:52
移遠通信智能模組全面接入多模態(tài)AI大模型，重塑智能交互新體驗
全系智能模組產(chǎn)品已全面接入火山引擎豆包VLM（視覺語言）多模態(tài)AI大模型。這一突破性進展表明，搭載移遠任意
發(fā)表于 03-21 14:12
?532次閱讀
移遠通信智能模組全面接入多模態(tài)AI大模型，重塑智能交互新體驗
智能模組產(chǎn)品已全面接入火山引擎豆包VLM（視覺語言）多模態(tài)AI大模型。這一突破性進展表明，搭載移遠任意智
工商網(wǎng)監(jiān)
評論