LeapFive
從“云端排隊(duì)”到“擁有私人 Co-Pilot”,邊緣AI也能行!
DeepSeek 問(wèn)答響應(yīng)又超時(shí)了?
“無(wú)需機(jī)房,無(wú)需服務(wù)器,一枚U盤(pán)即可驅(qū)動(dòng)DeepSeek大模型?” 是的,我們做到了!
躍昉科技,作為國(guó)內(nèi)領(lǐng)先的RISC-V架構(gòu)SoC芯片公司,成功將DeepSeek大模型本地化運(yùn)行,以U盤(pán)形態(tài)重新定義AI計(jì)算的使用方式。
AMC(AI Mini Computer)由躍昉科技基于自研RISC-V芯片打造,通過(guò)USB 直連主機(jī),兼容多種操作系統(tǒng),支持本地化人工智能推理應(yīng)用部署,如基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的視覺(jué)應(yīng)用。現(xiàn)在,AMC又有了大模型應(yīng)用的加持,不依賴云端、不受網(wǎng)絡(luò)波動(dòng),即插即用,隨時(shí)推理。讓普通電腦秒變AI工作站,讓AI隨時(shí)待命,快速響應(yīng),成為你的專(zhuān)屬智能助手(Co-Pilot)!
小身材藏著大機(jī)會(huì)|“可用”到“好用”的進(jìn)行時(shí)
即插即用,無(wú)需服務(wù)器,USB接入,10秒完成部署。
3W超低功耗,計(jì)算性能表現(xiàn)與模型本身,都具備優(yōu)化潛力。
本地私有知識(shí)庫(kù),保護(hù)數(shù)據(jù)隱私,隨身攜帶,安全可控。
網(wǎng)頁(yè)本地化訪問(wèn)(測(cè)試版),相比云端排隊(duì)、等待響應(yīng),你的AI助手隨時(shí)在線。

*已經(jīng)實(shí)際部署運(yùn)行成功的模型
UI 界面:設(shè)計(jì)簡(jiǎn)潔直觀,用戶可快速上手,無(wú)需復(fù)雜配置,Less is More。
OTA + 場(chǎng)景化模型,開(kāi)啟邊緣AI計(jì)算新范式!
在 AI 計(jì)算邁向多場(chǎng)景應(yīng)用的今天,開(kāi)發(fā)者希望更靈活地訓(xùn)練和部署模型,用戶則期待AI能夠精準(zhǔn)適配個(gè)性化需求。然而,傳統(tǒng)AI計(jì)算依賴云端,高算力成本、網(wǎng)絡(luò)延遲、數(shù)據(jù)隱私等問(wèn)題,使其難以真正落地到邊緣多樣化應(yīng)用場(chǎng)景。
部署DeepSeek到AMC的過(guò)程,也引發(fā)了我們更深層的思考并發(fā)現(xiàn):DeepSeek 的小型化、低成本、邊緣設(shè)備 OTA(Over the Air 空中升級(jí)) 特性,有機(jī)會(huì)成為邊緣AI計(jì)算全新的應(yīng)用落地方法,推動(dòng)AI計(jì)算從云端走向邊緣,讓AI適配更精細(xì)、更靈活地適配本地化應(yīng)用。

“大而全”的模型并不適用于邊緣AI應(yīng)用,應(yīng)該按場(chǎng)景的需要做更適配、更精巧、更高效的模型
邊緣 AI 計(jì)算的核心在于精準(zhǔn)解決特定場(chǎng)景問(wèn)題,那么合適的模型從何而來(lái)?我們認(rèn)為可以通過(guò)開(kāi)放的場(chǎng)景化模型市場(chǎng),吸引更多的開(kāi)發(fā)者加入進(jìn)來(lái),針對(duì)教育、工業(yè)、辦公、個(gè)人助手等不同需求,訓(xùn)練更精巧的 AI 模型,以適配本地場(chǎng)景化的應(yīng)用需求。
OTA有可能成為AI場(chǎng)景動(dòng)態(tài)適配的標(biāo)準(zhǔn)方式
傳統(tǒng)OTA僅用于遠(yuǎn)程軟件升級(jí),如果考慮邊緣AI基于場(chǎng)景化的應(yīng)用,則OTA就需要一個(gè)新增的按需拉取和部署AI模型的能力,使邊緣設(shè)備盡管在硬件資源限制條件下,仍可以通過(guò)動(dòng)態(tài)的模型選擇,得到較好的AI交互體驗(yàn)。
商業(yè)模式也將有革新機(jī)會(huì),邊緣AI的生態(tài)將創(chuàng)造更高價(jià)值
“OTA + 場(chǎng)景化模型”這樣的新范式,將為邊緣AI計(jì)算構(gòu)建開(kāi)放的,可訂閱、可迭代的模型市場(chǎng)提供可行性。用戶可以低成本試用AI模型,再按需訂閱,而開(kāi)發(fā)者則可以通過(guò)市場(chǎng)提供AI模型,并接受用戶的反饋不斷優(yōu)化模型體驗(yàn),形成邊緣AI計(jì)算的正向循環(huán),加速AI在邊緣端的落地應(yīng)用。
我們認(rèn)為未來(lái)的AI計(jì)算,不應(yīng)該只存在于云端之上,更應(yīng)該真正地屬于個(gè)人!
而對(duì)于個(gè)人用戶來(lái)說(shuō),專(zhuān)屬AI 將可以變成個(gè)人成長(zhǎng)的長(zhǎng)期伙伴
每個(gè)人的知識(shí)、經(jīng)驗(yàn)、決策方式都是獨(dú)一無(wú)二的,所以AI應(yīng)用也應(yīng)該能做到個(gè)性化的應(yīng)用。AMC的隨身攜帶可以讓AI在不同場(chǎng)景中適應(yīng)用戶需求,即時(shí)響應(yīng)、智能輔助。與此同時(shí),AMC通過(guò)長(zhǎng)期數(shù)據(jù)存儲(chǔ)與學(xué)習(xí),不斷沉淀、優(yōu)化,逐步構(gòu)建屬于個(gè)人的Digital Twins(數(shù)字孿生),讓AI計(jì)算真正理解,持續(xù)成長(zhǎng),成為個(gè)人的長(zhǎng)期智慧資產(chǎn)。
離線運(yùn)行,多場(chǎng)景隨時(shí)調(diào)用,無(wú)論辦公、學(xué)習(xí)還是工業(yè)應(yīng)用,AI即插即用,不依賴云端。
存儲(chǔ)與回傳,依托AMC本體32GB的存儲(chǔ)能力,使用過(guò)程中的數(shù)據(jù)可本地化存儲(chǔ),也可主動(dòng)同步到個(gè)人主機(jī),形成專(zhuān)屬AI記憶 。
讓AI模型個(gè)性化成長(zhǎng),成為“最懂你的聰明助手”并且隨時(shí)隨地即時(shí)響應(yīng)。
從 “大而全” 到 “小而精”,我們看到了AMC在AI計(jì)算領(lǐng)域的潛力,有望讓AI計(jì)算變得更精準(zhǔn)、更高效。場(chǎng)景化模型 OTA能讓開(kāi)發(fā)者更快構(gòu)建AI,用戶更自由地使用AI,推動(dòng)AI計(jì)算從通用向定制、從固定向靈活、從單一向多元發(fā)展,真正賦能千行百業(yè)。
躍昉科技,依托RISC-V計(jì)算架構(gòu),不斷探索芯片、邊緣AI計(jì)算與智能互聯(lián)的創(chuàng)新融合,加速推動(dòng)國(guó)產(chǎn)AI計(jì)算自主化。我們相信,未來(lái)的AI計(jì)算不再是一種昂貴的資源,而是普惠的能力。個(gè)性化的智能,是一股驅(qū)動(dòng)世界躍向更智能未來(lái)的核心動(dòng)力!
廣東躍昉科技有限公司聚焦研發(fā)基于RISC-V架構(gòu)的SoC芯片產(chǎn)品及系統(tǒng)解決方案,并提供從操作系統(tǒng)到云平臺(tái)的全?;A(chǔ)智能軟件服務(wù),通過(guò)融合人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等交叉領(lǐng)域技術(shù)為中國(guó)數(shù)字經(jīng)濟(jì)的創(chuàng)新應(yīng)用賦能。
躍昉科技作為RISC-V架構(gòu)SoC芯片設(shè)計(jì)及產(chǎn)業(yè)應(yīng)用的開(kāi)拓者,已推出系列基于RISC-V架構(gòu)的高性能SoC芯片及產(chǎn)品,覆蓋AIoT邊端物聯(lián)、控制和計(jì)算等應(yīng)用領(lǐng)域,集高效能計(jì)算資源、豐富工業(yè)接口、穩(wěn)定可靠品質(zhì)等特性于一體。依托于全棧技術(shù)能力,躍昉科技正持續(xù)深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領(lǐng)域,旨在為客戶帶來(lái)專(zhuān)業(yè)化、高品質(zhì)的產(chǎn)品和服務(wù)。
-
RISC-V
+關(guān)注
關(guān)注
48文章
2888瀏覽量
53050 -
躍昉科技
+關(guān)注
關(guān)注
0文章
85瀏覽量
3189 -
大模型
+關(guān)注
關(guān)注
2文章
3651瀏覽量
5194 -
DeepSeek
+關(guān)注
關(guān)注
2文章
835瀏覽量
3276
原文標(biāo)題:RISC-V計(jì)算新突破!躍昉AMC將DeepSeek大模型裝進(jìn)口袋
文章出處:【微信號(hào):躍昉科技LeapFive,微信公眾號(hào):躍昉科技LeapFive】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
如何在ZYNQ本地部署DeepSeek模型
躍昉科技與米立科技達(dá)成戰(zhàn)略合作
發(fā)布元服務(wù)配置本地化基礎(chǔ)信息(應(yīng)用名稱(chēng)、圖標(biāo))
廣和通成功部署DeepSeek-R1-0528-Qwen3-8B模型
本地部署openWebUI + ollama+DeepSeek 打造智能知識(shí)庫(kù)并實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)
ElfBoard技術(shù)實(shí)戰(zhàn)|ELF 2開(kāi)發(fā)板本地部署DeepSeek大模型的完整指南
躍昉科技推動(dòng)數(shù)字化云平臺(tái)落地應(yīng)用
DeepSeek R1模型本地部署與產(chǎn)品接入實(shí)操
SL1680 SoC本地運(yùn)行DeepSeek R1 1.5B大模型
軟通動(dòng)力助力黑龍江大學(xué)完成DeepSeek大模型本地化部署
中科馭數(shù)高性能網(wǎng)卡產(chǎn)品 成就DeepSeek推理模型網(wǎng)絡(luò)底座
AI筑基,智領(lǐng)未來(lái) | DeepSeek-R1本地大模型賦能邁威通信智能化轉(zhuǎn)型
兆瀚DeepSeek一體機(jī)全新升級(jí):內(nèi)置Agent開(kāi)發(fā)平臺(tái),加速行業(yè)AI應(yīng)用落地
躍昉科技實(shí)現(xiàn)DeepSeek大模型本地化運(yùn)行
評(píng)論