91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

美格智能AIMO智能體+DeepSeek-R1模型,AI應用的iPhone時刻來了

美格智能 ? 2025-01-28 15:50 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

導語:

AI大模型從云端下沉至終端設備,一場關于效率、隱私與智能化的革命悄然展開。作為全球領先的無線通信模組及解決方案提供商,美格智能憑借其高算力AI模組矩陣與端側大模型部署經驗,結合最新發(fā)布的AIMO智能體產品,正加速開發(fā)DeepSeek-R1模型在端側落地應用及端云結合整體方案,助力國產優(yōu)質模型滲透千行百業(yè),共塑智能化未來。

AIMO智能體硬件加速迭代,AI硬件與大模型協同優(yōu)化

美格智能基于高通驍龍高性能計算平臺打造的AIMO智能體產品,集成48Tops AI算力,支持混合精度計算(INT4/FP8)與異構計算架構(8核CPU+Adreno GPU+Hexagon NPU),可高效承載7B參數級大模型的端側推理需求。其板載16GB LPDDR5X內存與256GB UFS 4.0存儲,為模型動態(tài)加載與實時數據處理提供硬件保障。2025年美格智能將推出單顆模組算力達到100Tops的高階AI硬件,遠期規(guī)劃AI模組算力超過200Tops。

wKgZO2eV-OWAQfzeAARc7OEm4tk894.png

美格智能已成功在高算力AI模組上部署LLaMA-2、通義千問Qwen、ChatGLM2等大模型,驗證了從模型壓縮(量化、剪枝)到框架適配(ONNX/TFLite)的全流程能力。美格智能自研的MEIG AI算法部署平臺、AIMO智能體、模型優(yōu)化器等,可大幅縮短模型落地周期,支持開發(fā)者通過Python快速完成應用開發(fā),并支持開發(fā)者進行模型訓練。

AIMO智能體內置的高算力AI模組的異構計算架構,具備協同加速能力,支持模型并行計算與低功耗運行,LPDDR5X內存提供超過60GB/s帶寬,滿足7B模型推理時的高吞吐需求。內置專用AI加速引擎支持INT4/FP16混合精度計算,與DeepSeek-R1模型的量化格式(INT4/FP8)高度適配。

DeepSeek-R1低調亮相,蒸餾小模型超越OpenAI o1-mini

DeepSeek-R1采用強化學習邏輯,驅動通過多階段RL訓練(基礎模型→RL→微調迭代),DeepSeek-R1在數學、代碼、邏輯推理任務中表現比肩國際頂尖模型,如AIME數學競賽準確率達71%。DeepSeek-R1提供輕量化適配:DeepSeek-R1系列提供1.5B至70B參數蒸餾版本,其中7B模型經INT4量化后僅需2-4GB存儲,完美適配終端設備內存限制。DeepSeek-R1的動態(tài)思維鏈,支持數萬字級內部推理過程,解決復雜問題時能自主拆解步驟并驗證邏輯,輸出可解釋性更強的結果。

wKgZPGeV-OaABRNJAAMYGXMVSNA332.png

DeepSeek在開源DeepSeek-R1-Zero和DeepSeek-R1兩個660B模型的同時,通過DeepSeek-R1的輸出,蒸餾了6個小模型開源給社區(qū),其中32B和70B模型在多項能力上實現了對標OpenAI o1-mini的效果。除32B和70B模型能力強悍外,DeepSeek-R1同步開源1.5B、7B、8B、14B等多個蒸餾小模型,極大擴展了終端側模型部署的可選性,并支持用戶進行“模型蒸餾”,明確允許用戶利用模型輸出、通過模型蒸餾等方式訓練其他模型。

以DeepSeek-R1 7B模型的端側適配性舉例,該模型具備輕量化設計特征,經蒸餾和量化后模型體積壓縮至2-4GB,很好的匹配移動端存儲限制。模型具備低延遲推理能力,在高算力模組平臺上,可實現10-20 tokens/s的生成速度。模型支持分塊推理和稀疏計算,結合美格智能高算力AI模組的能效優(yōu)化,能實現極低的功耗控制。

算力與模型的技術迭代,AI應用的iPhone時刻即將帶來

美格智能研發(fā)團隊結合AIMO智能體、高算力AI模組的異構計算能力,結合多款模型量化、部署、功耗優(yōu)化Know-how,正在加速開發(fā)DeepSeek-R1模型在端側落地應用及端云結合整體方案。

wKgZO2eV-OiAS-j8AAPHEBsvcUw941.png

?超低功耗

首先持續(xù)對DeepSeek-R1模型的推理延遲進行優(yōu)化,保證模型在高算力模組軟硬件環(huán)境下的超低功耗運行。

?開發(fā)工具鏈

不斷進行工具鏈打通,模組內嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式,大模型適配周期將大幅縮短。

?端云協同

結合動態(tài)卸載技術,根據任務復雜度自動分配端側與邊緣計算資源,保障實時性與能效平衡。為客戶提供端云協同模板,面向開發(fā)者提供動態(tài)任務分配框架,簡單配置即可實現“本地優(yōu)先,云端兜底”。

通過高階AI硬件與DeepSeek-R1模型的能力結合,將突破端側AI的能力邊界。7B模型支持長文本理解、代碼生成等傳統(tǒng)端側小模型無法完成的任務。多模態(tài)融合能力,高算力AI模組的ISP+AI能力結合DeepSeek-R1模型,可實現端側圖文問答、視頻內容解析(如實時字幕生成)。個性化持續(xù)學習,通過AI模組的邊緣計算能力,支持聯邦學習框架下的本地模型微調(如用戶習慣適配)。

在算力+模型的不斷迭代背后,端側AI及端云協同的商業(yè)模式和商業(yè)競爭力都將面臨重構,DeepSeek-R1的發(fā)布,更是會極大刺激AI下游應用,如工業(yè)智能化、汽車Agent、機器人、個人大模型等應用場景的指數級增長,AI應用即將迎來屬于自己的iPhone時刻。

?基于DeepSeek-R1的AI Agent開發(fā)應用

結合美格智能自研的AIMO智能體及DeepSeek-R1模型的基礎能力,開發(fā)面向工業(yè)智能化、座艙智能體、智能無人機、機器人等領域的AI Agent應用。

?端側AI能力包

推出面向AI場景的訂閱服務,針對中小型的B端或C端客戶,推出“端側AI能力包”,與大模型廠商合作,針對Token輸入/輸出數量、不同類型模型調用、流量費用等領域,推出一體化端側AI Turn-key方案。

?智能化硬件增值

商業(yè)模式方面,各類高AI配置硬件疊加端側模型加載或云端模型接入,為高算力硬件帶來更多智能化增值。

?自建GPU服務器與個性化專屬大模型開發(fā)

美格研發(fā)團隊持續(xù)拓展通用模型的部署通路,并不斷向客戶開放相關教程和源代碼,并且以最新的高算力計算平臺搭建GPU服務器,可用于端側模型訓練和支持客戶開發(fā)專屬大模型,結合DeepSeek-R1及其寬松、開放式的MIT授權協議,千行百業(yè)的個性化模型開發(fā)和應用即將爆發(fā)。

2025年,端側AI、端云協同等各類AI應用的iPhone時刻將加速到來。DeepSeek-R1的出現,某種程度上改變了我們對于Scale的認知,但也不會帶來云端算力的需求減少甚至崩塌,相反優(yōu)質模型對于AI應用場景的極大刺激,也會推動云端算力需求的提升,端側不斷進化,云端負責兜底,端云結合終將是不變的方向。

美格智能也將持續(xù)以高算力AI模組、AI Agent應用、大模型部署服務、端側AI服務整體解決方案為基石,攜手大模型廠商、生態(tài)伙伴等不斷推動類似DeepSeek-R1等優(yōu)秀模型的應用拓展,讓普惠、自主的高階AI實現應有的社會價值。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    91

    文章

    39940

    瀏覽量

    301568
  • 智能體
    +關注

    關注

    1

    文章

    483

    瀏覽量

    11608
  • 美格智能
    +關注

    關注

    2

    文章

    320

    瀏覽量

    12387
  • 大模型
    +關注

    關注

    2

    文章

    3662

    瀏覽量

    5197
  • DeepSeek
    +關注

    關注

    2

    文章

    836

    瀏覽量

    3286
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    百度騰訊搶灘布局!DeepSeek-R1升級和開源背后,國產AI的逆襲之路

    電子發(fā)燒友網報道(文/李彎彎)日前,DeepSeek官方宣布DeepSeek-R1模型已完成小版本試升級,當前版本為DeepSeek-R1-0528。次日,
    的頭像 發(fā)表于 06-03 06:34 ?6209次閱讀

    HarmonyOS AI輔助編程工具(CodeGenie)智能問答

    DeepSeek-R1智能,快速體驗智能問答能力。 一、對話示例 在對話區(qū)域輸入需要查詢的問題,開始問答。示例如下: ArkTS如何實現多線程? 二、指定上下文問答 在對話框中輸入@
    發(fā)表于 08-15 11:07

    速看!EASY-EAI教你離線部署Deepseek R1模型

    和自然語言推理等復雜任務。作為國產AI大數據模型的代表,憑借其卓越的推理能力和高效的文本生成技術,在全球人工智能領域引發(fā)廣泛關注。本文主要說明DeepSeek-R1
    的頭像 發(fā)表于 07-25 15:22 ?1392次閱讀
    速看!EASY-EAI教你離線部署<b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>

    【「DeepSeek 核心技術揭秘」閱讀體驗】--全書概覽

    講解Deepseek的使用方法 第三章 深入剖析Deepseek-V3的模型架構、訓練框架、推理階段優(yōu)化、后訓練優(yōu)化等關鍵技術 第四章關于DeepSeek-R1的技術剖析 第五章 從
    發(fā)表于 07-21 00:04

    【「DeepSeek 核心技術揭秘」閱讀體驗】書籍介紹+第一章讀后心得

    實現三重超越;而對開源生態(tài)、技術趨勢的前瞻探討,則印證了DeepSeek“用開源擊穿技術壁壘”的初心。 當DeepSeek-R1以60TPS的生成速度刷新認知,當蒸餾模型讓尖端AI跑進
    發(fā)表于 07-17 11:59

    信而泰×DeepSeekAI推理引擎驅動網絡智能診斷邁向 “自愈”時代

    DeepSeek-R1:強大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基礎技術研究有限公司開發(fā)的新一代AI
    發(fā)表于 07-16 15:29

    Arm Neoverse N2平臺實現DeepSeek-R1滿血版部署

    今年年初,開源大語言模型 (LLM) DeepSeek 在國內外人工智能 (AI) LLM 領域掀起熱議。它在模型架構和訓練、推理方法上實現
    的頭像 發(fā)表于 07-03 14:37 ?1260次閱讀
    Arm Neoverse N2平臺實現<b class='flag-5'>DeepSeek-R1</b>滿血版部署

    【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術:DeepSeek 核心技術揭秘

    2025年年初,DeepSeek 成為全球人工智能AI)領域的焦點,其DeepSeek-V3 和DeepSeek-R1 版本在行業(yè)內引發(fā)了
    發(fā)表于 06-09 14:38

    【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型1B和7B)

    一、DeepSeek簡介 DeepSeek是由中國深度求索公司開發(fā)的開源大語言模型系列,其研發(fā)始于2023年,目標是為學術界和產業(yè)界提供高效可控的AI基礎設施。
    發(fā)表于 04-21 00:39

    首創(chuàng)開源架構,天璣AI開發(fā)套件讓端側AI模型接入得心應手

    。 端側AI應用開發(fā)往往需要調用各種各樣的大模型能力,需要更豐富、類型更多的模型適配。為此,Gen-AI Model Hub全面擴容,模型
    發(fā)表于 04-13 19:52

    如何基于Android 14在i.MX95 EVK上運行Deepseek-R1-1.5B和性能

    圖標: 3. Download deepseek-R1 models through PocketPal 1. 打開 pocketPal 并單擊右下角的“轉到模型”按鈕。 2. 確保您可以訪問
    發(fā)表于 04-04 06:59

    香橙派發(fā)布OrangePi RV2本地部署Deepseek-R1蒸餾模型指南

    繼香橙派昇騰系列產品、OrangePi5系列產品完成與DeepSeek模型的深度適配之后,香橙派日前官方發(fā)布OrangePiRV2運行Deepseek-R1蒸餾模型實操指南。Orang
    的頭像 發(fā)表于 03-28 11:55 ?1714次閱讀
    香橙派發(fā)布OrangePi RV2本地部署<b class='flag-5'>Deepseek-R1</b>蒸餾<b class='flag-5'>模型</b>指南

    AI筑基,智領未來 | DeepSeek-R1本地大模型賦能邁威通信智能化轉型

    在人工智能技術迅猛發(fā)展的浪潮中,邁威通信始終秉承創(chuàng)新驅動發(fā)展的理念,積極探索AI技術在企業(yè)級場景中的深度應用。近日,公司成功完成基于DeepSeek-R1模型的本地化部署,標志著其在
    的頭像 發(fā)表于 03-26 10:26 ?1051次閱讀
    <b class='flag-5'>AI</b>筑基,智領未來 | <b class='flag-5'>DeepSeek-R1</b>本地大<b class='flag-5'>模型</b>賦能邁威通信<b class='flag-5'>智能</b>化轉型

    如何使用OpenVINO運行DeepSeek-R1蒸餾模型

    DeepSeek-R1在春節(jié)期間引發(fā)了全球科技界的熱度,DeepSeek-R1 是由 DeepSeek 開發(fā)的開源推理模型,用于解決需要邏輯推理、數學問題解決和實時決策的任務。
    的頭像 發(fā)表于 03-12 13:45 ?2398次閱讀
    如何使用OpenVINO運行<b class='flag-5'>DeepSeek-R1</b>蒸餾<b class='flag-5'>模型</b>

    在英特爾哪吒開發(fā)套件上部署DeepSeek-R1的實現方式

    隨著人工智能技術的快速發(fā)展,企業(yè)對 AI 模型的部署方式有了更多選擇。本地部署 DeepSeek-R1 模型具有以下顯著優(yōu)勢,使其成為許多企
    的頭像 發(fā)表于 03-12 13:38 ?1151次閱讀
    在英特爾哪吒開發(fā)套件上部署<b class='flag-5'>DeepSeek-R1</b>的實現方式