91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

低功耗下,高能效AI加速器如何設(shè)計?

新思科技 ? 來源:新思科技 ? 2023-10-26 09:18 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

如果在數(shù)據(jù)中心和邊緣設(shè)備中部署上人工智能(AI)加速器,那么它們將能夠快速處理PB級的數(shù)據(jù)量,還能幫助克服傳統(tǒng)的馮·諾依曼瓶頸。在Chat GPT、高級駕駛輔助系統(tǒng)(ADAS)、攝像頭和傳感器等智能邊緣設(shè)備中,我們都能看到AI加速器的身影。

半導體領(lǐng)域,實現(xiàn)出色的性能功耗比永遠都是首要目標。AI加速器的能效比通用系統(tǒng)的能效通常會高出100倍甚至1000倍,但生成出色AI模型所需的算力資源每3.4個月就會翻一番。AI產(chǎn)生的能耗不容小覷,以GPT3為例,僅訓練這一個深度學習模型所產(chǎn)生的二氧化碳就高達500噸,相當于一輛普通燃油車行駛100多萬英里。

降低能耗不僅能夠盡量減少對環(huán)境的影響,還能降低運營成本,并在有限的功耗預(yù)算內(nèi)盡可能地提高性能,緩解熱挑戰(zhàn)。

本文將進一步討論開發(fā)者們?nèi)绾卫枚说蕉斯姆治鼋鉀Q方案,打造新一代更高效節(jié)能的AI加速器。

為十億門級以上設(shè)計優(yōu)化功耗

AI加速器的端到端節(jié)能方法必須從設(shè)計流程的初始階段開始,涵蓋架構(gòu)和微架構(gòu)層面,并一直延續(xù)到簽核階段。因此,AI芯片開發(fā)者需要利用架構(gòu)探索平臺,對具體訓練或推理應(yīng)用的功耗、性能和面積(PPA)進行權(quán)衡分析和評估,并主動識別后續(xù)分析的關(guān)鍵矢量。

由于AI硬件通常包括多個由數(shù)千個處理單元組成的大型陣列,因此十億門級以上設(shè)計需要進行多域軟硬件功耗驗證,盡可能降低能耗和漏電。然而,要想分析關(guān)鍵功耗模塊和時間窗口,需要先進的硬件加速系統(tǒng),以便運行數(shù)十億個循環(huán)并快速精確地實現(xiàn)多次迭代。只有在完成這一步后,寄存器傳輸級(RTL)功耗分析和物理實現(xiàn)工具才能有效地優(yōu)化動態(tài)(晶體管門開關(guān))功耗和靜態(tài)(漏電)功耗。

為了始終提供準確的結(jié)果,用于AI芯片設(shè)計的RTL功耗分析工具應(yīng)具備以下功能:

時序驅(qū)動型快速綜合:內(nèi)部功耗計算錯誤通常是基于扇出的快速綜合工具未能根據(jù)時序約束正確地確定單元大小。同后續(xù)的布局布線工具相同,RTL功耗分析工具中嵌入的快速綜合功能必須由時序驅(qū)動。

物理感知型快速綜合:RTL功耗分析工具應(yīng)該具備“物理感知”能力,能夠通過完成一次設(shè)計單元擺放以及全局布線就可以獲得準確的連線電容值。與基于扇出的方法不同,基于物理感知的電容估算能夠為每條連線提供唯一的準確值。

簽核質(zhì)量的功耗計算引擎:傳統(tǒng)的RTL功耗分析工具使用word-level邏輯推理進行快速綜合,這種方法只能采用啟發(fā)式算法來計算毛刺功耗,因此并不準確。要準確計算毛刺功耗(可能高達芯片總功耗的40%)并減少高度重復(fù)的處理單元,RTL功耗分析工具必須具備簽核質(zhì)量功耗分析引擎、網(wǎng)表級設(shè)計表示并集成時序計算引擎。

在完成RTL功耗分析和優(yōu)化后,便可使用物理實現(xiàn)(綜合和布局布線)工具來進一步優(yōu)化PPA。為確保可靠性、可擴展性以及良好的用戶體驗,這些實現(xiàn)工具應(yīng)包含統(tǒng)一的集成式數(shù)據(jù)模型架構(gòu)、交錯式引擎和統(tǒng)一的命令界面。同樣重要的是,實現(xiàn)工具應(yīng)能對先進節(jié)點效應(yīng)和毛刺功耗進行精確建模,從而加速工程變更命令(ECO)和最終設(shè)計收斂。

出色的能效與性能

新思科技提供全面的端到端功耗解決方案,幫助AI芯片開發(fā)者以經(jīng)濟高效的方式達成或超越充滿挑戰(zhàn)性的性能和能效目標,同時縮短產(chǎn)品上市時間。新思科技的Platform Architect用于設(shè)計流程的初始階段,能夠為AI芯片開發(fā)者提供SystemC事務(wù)級建模(TLM)工具和高效方法,幫助開發(fā)者快速地對復(fù)雜的芯片架構(gòu)進行建模、分析和優(yōu)化。新思科技ZeBu Empower是一款快速的功耗分析工具,用于AI芯片設(shè)計流程的下一階段:基于數(shù)億個循環(huán)來分析和調(diào)試軟件實際工作負載下的能耗。

許多業(yè)內(nèi)領(lǐng)先的半導體公司借助新思科技ZeBu Empower大幅降低了功耗,其中包括美國硅谷的AI芯片初創(chuàng)公司SiMa.ai,該公司致力于為智能邊緣設(shè)計高性能、低能耗的AI芯片。具體而言,該公司的SiMa.ai低功耗MLSoC實現(xiàn)了每瓦特幀率(FPS)提升2.5倍的成果。在2023年硅谷SNUG大會上,SiMa.ai公司的芯片開發(fā)總監(jiān)Sounil Biswas指出,流片后驗證結(jié)果表明,新思科技ZeBu Empower給出的數(shù)據(jù)與電路板的測量結(jié)果之間具有出色的相關(guān)性。

為了補充ZeBu Empower并助力實現(xiàn)低功耗RTL設(shè)計,新思科技提供了PrimePower RTL,這是一款RTL功耗分析與優(yōu)化工具,通過將時序驅(qū)動型綜合、物理感知型綜合與集成式計算引擎相結(jié)合,可以持續(xù)獲得準確的結(jié)果(與布線后實現(xiàn)的結(jié)果相比誤差在+/- 15%以內(nèi))。新思科技PrimePower RTL還提供分步指導,幫助AI芯片開發(fā)者進一步減少毛刺并降低總功耗。

新思科技的Fusion Compiler是一款綜合的集成式RTL-to-GDSII實現(xiàn)系統(tǒng),可幫助實現(xiàn)進一步的PPA優(yōu)化。在這之后,可以使用新思科技的黃金功耗簽核解決方案PrimePower對AI設(shè)計進行分析。新思科技的PrimePower通過了全球多家領(lǐng)先代工廠的認證,3nm工藝能夠在簽核時實現(xiàn)高精度,同SPICE的芯片測量的誤差極小。

為邊緣AI推理設(shè)計差異化芯片

AI加速器使許多熱門應(yīng)用能夠在幾毫秒內(nèi)快速分析海量信息并準確推斷結(jié)果。與此同時,實現(xiàn)出色的性能功耗比依然是芯片開發(fā)者的首要目標。這一點在邊緣領(lǐng)域尤為明顯,在該領(lǐng)域,為了縮小芯片尺寸并盡可能地降低功耗,性能通常會受到限制。

然而,這些限制也為半導體公司創(chuàng)造了新的機遇,讓半導體公司可以通過精確校準PPA來滿足低延遲、高帶寬應(yīng)用的特定要求,從而設(shè)計出差異化芯片。例如,自主導航應(yīng)用要求計算響應(yīng)延遲時間限制在20μs以內(nèi),而語音和視頻助手則要求能夠在10μs之內(nèi)理解語音關(guān)鍵詞,并在幾百毫秒內(nèi)理解手勢含義。要想成功實現(xiàn)PPA權(quán)衡,芯片開發(fā)者應(yīng)該采用整體性方法,利用端到端解決方案,從早期架構(gòu)探索到最后的黃金功耗簽核,持續(xù)優(yōu)化功耗。








審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 加速器
    +關(guān)注

    關(guān)注

    2

    文章

    839

    瀏覽量

    40106
  • 晶體管
    +關(guān)注

    關(guān)注

    78

    文章

    10396

    瀏覽量

    147771
  • 人工智能
    +關(guān)注

    關(guān)注

    1817

    文章

    50098

    瀏覽量

    265412
  • RTL
    RTL
    +關(guān)注

    關(guān)注

    1

    文章

    394

    瀏覽量

    62658
  • AI芯片
    +關(guān)注

    關(guān)注

    17

    文章

    2128

    瀏覽量

    36781

原文標題:邊緣端也要跑大模型:低功耗下,高能效AI加速器如何設(shè)計?

文章出處:【微信號:Synopsys_CN,微信公眾號:新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    TI AM62L經(jīng)典再進化!高能低功耗全新發(fā)布

    AM62x家族的降本之作,在性能和資源上做了裁剪,成本上做了優(yōu)化,延續(xù)AM62x的經(jīng)典基因,以更低門檻推進低功耗、高能的工業(yè)處理普及,助力開發(fā)者以高效方案應(yīng)對多樣化的需求。 米爾與
    發(fā)表于 03-06 17:44

    新品!高能,低功耗,TI AM62L經(jīng)典再進化

    AM62x家族的降本之作,在性能和資源上做了裁剪,成本上做了優(yōu)化,延續(xù)AM62x的經(jīng)典基因,以更低門檻推進低功耗、高能的工業(yè)處理普及,助力開發(fā)者以高效方案應(yīng)對多樣
    的頭像 發(fā)表于 03-06 08:04 ?245次閱讀
    新品!<b class='flag-5'>高能</b><b class='flag-5'>效</b>,<b class='flag-5'>低功耗</b>,TI AM62L經(jīng)典再進化

    使用NORDIC AI的好處

    原始傳感數(shù)據(jù),可顯著降低功耗、延長電池壽命。[Edge AI 概述; Nordic Edge AI 技術(shù)頁] 降低云依賴與時延 直接在設(shè)備上做推理,很多決策可以“本地實時”完成,
    發(fā)表于 01-31 23:16

    重磅合作!Quintauris 聯(lián)手 SiFive,加速 RISC-V 在嵌入式與 AI 領(lǐng)域落地

    之后,要打造的是高可靠性、高能還支持可擴展的 RISC-V 設(shè)計方案。而且合作的核心目標特別明確: 讓 RISC-V 處理在嵌入式、物聯(lián)網(wǎng)、AI 系統(tǒng)里更快普及; 用集成式 IP
    發(fā)表于 12-18 12:01

    專為邊緣而生:深度解析昆侖芯K100 AI加速卡,釋放128 TOPS極致能

    昆侖芯K100邊緣AI加速卡以75W超低功耗實現(xiàn)128 TOPS的INT8算力,重新定義邊緣推理能標準。其半高半長設(shè)計搭載8GB HBM內(nèi)存與256GB/s帶寬,支持INT8至FP3
    的頭像 發(fā)表于 12-14 11:12 ?2934次閱讀
    專為邊緣而生:深度解析昆侖芯K100 <b class='flag-5'>AI</b><b class='flag-5'>加速</b>卡,釋放128 TOPS極致能<b class='flag-5'>效</b>

    高能低功耗、小體積,炬芯科技發(fā)布全新CGM連續(xù)血糖監(jiān)測方案

    及數(shù)字健康設(shè)備提供小體積、低功耗、高能的解決方案 ,為醫(yī)療級連續(xù)血糖監(jiān)測系統(tǒng)提供可靠的硬件基礎(chǔ)。 隨著數(shù)字醫(yī)療與生理數(shù)據(jù)監(jiān)測需求不斷發(fā)展,傳統(tǒng)CGM設(shè)備在功耗、體積及無線傳輸性能上仍
    的頭像 發(fā)表于 12-01 16:57 ?757次閱讀
    <b class='flag-5'>高能</b><b class='flag-5'>效</b>、<b class='flag-5'>低功耗</b>、小體積,炬芯科技發(fā)布全新CGM連續(xù)血糖監(jiān)測方案

    邊緣計算中的AI加速器類型與應(yīng)用

    人工智能正在推動對更快速、更智能、更高效計算的需求。然而,隨著每秒產(chǎn)生海量數(shù)據(jù),將所有數(shù)據(jù)發(fā)送至云端處理已變得不切實際。這正是邊緣計算中AI加速器變得不可或缺的原因。這種專用硬件能夠直接在邊緣設(shè)備上
    的頭像 發(fā)表于 11-06 13:42 ?818次閱讀
    邊緣計算中的<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>類型與應(yīng)用

    亞馬遜云科技第三期創(chuàng)業(yè)加速器圓滿收官 助力初創(chuàng)釋放Agentic AI潛力 加速全球化進程

    北京——2025年10月28日 ,亞馬遜云科技第三期創(chuàng)業(yè)加速器項目圓滿收官。35家入營企業(yè)齊聚一堂,分享了各自的業(yè)務(wù)發(fā)展情況,以及參與本期加速器的收獲及體驗。第三期創(chuàng)業(yè)加速器持續(xù)聚焦AI
    的頭像 發(fā)表于 10-29 15:18 ?932次閱讀

    瑞薩電子RZ/V系列微處理助力邊緣AI開發(fā)

    邊緣AI越來越多地應(yīng)用于諸如工業(yè)攝像頭和公共設(shè)施攝像頭等嵌入式設(shè)備中,并要求嵌入式產(chǎn)品小型化且具有低功耗。瑞薩電子RZ/V系列微處理(MPU)內(nèi)置AI
    的頭像 發(fā)表于 09-23 10:31 ?894次閱讀
    瑞薩電子RZ/V系列微處理<b class='flag-5'>器</b>助力邊緣<b class='flag-5'>AI</b>開發(fā)

    Andes晶心科技推出新一代深度學習加速器

    高效能、低功耗 32/64 位 RISC-V 處理核與 AI 加速解決方案的領(lǐng)導供貨商—Andes晶心科技(Andes Technology)今日正式發(fā)表最新深度學習
    的頭像 發(fā)表于 08-20 17:43 ?2349次閱讀

    粒子加速器?——?科技前沿的核心裝置

    粒子加速器全稱“荷電粒子加速器”,是一種利用電磁場在高真空環(huán)境中對帶電粒子(如電子、質(zhì)子、離子)進行加速和控制,使其獲得高能量的特種裝置。粒子加速器
    的頭像 發(fā)表于 06-19 12:05 ?3601次閱讀
    粒子<b class='flag-5'>加速器</b>?——?科技前沿的核心裝置

    Analog Devices / Maxim Integrated MAX78002人工智能微控制數(shù)據(jù)手冊

    Analog Devices MAX78002人工智能微控制是支持神經(jīng)網(wǎng)絡(luò)的AI微控制。Analog Devices MAX78002可在超低功耗
    的頭像 發(fā)表于 06-18 15:19 ?856次閱讀

    MAX78000采用超低功耗卷積神經(jīng)網(wǎng)絡(luò)加速度計的人工智能微控制技術(shù)手冊

    人工智能(AI)需要超強的計算能力,而Maxim則大大降低了AI計算所需的功耗。MAX78000是一款新型的AI微控制,使神經(jīng)網(wǎng)絡(luò)能夠在互
    的頭像 發(fā)表于 05-08 11:42 ?987次閱讀
    MAX78000采用超<b class='flag-5'>低功耗</b>卷積神經(jīng)網(wǎng)絡(luò)<b class='flag-5'>加速</b>度計的人工智能微控制<b class='flag-5'>器</b>技術(shù)手冊

    MAX78002帶有低功耗卷積神經(jīng)網(wǎng)絡(luò)加速器的人工智能微控制技術(shù)手冊

    人工智能(AI)需要超強的計算能力,而Maxim則大大降低了AI計算所需的功耗。MAX78002是一款新型的AI微控制,使神經(jīng)網(wǎng)絡(luò)能夠在互
    的頭像 發(fā)表于 05-08 10:16 ?848次閱讀
    MAX78002帶有<b class='flag-5'>低功耗</b>卷積神經(jīng)網(wǎng)絡(luò)<b class='flag-5'>加速器</b>的人工智能微控制<b class='flag-5'>器</b>技術(shù)手冊

    嵌入式AI加速器DRP-AI 詳細介紹

    的嵌入式設(shè)備。此外,人工智能正在不斷發(fā)展,新的算法不時被開發(fā)出來。 在人工智能快速發(fā)展的過程中,瑞薩開發(fā)了人工智能加速器(DRP-AI)和軟件(DRP-AI翻譯),既提供高性能又提供
    的頭像 發(fā)表于 03-15 16:13 ?1807次閱讀
    嵌入式<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>DRP-<b class='flag-5'>AI</b> 詳細介紹