91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大模型時(shí)代,國(guó)產(chǎn)GPU面臨哪些挑戰(zhàn)

Carol Li ? 來(lái)源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-04-03 01:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)隨著人工智能技術(shù)的快速發(fā)展,對(duì)GPU計(jì)算能力的需求也越來(lái)越高。國(guó)內(nèi)企業(yè)也正在不斷提升GPU性能,以滿足日益增長(zhǎng)的應(yīng)用需求。然而,相較于國(guó)際巨頭,國(guó)內(nèi)GPU仍然存在差距,國(guó)產(chǎn)GPU在不斷成長(zhǎng)的過(guò)程中也存在諸多挑戰(zhàn)。

在大模型訓(xùn)練上存在差距

大語(yǔ)言模型是基于深度學(xué)習(xí)的技術(shù)。這些模型通過(guò)在海量文本數(shù)據(jù)上的訓(xùn)練,學(xué)習(xí)語(yǔ)言的語(yǔ)法、語(yǔ)境和語(yǔ)義等多層次的信息,用于理解和生成自然語(yǔ)言文本。大語(yǔ)言模型是自然語(yǔ)言處理(NLP)領(lǐng)域中的一個(gè)重要分支,應(yīng)用于文本生成、分類、情感分析等多種任務(wù)。

深度學(xué)習(xí)是現(xiàn)代機(jī)器學(xué)習(xí)領(lǐng)域的一種強(qiáng)大的算法,它可以在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、游戲AI等各種應(yīng)用領(lǐng)域取得驚人的成果。然而,深度學(xué)習(xí)對(duì)計(jì)算幾硬件的要求非常高,通常需要使用GPU進(jìn)行大規(guī)模訓(xùn)練。在使用GPU進(jìn)行深度學(xué)習(xí)時(shí),一個(gè)常見(jiàn)的問(wèn)題就是選擇單精度還是雙精度。

浮點(diǎn)數(shù)是一種用于表示實(shí)數(shù)的數(shù)值格式,它包括符號(hào)位、指數(shù)位和尾數(shù)位三部分。通過(guò)這三部分,浮點(diǎn)數(shù)可以表示非常大或非常小的數(shù),同時(shí)保持一定的精度。

單精度和雙精度是指浮點(diǎn)數(shù)在計(jì)算機(jī)中的存儲(chǔ)方式和精度。單精度通常使用32位(4字節(jié))來(lái)存儲(chǔ)一個(gè)浮點(diǎn)數(shù),而雙精度則使用64位(8字節(jié))來(lái)存儲(chǔ)。由于雙精度使用了更多的位數(shù),因此它可以表示更大范圍的數(shù)值,并具有更高的精度。

大模型訓(xùn)練需要處理高顆粒度的信息,因此對(duì)于用于大模型訓(xùn)練的GPU芯片處理信息的精細(xì)度和算力速度要求更高,現(xiàn)階段,國(guó)產(chǎn)GPU在支持大模型訓(xùn)練的能力方面相對(duì)來(lái)說(shuō)還較差。

不同于多媒體和圖形處理的單精度浮點(diǎn)計(jì)算(FP32)計(jì)算需求,雙精度浮點(diǎn)計(jì)算能力FP64是進(jìn)行高算力計(jì)算的硬性指標(biāo)。英偉達(dá)的A100同時(shí)具備上述兩類能力,而國(guó)內(nèi)大多GPU只能處理單精度浮點(diǎn)計(jì)算。

從目前的信息來(lái)看,海光信息的協(xié)處理器DCU)能夠支持FP64雙精度浮點(diǎn)運(yùn)算,海光DCU屬于GPGPU 的一種,采用“類CUDA”通用并行計(jì)算架構(gòu)。據(jù)該公司介紹,其DCU產(chǎn)品能夠完整支持大模型訓(xùn)練。不過(guò)相比于英偉達(dá)的A100性能只有其60%。

另外,景嘉微表示面向AI 訓(xùn)練、AI推理、科學(xué)計(jì)算等應(yīng)用領(lǐng)域研發(fā)成功的景宏系列,支持INT8、FP16、FP32、FP64等混合精度運(yùn)算,該產(chǎn)品在大模型的訓(xùn)練上或許也可以期待一下。

在軟件和生態(tài)方面存在差距

除上述情況以外,國(guó)產(chǎn)GPU在軟件和生態(tài)方面與全球領(lǐng)先品牌相比,也存在一定的差距。軟件工具鏈的完善度方面,全球領(lǐng)先的GPU廠商已經(jīng)構(gòu)建了完整的軟件工具鏈,包括編譯器、調(diào)試器、性能分析工具等,可以方便地支持開(kāi)發(fā)人員進(jìn)行GPU程序的開(kāi)發(fā)、調(diào)試和優(yōu)化。而國(guó)產(chǎn)GPU在這方面還需要進(jìn)一步完善,以滿足用戶的多樣化需求。

生態(tài)系統(tǒng)的成熟度方面,全球GPU市場(chǎng)已經(jīng)形成了較為成熟的生態(tài)系統(tǒng),涵蓋了各種應(yīng)用領(lǐng)域和場(chǎng)景。然而,國(guó)產(chǎn)GPU在生態(tài)系統(tǒng)建設(shè)方面尚處于起步階段,缺乏足夠的應(yīng)用支持和市場(chǎng)認(rèn)可。這導(dǎo)致國(guó)產(chǎn)GPU在市場(chǎng)上的競(jìng)爭(zhēng)力相對(duì)較弱,難以與全球領(lǐng)先品牌抗衡。

近些年可以明顯的看到,國(guó)產(chǎn)PGU企業(yè)也正在這些方面不斷努力。在軟件支持方面,國(guó)產(chǎn)GPU企業(yè)正在積極與主流操作系統(tǒng)、開(kāi)發(fā)環(huán)境以及圖形處理軟件等進(jìn)行適配,確保用戶能夠流暢地使用各種應(yīng)用軟件。同時(shí),一些企業(yè)還在推動(dòng)GPU在人工智能、云計(jì)算等新興領(lǐng)域的應(yīng)用,為國(guó)產(chǎn)GPU生態(tài)注入新的活力。

在驅(qū)動(dòng)程序優(yōu)化方面,國(guó)產(chǎn)GPU企業(yè)也在加大投入力度,不斷提升驅(qū)動(dòng)程序的性能和穩(wěn)定性。通過(guò)優(yōu)化驅(qū)動(dòng)程序,可以充分發(fā)揮GPU的性能優(yōu)勢(shì),提升整體計(jì)算效率。

此外,國(guó)產(chǎn)GPU企業(yè)還在積極探索與各種應(yīng)用場(chǎng)景的深度融合。例如,在游戲、圖形設(shè)計(jì)、視頻渲染等領(lǐng)域,國(guó)產(chǎn)GPU正在與相關(guān)企業(yè)合作,共同推動(dòng)相關(guān)應(yīng)用的發(fā)展。這種深度融合不僅有助于提升國(guó)產(chǎn)GPU的市場(chǎng)競(jìng)爭(zhēng)力,也有助于推動(dòng)整個(gè)產(chǎn)業(yè)的進(jìn)步。

寫(xiě)在最后

近些年國(guó)產(chǎn)GPU正在蓬勃發(fā)展,不過(guò)相較于國(guó)際巨頭,仍然存在較大差距。近年來(lái),大模型快速發(fā)展,國(guó)產(chǎn)GPU在大模型訓(xùn)練方面的不足也凸顯出來(lái)。不過(guò)也可以看到,目前國(guó)產(chǎn)GPU企業(yè)都在積極朝大模型方向布局,包括訓(xùn)練和推理。另外軟件和生態(tài)建設(shè)也在加速推進(jìn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5199

    瀏覽量

    135527
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3659

    瀏覽量

    5196
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    成都匯陽(yáng)投資關(guān)于國(guó)產(chǎn)開(kāi)源模型持續(xù)突破,國(guó)產(chǎn)AI 競(jìng)爭(zhēng)力增強(qiáng)

    ? ? ? ?國(guó)產(chǎn)開(kāi)源模型領(lǐng)跑 ,AI 生態(tài)有望加速繁榮 根據(jù)獨(dú)立 AI 基準(zhǔn)測(cè)試與分析平臺(tái) Artificial Analysis 最新榜單 , 國(guó)產(chǎn)模型 KimiK2Thinkin
    的頭像 發(fā)表于 11-24 14:01 ?577次閱讀

    首款全國(guó)產(chǎn)通用GPU芯片發(fā)布 沐曦集成推出曦云C600

    沐曦集成電路(南京)有限公司近日正式發(fā)布了首款全國(guó)產(chǎn)通用GPU——曦云C600,這標(biāo)志著國(guó)產(chǎn)高性能GPU實(shí)現(xiàn)歷史性突破。 據(jù)新華日?qǐng)?bào)報(bào)道顯示,沐曦發(fā)布的曦云C600集成了大容量存儲(chǔ)與多
    的頭像 發(fā)表于 10-19 20:04 ?4.6w次閱讀

    適應(yīng)邊緣AI全新時(shí)代GPU架構(gòu)

    電子發(fā)燒友網(wǎng)站提供《適應(yīng)邊緣AI全新時(shí)代GPU架構(gòu).pdf》資料免費(fèi)下載
    發(fā)表于 09-15 16:42 ?47次下載

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI芯片的需求和挑戰(zhàn)

    當(dāng)今社會(huì),AI已經(jīng)發(fā)展很迅速了,但是你了解AI的發(fā)展歷程嗎?本章作者將為我們打開(kāi)AI的發(fā)展歷程以及需求和挑戰(zhàn)的面紗。 從2017年開(kāi)始生成式AI開(kāi)創(chuàng)了新的時(shí)代,經(jīng)歷了三次熱潮和兩次低谷。 生成式
    發(fā)表于 09-12 16:07

    如何在Ray分布式計(jì)算框架下集成NVIDIA Nsight Systems進(jìn)行GPU性能分析

    在大語(yǔ)言模型的強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程中,GPU 性能優(yōu)化至關(guān)重要。隨著模型規(guī)模不斷擴(kuò)大,如何高效地分析和優(yōu)化 GPU 性能成為開(kāi)發(fā)者面臨的主要
    的頭像 發(fā)表于 07-23 10:34 ?2425次閱讀
    如何在Ray分布式計(jì)算框架下集成NVIDIA Nsight Systems進(jìn)行<b class='flag-5'>GPU</b>性能分析

    FOPLP工藝面臨挑戰(zhàn)

    FOPLP 技術(shù)目前仍面臨諸多挑戰(zhàn),包括:芯片偏移、面板翹曲、RDL工藝能力、配套設(shè)備和材料、市場(chǎng)應(yīng)用等方面。
    的頭像 發(fā)表于 07-21 10:19 ?1558次閱讀
    FOPLP工藝<b class='flag-5'>面臨</b>的<b class='flag-5'>挑戰(zhàn)</b>

    別讓 GPU 故障拖后腿,捷智算GPU維修室來(lái)救場(chǎng)!

    ,GPU也常面臨各類故障挑戰(zhàn),令使用者頭疼不已。常見(jiàn)GPU故障大盤(pán)點(diǎn)一、內(nèi)存故障引發(fā)性能“滑坡”以英偉達(dá)H100為例,在高負(fù)載、大規(guī)模集群運(yùn)行環(huán)境下,HBM3高帶寬
    的頭像 發(fā)表于 07-17 18:56 ?1160次閱讀
    別讓 <b class='flag-5'>GPU</b> 故障拖后腿,捷智算<b class='flag-5'>GPU</b>維修室來(lái)救場(chǎng)!

    為什么無(wú)法在GPU上使用INT8 和 INT4量化模型獲得輸出?

    安裝OpenVINO? 2024.0 版本。 使用 optimum-intel 程序包將 whisper-large-v3 模型轉(zhuǎn)換為 int 4 和 int8,并在 GPU 上使用 OpenVINO? 運(yùn)行推理。 沒(méi)有可用的輸出。
    發(fā)表于 06-23 07:11

    AI?時(shí)代來(lái)襲,手機(jī)芯片面臨哪些新挑戰(zhàn)?

    邊緣AI、生成式AI(GenAI)以及下一代通信技術(shù)正為本已面臨高性能與低功耗壓力的手機(jī)帶來(lái)更多計(jì)算負(fù)載。領(lǐng)先的智能手機(jī)廠商正努力應(yīng)對(duì)本地化生成式AI、常規(guī)手機(jī)功能以及與云之間日益增長(zhǎng)的數(shù)據(jù)傳輸需求
    的頭像 發(fā)表于 06-10 08:34 ?1255次閱讀
    AI?<b class='flag-5'>時(shí)代</b>來(lái)襲,手機(jī)芯片<b class='flag-5'>面臨</b>哪些新<b class='flag-5'>挑戰(zhàn)</b>?

    科大訊飛聯(lián)手“挑戰(zhàn)杯”加速國(guó)產(chǎn)算力應(yīng)用

    作為國(guó)家A級(jí)賽事,第十九屆“挑戰(zhàn)杯”全國(guó)大學(xué)生系列科技學(xué)術(shù)競(jìng)賽首次發(fā)起“人工智能+”專項(xiàng)賽道。憑借最早投入全國(guó)產(chǎn)算力平臺(tái)的戰(zhàn)略定力,科大訊飛打造自主可控的大模型基座,在一眾大模型廠商中
    的頭像 發(fā)表于 05-21 16:53 ?1070次閱讀

    模型時(shí)代的深度學(xué)習(xí)框架

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 在 CNN時(shí)代 ,AI模型的參數(shù)規(guī)模都在百萬(wàn)級(jí)別,僅需在單張消費(fèi)類顯卡上即可完成訓(xùn)練。例如,以業(yè)界知名的CNN模型: ResNet50 為例,模型
    的頭像 發(fā)表于 04-25 11:43 ?853次閱讀
    大<b class='flag-5'>模型</b><b class='flag-5'>時(shí)代</b>的深度學(xué)習(xí)框架

    迅龍軟件參加開(kāi)源中國(guó)《數(shù)智漫談》,探討AI如何邁進(jìn)大模型時(shí)代

    當(dāng)前,人工智能技術(shù)正加速向大模型時(shí)代邁進(jìn),在政務(wù)、金融、醫(yī)療、工業(yè)等領(lǐng)域展現(xiàn)出顛覆性潛力。然而,大模型的訓(xùn)練與部署面臨算力成本高、技術(shù)生態(tài)依賴性強(qiáng)、行業(yè)落地門(mén)檻高三大
    的頭像 發(fā)表于 04-24 15:08 ?780次閱讀
    迅龍軟件參加開(kāi)源中國(guó)《數(shù)智漫談》,探討AI如何邁進(jìn)大<b class='flag-5'>模型</b><b class='flag-5'>時(shí)代</b>

    智慧路燈的推廣面臨哪些挑戰(zhàn)?

    引言 在智慧城市建設(shè)的宏偉藍(lán)圖中,叁仟智慧路燈的推廣面臨哪些挑戰(zhàn)?叁仟智慧路燈作為重要的基礎(chǔ)設(shè)施,承載著提升城市照明智能化水平、實(shí)現(xiàn)多功能集成服務(wù)的使命。然而,盡管叁仟智慧路燈前景廣闊,在推廣過(guò)程中
    的頭像 發(fā)表于 03-27 17:02 ?715次閱讀

    適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)

    隨著人工智能(AI)技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心面臨著前所未有的計(jì)算和網(wǎng)絡(luò)壓力。從大語(yǔ)言模型(LLM)訓(xùn)練到生成式AI應(yīng)用,海量數(shù)據(jù)處理需求推動(dòng)了網(wǎng)絡(luò)帶寬的快速增長(zhǎng)。在此背景下,800G網(wǎng)絡(luò)技術(shù)應(yīng)運(yùn)而生
    發(fā)表于 03-25 17:35

    模型原生操作系統(tǒng):機(jī)遇、挑戰(zhàn)與展望 CCCF精選

    本文立足人工智能時(shí)代用戶、應(yīng)用和系統(tǒng)的需求,分析“外掛式模型”演進(jìn)路徑下的操作系統(tǒng)發(fā)展困局,提出通過(guò)“模型-系統(tǒng)-芯片”的全棧協(xié)同設(shè)計(jì)來(lái)構(gòu)建模型原生操作系統(tǒng),并進(jìn)一步探討了
    的頭像 發(fā)表于 03-14 17:46 ?1170次閱讀
    <b class='flag-5'>模型</b>原生操作系統(tǒng):機(jī)遇、<b class='flag-5'>挑戰(zhàn)</b>與展望  CCCF精選