91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

AI服務器市場規(guī)模持續(xù)增加,國內(nèi)存在哪些算力瓶頸?

Carol Li ? 來源:電子發(fā)燒友網(wǎng)原創(chuàng) ? 作者:李彎彎 ? 2023-03-13 09:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報道(文/李彎彎)近年來,在全球數(shù)字化、智能化的浪潮下,智能手機、自動駕駛、數(shù)據(jù)中心、圖像識別等應用推動 AI服務器市場迅速成長。根據(jù) IDC 數(shù)據(jù),2021 年全球 AI 服務器市場規(guī)模已達到 145 億美元,并預計 2025 年將超過 260 億美元。

近段時間ChatGPT概念的火熱,更是對算力基礎設施的需求起到了帶動作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時候表示,ChatGP的訓練和部署,都需要大量智能計算數(shù)據(jù)存儲以及傳輸資源,計算機基礎設施、算力等上游技術(shù)將因此受益。

ChatGPT有著多達1750億個模型參數(shù)。在算力方面,GPT-3.5在訓練階段消耗的總算力約3640PF-days。在應用時,ChatGPT仍然需要大算力的服務器支持。ChatGPT的持續(xù)爆火也為AIGC帶來全新增量,行業(yè)對AI模型訓練所需要的算力支持提出了更高要求。

寧暢是一家集研發(fā)、生產(chǎn)、部署、運維一體的服務器廠商,及IT系統(tǒng)解決方案提供商。該公司早早就開始著重發(fā)力于人工智能服務器和液冷服務器。趙雷表示,公司目前在用的、在研的人工智能和液冷服務器,包括明年還將推出的浸沒液冷服務器,剛好跟上算力高速增長的市場需求。公司隨時準備著為客戶提供合適的高算力產(chǎn)品和解決方案。

在人工智能服務器方面,寧暢已經(jīng)推出多款產(chǎn)品,包括X620 G50、X660 G45、X640 G40、X620 G40。X620 G50適用于機器學習、AI推理、云計算、高性能計算等場景;660 G45是專門為深度學習訓練開發(fā)的高性能計算平臺;X640 G40是兼?zhèn)溆柧毰c推理功能的全能型GPU服務器;X620 G40性能提升的同時支持PCIe 4.0高速總線技術(shù),完美支持NVIDIA各類最新型GPU加速服務,是最為理想的AI推理平臺。

在液冷服務器方面,寧暢推出了三款冷板式液冷服務器,包括產(chǎn)品B5000 G4 LP、X660 G45 LP、R620 G40 LP,范圍覆蓋了高密度、通用機架以及人工智能服務器產(chǎn)品,可滿足科學計算、AI訓練、云計算等眾多IT應用場景,可滿足用戶不同需求。

作為服務器廠商需要給下游互聯(lián)網(wǎng)客戶提供怎樣的產(chǎn)品和服務呢?對于服務器廠商來說,不只是要提供服務器硬件或者基礎設施,還要有對應的服務能力。

從服務層面來看,在用戶現(xiàn)場會關(guān)注什么呢,比如說核心業(yè)務,會關(guān)注業(yè)務的在線率,不管服務器壞不壞,整個業(yè)務的運行是要有彈性的、靈活的,不會給客戶造成影響的。就以百度、微信這些業(yè)務為例,大家?guī)缀醪粫吹轿⑿挪荒苡昧?,或者百度搜索不反饋結(jié)果了。

趙雷表示,對于服務器廠商來說,要做的是在服務層面能夠快速響應,不管是采用現(xiàn)場備件模式,機房備機模式,還是駐場人員巡檢的模式,都需要做到24小時的快速響應。這是純粹的服務方面,也就是說,在互聯(lián)網(wǎng)搭建業(yè)務連續(xù)性良好的基礎上,服務器廠商能夠?qū)⒐收虾涂焖?a target="_blank">維修的能力做到極致,有效地支撐客戶的前端應用。

從產(chǎn)品層面來看,對于每個硬件子系統(tǒng)在設計研發(fā)過程中,都需要從易維修和低故障角度去思考如何將產(chǎn)品做得更好。寧暢在這方面做了很多工作:首先,現(xiàn)在冷卻方式是影響故障率比較重要的因素,因為溫度太高故障率就會高,寧暢的精密風冷和液冷的方式,能夠有效地降低芯片和對應組件的故障率。

其次,其精密六維減震模式,能夠有效提升硬盤的性能,降低故障率;接著是,采用DAE的散熱器,從散熱的維度有效降低光模塊的故障率。同時CPU、GPU的液冷可以有效降低CPU、GPU的故障率;通過內(nèi)存的漏斗,內(nèi)存的故障篩選或者在線隔離技術(shù),有效地降低內(nèi)存的故障率;另外還在板卡走線、機箱結(jié)構(gòu)方面進行了優(yōu)化設計。

此外還有整機BMC易管理特性,趙雷認為,任何東西不可能不壞,有毛病是不可避免的,壞了以后,如何快速通知客戶或者維護人員維修時關(guān)鍵。BMC有一個完善的通知機制,郵件自動通知、SMP遠程告警、IPMI告警等。寧暢按照互聯(lián)網(wǎng)客戶的需求定制,將其融入整個機房的運維系統(tǒng),出現(xiàn)故障以后可以第一時間通知去維修。

雖然目前國內(nèi)有不少優(yōu)秀的服務器、云廠商等,不過整體來看,國內(nèi)的算力仍然存在瓶頸,比如,總體算力不夠,算力的分布不平均。部分客戶算力過剩,部分客戶算力不足?;蛘逜時間算力過剩,B時間算力不足,這是算力協(xié)調(diào)的問題。

短期來看這個問題要靠云技術(shù)解決,長期來看是要提供過剩的算力。也就是說,需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問題,還需要提供算力、算力效率等。

再比如算力成本高的問題,雖然目前每單位算力單價下降了,但是過去幾年服務器的平均售價一直上漲。趙雷認為,可能算力類型單一,不太能夠有效地支撐高速增長的模式,可能要有各種各樣不同類型的算力。比如ChatGPT,是不是可以做針對GPT模型專門的ASIC。算力的應用類型越窄,它的效率就會越高,越通用,效率就越低。

整體而言,過去幾年在全球數(shù)字化、智能化浪潮下,市場對算力的需求不斷增加。ChatGP的出現(xiàn)更是讓行業(yè)對算力提出了新的要求。國內(nèi)服務器廠商在對人工智能行業(yè)提供算力支持方面已經(jīng)有所準備。不過從目前的情況來看,國內(nèi)在算力方面仍然存在一些瓶頸,比如算力分布不均勻,成本高等問題。后續(xù)還需業(yè)界共同去探討解決。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 服務器
    +關(guān)注

    關(guān)注

    14

    文章

    10270

    瀏覽量

    91537
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    39938

    瀏覽量

    301567
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1541

    瀏覽量

    16759
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    邊緣AI臨界點:深度解析176TOPS香橙派AI Station的產(chǎn)業(yè)價值

    、內(nèi)存革命:48GB/96GB LPDDR4X 背后的帶寬博弈 很多開發(fā)者容易陷入唯論的誤區(qū),但在實際部署大模型時,內(nèi)存容量和帶寬往往是真正的性能
    發(fā)表于 03-10 14:19

    高達 1570 TOPS!支持多硬盤的高服務器 CSB2-N10

    CSB2-N10服務器內(nèi)置10個分布式計算節(jié)點,單節(jié)點可提供6-157TOPS,可選瑞芯微、能、NVIDIA等平臺。支持主流AI大模型
    的頭像 發(fā)表于 01-06 16:33 ?513次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>高達 1570 TOPS!支持多硬盤的高<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b> CSB2-N10

    天波科普:超過30T的邊緣計算服務器可以做什么?

    網(wǎng)關(guān)的能力邊界,也涉及到高低。那么,目前邊緣計算服務器到多少算高呢?以廣東天波AI邊緣
    的頭像 發(fā)表于 09-28 11:18 ?686次閱讀
    天波科普:<b class='flag-5'>算</b><b class='flag-5'>力</b>超過30T的邊緣計算<b class='flag-5'>服務器</b>可以做什么?

    不夠、交付太慢?捷智裸金屬租賃對標物理機性能,讓你立馬用上高!

    2025年國產(chǎn)大模型升級帶動租賃需求爆發(fā),高性能服務器“一機難求”。中研普華預測,今年我國
    的頭像 發(fā)表于 09-12 20:06 ?1347次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>不夠、交付太慢?捷智<b class='flag-5'>算</b>裸金屬租賃對標物理機性能,讓你立馬用上高<b class='flag-5'>算</b><b class='flag-5'>力</b>!

    多達 48 個計算節(jié)點!Firefly 推出 CSC2-N48 AI 服務器

    Firefly最新推出CSC2-N48服務器,內(nèi)置48個分布式計算節(jié)點,單節(jié)點可提供6TOPS-157TOPS,可選瑞芯微、
    的頭像 發(fā)表于 08-20 16:37 ?1624次閱讀
    多達 48 個計算節(jié)點!Firefly 推出 CSC2-N48 <b class='flag-5'>AI</b> <b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b>

    AI 服務器電源如何迭代升級?

    AI 需求增長的今天,AI 服務器電源正陷入 “性能瓶頸與國產(chǎn)替代并行、場景適配與技術(shù)創(chuàng)新
    的頭像 發(fā)表于 06-23 14:51 ?1412次閱讀

    淺談 IPv6 行業(yè)市場規(guī)模與增長趨勢

    年,IPv6市場規(guī)模將突破300億美元。全球IPv6市場規(guī)模及增長預測從區(qū)域市場來看,亞太地區(qū)將成為全球IPv6市場規(guī)模增長最快的區(qū)域,預計到2030年,其
    的頭像 發(fā)表于 05-20 09:17 ?1174次閱讀
    淺談 IPv6 行業(yè)<b class='flag-5'>市場規(guī)模</b>與增長趨勢

    RAKsmart服務器如何賦能AI開發(fā)與部署

    AI開發(fā)與部署的復雜性不僅體現(xiàn)在算法設計層面,更依賴于底層基礎設施的支撐能力。RAKsmart服務器憑借其高性能硬件架構(gòu)、靈活的資源調(diào)度能力以及面向AI場景的深度優(yōu)化,正在成為企業(yè)突破
    的頭像 發(fā)表于 04-30 09:22 ?805次閱讀

    AI服務器硬件攻堅戰(zhàn),從時鐘緩沖到電容,解決功耗、帶寬、散熱難題

    市場前景廣闊,全球AI服務器預計2023年市場規(guī)模將達到1500億?2000億美元,復合年增長率約為28%-32%。 ?????????????????????????????????
    的頭像 發(fā)表于 04-28 01:09 ?4955次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>服務器</b>硬件攻堅戰(zhàn),從時鐘緩沖到電容,解決功耗、帶寬、散熱難題

    AI原生架構(gòu)升級:RAKsmart服務器在超大規(guī)模模型訓練中的突破

    近年來,隨著千億級參數(shù)模型的崛起,AI訓練對的需求呈現(xiàn)指數(shù)級增長。傳統(tǒng)服務器架構(gòu)在應對分布式訓練、高并發(fā)計算和顯存優(yōu)化等場景時逐漸顯露瓶頸
    的頭像 發(fā)表于 04-24 09:27 ?803次閱讀

    智能服務器應用領域

    智能服務器應用領域 一、?金融行業(yè)? 智能風控與投顧?:通過集群支撐AI模型訓練,實現(xiàn)風
    的頭像 發(fā)表于 04-21 09:09 ?1602次閱讀
    智能<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>服務器</b>應用領域

    RAKsmart服務器如何重塑AI高并發(fā)格局

    AI大模型參數(shù)量突破萬億級、實時推理需求激增的當下,傳統(tǒng)服務器架構(gòu)的并發(fā)處理能力已逼近物理極限。RAKsmart通過“硬件重構(gòu)+軟件定義”的雙引擎創(chuàng)新,推出新一代AI服務器解決方案。
    的頭像 發(fā)表于 04-03 10:37 ?926次閱讀

    DeepSeek推動AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長。DeepSeek等大模型的訓練與推理任務對的需求
    發(fā)表于 03-25 12:00

    國產(chǎn)推理服務器如何選擇?深度解析選型指南與華頡科技實戰(zhàn)案例

    人工智能技術(shù)的爆發(fā)催生了對推理算的迫切需求,而進口服務器的高成本與技術(shù)依賴性,推動了國產(chǎn)推理服務器的快速發(fā)展。據(jù)IDC預測,到2025年,中國AI推理
    的頭像 發(fā)表于 03-24 17:11 ?1282次閱讀
    國產(chǎn)推理<b class='flag-5'>服務器</b>如何選擇?深度解析選型指南與華頡科技實戰(zhàn)案例

    千億規(guī)模AI數(shù)據(jù)中心,電感如何提高電源效率?

    市場規(guī)模為1251億美元,2025年將增至1587億美元,2028年有望達到2227億美元。其中,生成式人工智能服務器占比將從2025年的29.6%提升至2028年的37.7%。 ? 在數(shù)據(jù)中心規(guī)模增長的同時,也面臨著能源問題。
    的頭像 發(fā)表于 03-15 00:53 ?2492次閱讀