91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

浪潮信息分布式存儲在人工智能領域的應用

浪潮存儲 ? 來源:浪潮存儲 ? 2024-11-26 13:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

隨著AI技術機器學習演進至深度學習,并進一步邁向生成式AI的新階段,算法、算力及數(shù)據(jù)需求呈現(xiàn)出爆炸式增長態(tài)勢。大模型爆發(fā)初期,眾多企業(yè)布局,要求存儲提供高帶寬、高IOPS和低時延,以確保模型能夠快速有效地進行訓練。而在模型的實際部署與應用過程中,又需要實現(xiàn)數(shù)據(jù)的跨域、跨介質(zhì)靈活調(diào)度,以及高質(zhì)量數(shù)據(jù)集的高效管理,這對存儲系統(tǒng)的靈活性、安全性及數(shù)據(jù)的可持續(xù)訪問能力構(gòu)成了新的挑戰(zhàn)。

在近期舉辦的中國數(shù)據(jù)與存儲峰會AI+存儲協(xié)同發(fā)展論壇上,分布式存儲產(chǎn)品總監(jiān)張業(yè)興發(fā)表了題為“數(shù)聚存儲,智慧未來”的演講。演講中,張業(yè)興不僅回顧了過去一年人工智能領域的迅猛發(fā)展態(tài)勢,還深入闡述了浪潮信息在這一背景下如何精心布局新產(chǎn)品、新技術和新方案。

AI時代:存儲的轉(zhuǎn)型與重塑

人工智能已被提升至國家戰(zhàn)略的高度,成為驅(qū)動新質(zhì)生產(chǎn)力發(fā)展的關鍵力量。張業(yè)興指出,數(shù)據(jù)作為一種新型生產(chǎn)要素,不僅是勞動工具,還能創(chuàng)造經(jīng)濟價值。隨著數(shù)據(jù)的迅猛增長和摩爾定律的持續(xù)推動,人工智能正步入一個爆發(fā)式增長的階段,特別是在GPU市場規(guī)模及智能算力領域,展現(xiàn)出了驚人的增長潛力。據(jù)預測,至2028年,全球GPU市場規(guī)模有望達到2461.5億美元,而中國市場的規(guī)模也將攀升至459億美元,年復合增長率高達32.8%。這一趨勢清晰地表明,人工智能正引領著第四次工業(yè)革命,對經(jīng)濟社會產(chǎn)生著廣泛而深遠的影響。

在人工智能時代的大背景下,存儲系統(tǒng)的角色已悄然轉(zhuǎn)變,它不再是單純的數(shù)據(jù)存儲容器,而是成為了推動人工智能發(fā)展的核心組件。隨著大模型技術的蓬勃發(fā)展,存儲系統(tǒng)正面臨著前所未有的挑戰(zhàn)。在大模型市場的初期布局中,已有超過400家廠商爭相涌入,模型訓練的“速度”成為了競爭的關鍵。為了提高GPU的利用效率,存儲系統(tǒng)必須能夠提供TB級的高帶寬和百萬級的高IOPS,以確保模型訓練的高效運行。

此外,隨著模型在各行業(yè)的落地,數(shù)據(jù)的跨域和跨介質(zhì)調(diào)動變得至關重要,存儲系統(tǒng)需要實現(xiàn)全局命名空間的管理,以支持大規(guī)模數(shù)據(jù)的高效匯集和利用。同時,在大模型的行業(yè)化落地過程中,為了提升通用模型的專業(yè)化能力,高質(zhì)量且可重復利用的數(shù)據(jù)集成為了不可或缺的資源。數(shù)據(jù)的安全存儲與可持續(xù)性訪問能力成為了存儲系統(tǒng)必須滿足的重要要求。

AS13000G7:解鎖存儲潛能,賦能AI未來

針對上述挑戰(zhàn),浪潮信息推出了分布式融合存儲平臺AS13000G7,在性能優(yōu)化、融合互通、韌性保障等多個維度進行了技術創(chuàng)新。

在性能優(yōu)化方面,AS13000G7通過數(shù)控分離架構(gòu),減少了數(shù)據(jù)在轉(zhuǎn)發(fā)和拷貝過程中的延遲,單流帶寬可達15GB/s,單節(jié)點帶寬超過100GB/s,相比傳統(tǒng)數(shù)控一體架構(gòu)性能提升60%以上。此外,AS13000G7能夠智能識別大IO和小IO,通過切片處理和聚合處理,將不同規(guī)模的數(shù)據(jù)形成統(tǒng)一的數(shù)據(jù)團,并存入全局緩存中,實現(xiàn)小IO性能提升5倍。同時,數(shù)據(jù)緩存預讀功能能夠在訓練過程中提前加載熱點數(shù)據(jù),進一步提升數(shù)據(jù)加載速度。另外,AS13000G7還設計了全用戶態(tài)的輕量級IO站,利用多任務并行和無鎖IO處理技術,實現(xiàn)了延遲降低40%,訓練數(shù)據(jù)加載時間減少30%。

在近期發(fā)布的MLPerf Storage v1.0 AI存儲基準測試中,AS13000G7參與了八項測試并獲得了五項全球第一的成績,如3D-UNet測試中,支持264個模擬加速器,GPU利用率超90%時提供360GB每秒帶寬,單節(jié)點帶寬超120GB每秒;在CosmoFlow模型測試中,樣本讀取時間極短,單客戶端和多客戶端分別提供了18GB/s和52GB/s的帶寬。

在融合互通方面,AS13000G7支持多種接入?yún)f(xié)議,如NFS和S3等,并通過復原數(shù)據(jù)管理實現(xiàn)文件和對象數(shù)據(jù)的協(xié)議互通、語義無損以及性能一致,避免了數(shù)據(jù)格式轉(zhuǎn)換和多份存儲的問題,為用戶節(jié)省了高達50%的存儲空間。同時,AS13000G7還建立了全局統(tǒng)一命名空間,納管所有數(shù)據(jù),實現(xiàn)跨域、跨介質(zhì)和跨協(xié)議的靈活調(diào)動,提供統(tǒng)一數(shù)據(jù)視圖,并支持10億級文件秒級檢索,有效解決了數(shù)據(jù)孤島問題,方便用戶數(shù)據(jù)訪問與管理。

在韌性保障方面,AS13000G7定期進行亞健康檢測,并通過內(nèi)部冗余保護機制實現(xiàn)免遷移快速重構(gòu),將TB級重構(gòu)時間降至5分鐘內(nèi),每次故障恢復時間降低90%。此外,AS13000G7運用AIOps算法預測磁盤故障、容量趨勢、性能趨勢和SSD壽命,其中磁盤故障預測準確率達98%以上,誤報率僅0.007%。在數(shù)據(jù)安全層面,AS13000G7設置了五層系統(tǒng)防護,采用快篩機器學習和深篩深度學習算法來檢測惡意軟件,漏報率僅為0.029%,誤報率為0.33%。

面向大模型應用,基于AS13000G7的AI存儲解決方案,整合不同盤位存儲設備形成統(tǒng)一資源池,提供高性能、高利用率和高韌性,滿足數(shù)據(jù)全生命周期需求。結(jié)合AI資源調(diào)度平臺,提升數(shù)據(jù)預讀加載效率30%,已服務眾多AIGC客戶。

在上海某高校的應用案例中,由于該校擁有多個與AI相關的學科,數(shù)據(jù)導入呈現(xiàn)出多元多態(tài)的特點,業(yè)務需求也涵蓋了數(shù)據(jù)的匯集、處理、訓練和推理等多個環(huán)節(jié)。浪潮信息為其提供32節(jié)點GPU服務器作為計算支持,并配置20個節(jié)點的AS13000G7 24盤位全閃節(jié)點作為存儲資源池,實現(xiàn)對象文件融合存儲,降低總體擁有成本(TCO)達30%,大帶寬高IOPS的特性支持了模型毫秒級讀寫,進一步縮短訓練等待時間40%。

AS13000G7分布式融合存儲平臺以其高性能、高效率和高韌性,成為支持人工智能發(fā)展的理想選擇。在人工智能蓬勃發(fā)展的時代,浪潮信息將憑借其卓越的產(chǎn)品和解決方案,積極應對挑戰(zhàn),抓住機遇,為構(gòu)建智慧未來奠定了堅實的數(shù)據(jù)存儲基礎,成為行業(yè)發(fā)展的重要引領者。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    476

    瀏覽量

    25427
  • AI
    AI
    +關注

    關注

    91

    文章

    39866

    瀏覽量

    301525
  • 人工智能
    +關注

    關注

    1817

    文章

    50105

    瀏覽量

    265561
  • 分布式存儲
    +關注

    關注

    4

    文章

    182

    瀏覽量

    20174

原文標題:數(shù)聚存儲,智慧未來:分布式存儲在人工智能時代的創(chuàng)新與應用

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Dante數(shù)字化會議系統(tǒng)、分布式視頻系統(tǒng)、“AI”人工智能在會議運維中的應用

    Dante數(shù)字化會議系統(tǒng)、分布式視頻系統(tǒng)、“AI”人工智能在會議運維中的應用
    的頭像 發(fā)表于 02-08 14:19 ?1416次閱讀

    【節(jié)能學院】Acrel-1000DP分布式光伏監(jiān)控系統(tǒng)奉賢平高食品 4.4MW 分布式光伏中應用

    摘要:“雙碳”和新型電力系統(tǒng)建設背景下,分布式光伏接入比例不斷提高,對配電網(wǎng)電壓、調(diào)度運行及調(diào)峰等環(huán)節(jié)造成強烈沖擊。本文設計包含平臺層、設備層二層架構(gòu)體系的分布式光伏管控平臺,以及小容量工商業(yè)
    的頭像 發(fā)表于 08-23 08:04 ?3516次閱讀
    【節(jié)能學院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏監(jiān)控系統(tǒng)<b class='flag-5'>在</b>奉賢平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中應用

    分布式光伏發(fā)電監(jiān)測系統(tǒng)技術方案

    分布式光伏發(fā)電監(jiān)測系統(tǒng)技術方案 柏峰【BF-GFQX】一、系統(tǒng)目標 :分布式光伏發(fā)電監(jiān)測系統(tǒng)旨在通過智能化的監(jiān)測手段,實現(xiàn)對分布式光伏電站的全方位、高精度、實時化管理。該系統(tǒng)能
    的頭像 發(fā)表于 08-22 10:51 ?3212次閱讀
    <b class='flag-5'>分布式</b>光伏發(fā)電監(jiān)測系統(tǒng)技術方案

    挖到寶了!人工智能綜合實驗箱,高校新工科的寶藏神器

    和生態(tài)體系帶到使用者身邊 ,讓我們技術學習和使用上不再受制于人。 三、多模態(tài)實驗,解鎖AI全流程 它嵌入了2D視覺、深度視覺、機械手臂、語音識別、嵌入傳感器等多種類AI模塊,涵蓋人工智能
    發(fā)表于 08-07 14:30

    挖到寶了!比鄰星人工智能綜合實驗箱,高校新工科的寶藏神器!

    和生態(tài)體系帶到使用者身邊 ,讓我們技術學習和使用上不再受制于人。 三、多模態(tài)實驗,解鎖AI全流程 它嵌入了2D視覺、深度視覺、機械手臂、語音識別、嵌入傳感器等多種類AI模塊,涵蓋人工智能
    發(fā)表于 08-07 14:23

    一鍵部署無損網(wǎng)絡:EasyRoCE助力分布式存儲效能革命

    分布式存儲的性能瓶頸往往在于網(wǎng)絡。如何構(gòu)建一個高帶寬、超低時延、零丟包的無損網(wǎng)絡,是釋放分布式存儲全部潛力、賦能企業(yè)關鍵業(yè)務(如實時數(shù)據(jù)庫、AI訓練、高性能計算)的關鍵挑戰(zhàn)。
    的頭像 發(fā)表于 08-04 11:34 ?1631次閱讀
    一鍵部署無損網(wǎng)絡:EasyRoCE助力<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>效能革命

    Ceph分布式存儲系統(tǒng)解析

    在當今數(shù)據(jù)爆炸的時代,企業(yè)對存儲系統(tǒng)的需求日益增長,傳統(tǒng)的集中式存儲已經(jīng)無法滿足大規(guī)模數(shù)據(jù)處理的要求。分布式存儲系統(tǒng)應運而生,而Ceph作為開源分布
    的頭像 發(fā)表于 07-14 11:15 ?1020次閱讀

    飛利信與浪潮信息達成戰(zhàn)略合作

    近日,2025年浪潮信息北京ISP戰(zhàn)略伙伴簽約授牌儀式成功舉辦。浪潮信息與北京飛利信電子技術有限公司等22家戰(zhàn)略合作伙伴達成簽約,其中將面向北京人工智能應用大市場,在產(chǎn)品技術共創(chuàng)、行業(yè)場景深化及區(qū)域
    的頭像 發(fā)表于 06-24 17:37 ?1116次閱讀

    【RK3588】嵌入人工智能實驗箱——智啟高校產(chǎn)教融合新平臺

    AIoT技術驅(qū)動產(chǎn)業(yè)變革的浪潮中,嵌入人工智能已成為工業(yè)物聯(lián)網(wǎng)、智慧交通、智慧醫(yī)療等領域創(chuàng)新突破的關鍵引擎。飛凌嵌入
    的頭像 發(fā)表于 06-11 14:29 ?1614次閱讀
    【RK3588】嵌入<b class='flag-5'>式</b><b class='flag-5'>人工智能</b>實驗箱——智啟高校產(chǎn)教融合新平臺

    曙光存儲領跑中國分布式存儲市場

    近日,賽迪顧問發(fā)布《中國分布式存儲市場研究報告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式存儲,規(guī)模達 198.2 億元
    的頭像 發(fā)表于 05-19 16:50 ?1269次閱讀

    兆芯+圖云創(chuàng)智—可信分布式存儲系統(tǒng)解決方案

    圖云創(chuàng)智分布式存儲系統(tǒng)采用全分布式設計與先進的存儲虛擬化技術相結(jié)合,由多個獨立的兆芯 x86 服務器作為存儲節(jié)點,聯(lián)合道熵
    的頭像 發(fā)表于 04-23 10:29 ?977次閱讀
    兆芯+圖云創(chuàng)智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)解決方案

    分布式存儲數(shù)據(jù)恢復—虛擬機上hbase和hive數(shù)據(jù)庫數(shù)據(jù)恢復案例

    分布式存儲數(shù)據(jù)恢復環(huán)境: 16臺某品牌R730xd服務器節(jié)點,每臺服務器節(jié)點上有數(shù)臺虛擬機。 虛擬機上部署Hbase和Hive數(shù)據(jù)庫。 分布式存儲故障: 數(shù)據(jù)庫底層文件被誤
    的頭像 發(fā)表于 04-17 11:05 ?732次閱讀

    分布式光纖das-tool涉及哪些領域

    一、分布式光纖DAS(聲波傳感系統(tǒng)) 1. 定義與技術原理 DAS(Distributed Acoustic Sensing) 是一種基于光纖傳感技術的分布式聲波監(jiān)測系統(tǒng)。 原理:利用光纖作為傳感
    的頭像 發(fā)表于 04-02 10:26 ?1170次閱讀

    天瞳威視與浪潮信息達成戰(zhàn)略合作,推進高階智駕車載計算系統(tǒng)創(chuàng)新

    北京2025年3月22日?/美通社/ -- 近日,蘇州天瞳威視電子科技有限公司與浪潮信息旗下蘇州元腦智能科技有限公司達成戰(zhàn)略合作協(xié)議。此次合作依托浪潮信息提供的車載算力平臺硬件系統(tǒng)、底層軟件環(huán)境
    的頭像 發(fā)表于 03-27 16:55 ?648次閱讀
    天瞳威視與<b class='flag-5'>浪潮信息</b>達成戰(zhàn)略合作,推進高階智駕車載計算系統(tǒng)創(chuàng)新

    淺談分布式光伏電站信息化運維的趨勢

    針對分布式光伏電站傳統(tǒng)運維方式中存在的不足進行了分析,并從4個方面分析了分布式光伏電站信息化運維方式。分析結(jié)果顯示:通過合理而有效的光伏電站信息化運維方式,不僅能大幅縮短
    的頭像 發(fā)表于 03-20 09:04 ?1511次閱讀
    淺談<b class='flag-5'>分布式</b>光伏電站<b class='flag-5'>信息</b>化運維的趨勢