91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)中心如何更快、更經(jīng)濟(jì)地利用AI?

康普中國 ? 來源:康普中國 ? 2023-11-08 15:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人氣科幻小說在描繪“機(jī)器智能的崛起”時,通常伴隨著激光、爆炸等場景,就算不是這般震撼,至少也會帶有些許哲學(xué)上的恐懼意味。但毋庸置疑的是,人們?nèi)找骊P(guān)注人工智能AI)和機(jī)器學(xué)習(xí)(ML)在更廣泛應(yīng)用中的可能性,而且新的應(yīng)用也層出不窮。

目前,數(shù)百萬人已經(jīng)開始通過 ChatGPT 和其他AI界面來嘗試這些想法。但這些用戶中的許多人并沒有意識到,他們通過電腦屏幕與富有好奇心的AI助手之間的交流實際上是由位于全球各地的大型數(shù)據(jù)中心驅(qū)動的。

企業(yè)也在其數(shù)據(jù)中心內(nèi)投資建立自己的AI集群,構(gòu)建、訓(xùn)練并完善自己的AI模型,以滿足其自身商業(yè)利益。這些AI的核心就是由大量 GPU(圖形處理器)機(jī)架所構(gòu)成的,其可提供AI模型所需的驚人的并行處理能力,以便對其算法進(jìn)行詳盡的訓(xùn)練。

在導(dǎo)入數(shù)據(jù)集后,AI推理會對數(shù)據(jù)進(jìn)行分析,并闡釋其中蘊(yùn)含的意義。例如,基于貓與狗特征差異進(jìn)行訓(xùn)練,就能識別出圖片中呈現(xiàn)的是貓還是狗。然后,生成式AI就可以對此數(shù)據(jù)進(jìn)行處理,以創(chuàng)建全新的圖像或文本。

正是這種“智能”的處理吸引著全球各地的人們、政府和企業(yè)發(fā)揮想象力。據(jù)IDC最新發(fā)布的《全球人工智能支出指南》預(yù)計,2027年中國AI投資規(guī)模有望達(dá)到381億美元,全球占比約9%。近年來,本土人工智能產(chǎn)業(yè)向高質(zhì)量發(fā)展邁進(jìn),并加速與各行業(yè)的不同需求的融合落地。然而,創(chuàng)建一個有用的AI算法需要大量的數(shù)據(jù)用于訓(xùn)練,而這是一個成本高昂且耗能的過程。

“智能”源自高效的訓(xùn)練

數(shù)據(jù)中心一般都有著離散式的AI和計算集群,他們協(xié)同工作以提供訓(xùn)練AI算法的數(shù)據(jù)。這些高能耗 GPU 產(chǎn)生的熱量限制了在給定機(jī)架空間內(nèi)能夠安裝GPU的數(shù)量,因此必須優(yōu)化物理布局。另一個令人擔(dān)憂的問題是,光纖線纜線路過長會增加插入損耗。

光纖是一種高效、低損耗、低延遲的基礎(chǔ)設(shè)施,AI集群的運(yùn)行速度可達(dá) 100G 或 400G。然而,隨著大量數(shù)據(jù)在AI集群中傳輸,每增加一米光纖布線,都會帶來成本高昂的延遲和損耗。

一般認(rèn)為,訓(xùn)練大規(guī)模AI所需的時間中,約有三成消耗在網(wǎng)絡(luò)延遲上,其余七成用于計算時間。任何減少延遲的機(jī)會,哪怕是通過減少 10 米光纖來減少 50 納秒的延遲,都能節(jié)省大量的時間和成本。考慮到訓(xùn)練這樣一個大型AI模型動輒需要花費(fèi) 1000 萬美元或更多,延遲的代價就非常明顯了。

縮減光纖米數(shù)、延遲納秒數(shù)和功耗瓦數(shù)

運(yùn)營商應(yīng)仔細(xì)考慮在AI集群中使用哪些光收發(fā)器和光纜,以最大限度地降低成本和功耗。由于光纖運(yùn)行必須盡可能短,因此光學(xué)成本將取決于收發(fā)器。使用并行光纖的收發(fā)器的優(yōu)勢在于其無需用于波分復(fù)用的光復(fù)用器和解復(fù)用器。因此,使用并行光纖的收發(fā)器成本和功耗都更低。收發(fā)器成本的節(jié)省足以抵消多芯光纜(而非雙工光纜)成本的小幅增加。例如,使用8芯光纜的 400G-DR4 收發(fā)器比使用雙工光纜的 400G-FR4 收發(fā)器更具成本效益。

單模光纖和多模光纖應(yīng)用可支持長達(dá) 100 米的鏈路。硅光等技術(shù)的進(jìn)步降低了單模收發(fā)器的成本,使其接近同等多模收發(fā)器的成本。對于高速收發(fā)器(400G +)而言,單模收發(fā)器的成本往往是同等多模收發(fā)器成本的兩倍。雖然多模光纖的成本略高于單模光纖,但由于多模光纖線纜成本主要取決于 MPO 連接器,因此多模和單模之間的線纜成本差異較小。

此外,高速多模收發(fā)器的功耗比單模收發(fā)器低一到兩瓦。單一AI集群中最多有 768 個收發(fā)器,使用多模光纖的設(shè)置將節(jié)省高達(dá) 1.5 千瓦的功率。與每臺 GPU 服務(wù)器 10 千瓦的功耗相比,這似乎微不足道,但對于AI集群而言,任何節(jié)省功耗的機(jī)會都能在AI訓(xùn)練和運(yùn)行過程中節(jié)省大量費(fèi)用。

收發(fā)器與AOC

許多 AI/ML 集群和 HPC 使用有源光纜(AOC)來實現(xiàn) GPU 和交換機(jī)之間的互連。有源光纜是一種設(shè)備直連線纜,兩端集成了光發(fā)射器和接收器。大多數(shù)有源光纜用于短距離傳輸,其通常使用多模光纖和 VCSEL光源。高速(>40G)有源光纜和連接光收發(fā)器的光纜相同,使用的都是 OM3 或 OM4 光纖。AOC 中的發(fā)射器和接收器可能與同類收發(fā)器中的發(fā)射器和接收器相同,但它們不一定適合所有場合使用。每個發(fā)射器和接收器都不需要滿足嚴(yán)格的互操作性規(guī)范,它們只需要與連接到光纜另一端的特定設(shè)備一同運(yùn)行即可。由于安裝人員無法接觸到光纖連接器,因此無需具備清潔和檢查光纖連接器的技能。

AOC 的缺點是不具備收發(fā)器能提供的靈活性。安裝 AOC 需要耗費(fèi)大量時間,因為必須在連接著收發(fā)器的情況下布線。正確安裝帶分支的 AOC 尤其具有挑戰(zhàn)性。AOC 的故障率是同等收發(fā)器的兩倍。當(dāng) AOC 出現(xiàn)故障時,新的 AOC 必須通過網(wǎng)絡(luò)來布線,這也就占用了計算時間。最后,當(dāng)需要升級網(wǎng)絡(luò)鏈路時,必須移除 AOC 并用新的 AOC 取而代之。對于收發(fā)器,光纖布線是基礎(chǔ)設(shè)施的一部分,并且可以在幾代數(shù)據(jù)速率下保持不變。

結(jié)論

AI/ML 已經(jīng)到來,并將成為人、企業(yè)和設(shè)備之間交互方式中更重要、更集成的一部分。但不可否認(rèn)的是,雖然與AI服務(wù)的交互可以在手機(jī)上實現(xiàn),但它仍然依賴于大型數(shù)據(jù)中心基礎(chǔ)設(shè)施和算力的驅(qū)動,而能夠快速高效地訓(xùn)練AI的企業(yè)將在當(dāng)前瞬息萬變、超級互聯(lián)的世界中占據(jù)重要的一席之地。如若當(dāng)下投資于先進(jìn)的光纖基礎(chǔ)設(shè)施以推動AI的訓(xùn)練和運(yùn)行,日后就會收獲令人難以置信的成果。







審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1817

    文章

    50101

    瀏覽量

    265502
  • 圖形處理器
    +關(guān)注

    關(guān)注

    0

    文章

    202

    瀏覽量

    27534
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8554

    瀏覽量

    136976
  • GPU芯片
    +關(guān)注

    關(guān)注

    1

    文章

    307

    瀏覽量

    6519

原文標(biāo)題:康普觀點:數(shù)據(jù)中心如何更快、更經(jīng)濟(jì)地利用AI

文章出處:【微信號:康普中國,微信公眾號:康普中國】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    1分鐘帶你了解數(shù)據(jù)中心供電架構(gòu) #電子元器件 #數(shù)據(jù)中心 #供電架構(gòu)

    數(shù)據(jù)中心
    沛城芯動力
    發(fā)布于 :2026年02月03日 15:39:04

    數(shù)據(jù)中心發(fā)展的三大驅(qū)動力

    “新基建”的大背景下,數(shù)據(jù)中心行業(yè)發(fā)展迅猛。數(shù)據(jù)中心是數(shù)字經(jīng)濟(jì)時代的數(shù)字銀行和數(shù)據(jù)資源庫,新興產(chǎn)業(yè)的未來發(fā)展,數(shù)據(jù)中心是核心基礎(chǔ)設(shè)施平臺,所
    的頭像 發(fā)表于 12-26 10:34 ?380次閱讀

    微軟最新AI技術(shù)數(shù)據(jù)中心即將啟用

    微軟在美國威斯康星州 Mount Pleasant 建設(shè)的最新AI技術(shù)數(shù)據(jù)中心即將投入使用,預(yù)計 2026 年初正式啟用。第二座同規(guī)模中心也在規(guī)劃中,總投資將超過 70 億美元。
    的頭像 發(fā)表于 11-05 16:37 ?927次閱讀

    睿海光電以高效交付與廣泛兼容助力AI數(shù)據(jù)中心800G光模塊升級

    核心網(wǎng)絡(luò)支撐。未來,隨著1.6T光模塊的落地,睿海光電將進(jìn)一步推動數(shù)據(jù)中心向更高性能、智能化演進(jìn),攜手全球伙伴開啟AI新時代。 睿海光電——AI網(wǎng)絡(luò)升級的可靠伙伴!
    發(fā)表于 08-13 19:01

    加速AI未來,睿海光電800G OSFP光模塊重構(gòu)數(shù)據(jù)中心互聯(lián)標(biāo)準(zhǔn)

    定義數(shù)據(jù)中心互聯(lián)的新范式。 一、技術(shù)實力:800G OSFP光模塊的卓越性能表現(xiàn) 睿海光電800G OSFP光模塊系列采用行業(yè)領(lǐng)先的PAM4調(diào)制技術(shù),具備以下核心優(yōu)勢: 超高速率 :單模傳輸速率達(dá)
    發(fā)表于 08-13 16:38

    華為面向拉美地區(qū)發(fā)布全新星河AI數(shù)據(jù)中心網(wǎng)絡(luò)方案

    在華為數(shù)據(jù)通信創(chuàng)新峰會2025拉美站期間,以“星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時代新動能”為主題的分論壇上,華為面向拉美地區(qū)發(fā)布全新升級的星河AI
    的頭像 發(fā)表于 08-11 10:42 ?2335次閱讀

    PCIe協(xié)議分析儀在數(shù)據(jù)中心中有何作用?

    數(shù)據(jù)中心的整體可靠性。以下是其核心作用及具體應(yīng)用場景的詳細(xì)分析:一、性能優(yōu)化:突破帶寬瓶頸,提升計算效率 鏈路帶寬利用率分析 場景:在AI訓(xùn)練集群中,GPU通過PCIe與CPU交換數(shù)據(jù)
    發(fā)表于 07-29 15:02

    簡單認(rèn)識安森美AI數(shù)據(jù)中心電源解決方案

    面對AI算力需求爆發(fā)式增長,數(shù)據(jù)中心電力系統(tǒng)正面臨前所未有的挑戰(zhàn)。安森美(onsemi)推出的AI數(shù)據(jù)中心電源解決方案,直擊能效、尺寸等痛點,助力客戶把握
    的頭像 發(fā)表于 07-05 13:03 ?3525次閱讀
    簡單認(rèn)識安森美<b class='flag-5'>AI</b><b class='flag-5'>數(shù)據(jù)中心</b>電源解決方案

    數(shù)據(jù)中心液冷技術(shù)和風(fēng)冷技術(shù)的比較

    近年來,隨著數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展,數(shù)據(jù)中心建設(shè)規(guī)模不斷擴(kuò)大,導(dǎo)致機(jī)房單位面積功耗居高不下,對數(shù)據(jù)中心散熱制冷技術(shù)提出了更高的要求。同時,根據(jù)國家對數(shù)據(jù)中心的節(jié)能要求,全國范圍內(nèi)新建
    的頭像 發(fā)表于 05-09 09:41 ?4096次閱讀
    <b class='flag-5'>數(shù)據(jù)中心</b>液冷技術(shù)和風(fēng)冷技術(shù)的比較

    晶科能源N型TOPCon組件滿足AI數(shù)據(jù)中心的能源剛需

    。面對這一挑戰(zhàn),晶科能源依托高效N型TOPCon技術(shù)組件與儲能系統(tǒng),響應(yīng)“東數(shù)西算”國家戰(zhàn)略,為AI數(shù)據(jù)中心提供高可靠、高經(jīng)濟(jì)性的綠色能源保障,破解高能耗與低碳化的兩難困局。
    的頭像 發(fā)表于 04-23 09:33 ?1019次閱讀

    是德科技推出AI數(shù)據(jù)中心構(gòu)建器

    是德科技(NYSE:KEYS)推出Keysight AI (KAI)數(shù)據(jù)中心構(gòu)建器,這是一款先進(jìn)的軟件套件,通過模擬真實工作負(fù)載來評估新算法、組件和協(xié)議對AI訓(xùn)練性能的影響。KAI數(shù)據(jù)中心
    的頭像 發(fā)表于 04-07 11:06 ?1008次閱讀

    適用于數(shù)據(jù)中心AI時代的800G網(wǎng)絡(luò)

    隨著人工智能(AI)技術(shù)的迅猛發(fā)展,數(shù)據(jù)中心面臨著前所未有的計算和網(wǎng)絡(luò)壓力。從大語言模型(LLM)訓(xùn)練到生成式AI應(yīng)用,海量數(shù)據(jù)處理需求推動了網(wǎng)絡(luò)帶寬的快速增長。在此背景下,800G網(wǎng)
    發(fā)表于 03-25 17:35

    華為全新升級星河AI數(shù)據(jù)中心網(wǎng)絡(luò)

    在華為中國合作伙伴大會2025期間,以 “星河AI數(shù)據(jù)中心網(wǎng)絡(luò),賦AI時代新動能”為主題的數(shù)據(jù)中心網(wǎng)絡(luò)分論壇圓滿落幕。本次論壇匯聚了來自全國的300多位客戶和伙伴,共同探討
    的頭像 發(fā)表于 03-24 14:46 ?1102次閱讀

    優(yōu)化800G數(shù)據(jù)中心:高速線纜、有源光纜和光纖跳線解決方案

    一種經(jīng)濟(jì)高效的方式,實現(xiàn)更大的帶寬傳輸。 800G有源光纜 800G有源光纜通過增加帶寬、降低延遲并減少功耗來優(yōu)化性能,非常適合去中心數(shù)據(jù)中心和云環(huán)境。此外,VCSEL與PAM4 DSP技術(shù)
    發(fā)表于 03-24 14:20

    Cadence顛覆AI數(shù)據(jù)中心設(shè)計

    日前舉辦的英偉達(dá) GTC 2025 開發(fā)者大會匯聚了眾多行業(yè)精英,共同探討人工智能的未來。而人工智能正在重塑全球數(shù)據(jù)中心的格局。據(jù)預(yù)測,未來將有 1 萬億美元用于 AI 驅(qū)動的數(shù)據(jù)中心升級。然而
    的頭像 發(fā)表于 03-21 15:43 ?1170次閱讀