本文描述在存儲(chǔ)器層次結(jié)構(gòu)中使用的技術(shù)，特別是在構(gòu)建 Cache 和主內(nèi)存中。這些技術(shù)包括 SRAM（static randomaccess memory）、DRAM（dynamic random-access memory）和閃存（Flash）。這些中的最后一個(gè)被用作硬盤的替代品，但是由于其特性基于半導(dǎo)體技術(shù)，因此適合在本文中進(jìn)行介紹。

使用 SRAM 滿足了減少對(duì) Cache 的訪問時(shí)間的需求。但是，當(dāng)發(fā)生 Cache 未命中時(shí)，我們需要盡快從主存中移出數(shù)據(jù)，這需要高帶寬的內(nèi)存?？梢酝ㄟ^將構(gòu)成主存儲(chǔ)器的許多 DRAM 芯片組織到多個(gè)存儲(chǔ)體中，并使存儲(chǔ)器總線更寬，或者同時(shí)執(zhí)行這兩種操作，來實(shí)現(xiàn)這種高存儲(chǔ)帶寬。

為了使存儲(chǔ)器系統(tǒng)能夠滿足現(xiàn)代處理器的帶寬需求，在 DRAM 芯片內(nèi)部開始出現(xiàn)一些創(chuàng)新。本文介紹存儲(chǔ)器芯片內(nèi)部的技術(shù)以及那些創(chuàng)新的內(nèi)部結(jié)構(gòu)。

隨著突發(fā)傳輸存儲(chǔ)器的引入（現(xiàn)已廣泛用于閃存和 DRAM 中），存儲(chǔ)器的延遲主要由訪問時(shí)間和周期時(shí)間來組成。其中訪問時(shí)間是從發(fā)出讀請(qǐng)求至收到所需字之間的時(shí)間，周期時(shí)間是指對(duì)存儲(chǔ)器發(fā)出兩次不相關(guān)請(qǐng)求之間的最短時(shí)間。

自 1975 年以來，幾乎所有計(jì)算機(jī)都將 DRAM 用于主存儲(chǔ)器，將 SRAM 用于高速緩存，其中的 L1 到 L3 Cache 與 CPU 集成在處理器芯片上。PMD 必須在功率和性能之間取得平衡，并且由于它們具有更適度的存儲(chǔ)需求，因此 PMD 使用閃存而不是磁盤驅(qū)動(dòng)器，臺(tái)式計(jì)算機(jī)也越來越遵循這一決定。

SRAM 技術(shù)

SRAM 的首字母代表靜態(tài)。DRAM 中電路的動(dòng)態(tài)特性要求在讀取數(shù)據(jù)后將其寫回，因此訪問時(shí)間與周期時(shí)間之間的差異，并且需要刷新。SRAM 不需要刷新，因此訪問時(shí)間非常接近周期時(shí)間。SRAM 通常每 bit 數(shù)據(jù)需要使用六個(gè)晶體管，以防止信息在讀取時(shí)受到干擾。SRAM 僅需要最小的功率即可將電荷保持在待機(jī)模式。

在早期，大多數(shù)臺(tái)式機(jī)和服務(wù)器系統(tǒng)都將 SRAM 芯片用于其一級(jí)、二級(jí)或三級(jí) Cache。如今，所有三個(gè)級(jí)別的 Cache 都已集成到處理器芯片中。在高端服務(wù)器芯片中，可能有多達(dá) 24 個(gè)內(nèi)核和多達(dá) 60 MiB 的 Cache。這樣的系統(tǒng)通常每個(gè)處理器芯片配置 128~256GiB 的 DRAM。大型的三級(jí)片上 Cache 的訪問時(shí)間通常是二級(jí) Cache 的 2~8 倍。即使是這樣，L3 訪問時(shí)間通常至少比 DRAM 訪問快 5 倍。

片上 Cache SRAM 通常以與高速緩存的塊大小匹配的寬度進(jìn)行組織，并且 Tag 與每個(gè)塊并行存儲(chǔ)。這樣可以在單個(gè)周期將整個(gè)塊讀出或?qū)懭搿．?dāng)將未命中后獲取的數(shù)據(jù)寫到 Cache 中或從 Cache 中寫回塊時(shí)，此功能特別有用。Cache 的訪問時(shí)間與緩存中的塊數(shù)成正比，而能耗取決于緩存中的位數(shù)（靜態(tài)功率）和塊數(shù)（動(dòng)態(tài)功率）。組相聯(lián) Cache 會(huì)減少對(duì)內(nèi)存的初始訪問時(shí)間，因?yàn)閮?nèi)存的大小較小，但是會(huì)增加命中檢測(cè)和塊選擇的時(shí)間。

DRAM 技術(shù)

隨著早期 DRAM 容量的增長，帶有所有必需地址線的封裝的成本成為一個(gè)問題。解決方案是多路復(fù)用地址線，從而將地址引腳的數(shù)量減少一半。在行訪問選通（RAS）期間，首先發(fā)送地址的一半。緊隨其后在列訪問選通（CAS）期間發(fā)送的地址的另一半。這些名稱來自內(nèi)部芯片組織，因?yàn)榇鎯?chǔ)器是按行和列尋址的矩形矩陣進(jìn)行組織的。

DRAM 的附加要求來自其首字母 D 所表示的動(dòng)態(tài)特性。為了在每個(gè)芯片上存儲(chǔ)更多的位，DRAM 僅使用單個(gè)晶體管來存儲(chǔ)一個(gè) bit。讀取時(shí)，將一行放入行緩沖區(qū)，CAS 信號(hào)可以在其中選擇要從 DRAM 讀取的行的一部分。由于讀取行會(huì)破壞信息，因此在不再需要該行時(shí)必須將其寫回。這種寫回以重疊的方式發(fā)生，但是在早期的 DRAM 中，這意味著可以讀取新行之前的周期時(shí)間大于讀取一行并訪問該行的一部分的時(shí)間。

另外，為了防止由于單元中的電荷泄漏（假設(shè)未讀取或?qū)懭耄┒斐傻男畔G失，必須定期“刷新”每個(gè)位。幸運(yùn)的是，只需讀取該行并將其寫回，就可以同時(shí)刷新一行中的所有位。因此，存儲(chǔ)系統(tǒng)中的每個(gè) DRAM 必須在一定的時(shí)間范圍內(nèi)（例如 64 ms）訪問每一行。DRAM 控制器其中就包括用于定期刷新 DRAM 的硬件。

此要求意味著該存儲(chǔ)系統(tǒng)有時(shí)不可用，因?yàn)樗诎l(fā)送信號(hào)告訴每個(gè)芯片刷新。刷新的時(shí)間是行激活和預(yù)充電，該預(yù)充電也將行寫回（大約需要 2/3 的時(shí)間來獲取數(shù)據(jù)，因?yàn)椴恍枰x擇列），而 DRAM 的每一行都需要這樣做。因?yàn)?DRAM 中的存儲(chǔ)矩陣在概念上是平方的，所以刷新中的步數(shù)通常是 DRAM 容量的平方根。DRAM 設(shè)計(jì)人員試圖將花在刷新上的時(shí)間保持在總時(shí)間的 5％以下。實(shí)際上，對(duì)于 SDRAM、DRAM 控制器（通常在處理器芯片上）試圖通過避免打開新行并在可能的情況下使用塊傳輸來優(yōu)化訪問。

根據(jù)經(jīng)驗(yàn)，Amdahl 建議內(nèi)存容量應(yīng)隨處理器速度線性增長，以保持系統(tǒng)平衡。因此，1000MIPS 處理器應(yīng)具有 1000 MiB 的內(nèi)存。處理器設(shè)計(jì)人員依靠 DRAM 來滿足這一需求。過去，他們預(yù)計(jì)容量每三年提高四倍，即每年提高 55％。不幸的是，DRAM 的性能以非常慢的速度增長。性能提高較慢的主要原因是行訪問時(shí)間的減少較小，而行訪問時(shí)間的減少取決于諸如功率限制和單個(gè)存儲(chǔ)單元的充電容量（以及大?。┲惖膯栴}。

改善 DRAM 芯片內(nèi)部的內(nèi)存性能：SDRAM

盡管非常早的 DRAM 包含一個(gè)緩沖器，該緩沖器允許對(duì)單個(gè)行進(jìn)行多列訪問，而無需進(jìn)行新的行訪問，但它們使用了異步接口，這意味著每個(gè)列訪問和傳輸都涉及與控制器同步的開銷。在 1990 年代中期，設(shè)計(jì)人員將時(shí)鐘信號(hào)添加到 DRAM 接口，以便重復(fù)的傳輸不會(huì)承擔(dān)該開銷，從而創(chuàng)建了同步 DRAM（SDRAM）。除了減少開銷外，SDRAM 還允許添加突發(fā)傳輸模式，在這種模式下可以進(jìn)行多次傳輸而無需指定新的列地址。通常，通過將 DRAM 置于突發(fā)模式，可以在不發(fā)送任何新地址的情況下進(jìn)行八次或更多次 16 位傳輸。

為了克服隨著 DRAM 密度增加而從內(nèi)存獲得更多帶寬的問題，使 DRAM 變得更寬。最初，他們提供了一種四位傳輸模式。在 2017 年，DDR2、DDR3 和 DDR DRAM 擁有多達(dá) 4、8 或 16 位總線。

在 2000 年代初期，引入了進(jìn)一步的創(chuàng)新：雙倍數(shù)據(jù)速率（DDR），它使 DRAM 在時(shí)鐘的上升沿和下降沿都能傳輸數(shù)據(jù)，從而使峰值數(shù)據(jù)速率加倍。

最后，SDRAM 引入了 banks，以幫助進(jìn)行電源管理，縮短訪問時(shí)間并允許對(duì)不同 banks 進(jìn)行交錯(cuò)和重疊訪問。對(duì)不同 banks 的訪問可以相互重疊，并且每個(gè) bank 都有自己的行緩沖區(qū)。在 DRAM 中創(chuàng)建多個(gè) banks 實(shí)際上可以將另一個(gè)段添加到該地址，該段現(xiàn)在由 banks 號(hào)、行地址和列地址組成。發(fā)送指定新 bank 的地址時(shí)，必須打開該 bank，這會(huì)導(dǎo)致額外的延遲。Banks 和行緩沖區(qū)的管理完全由現(xiàn)代內(nèi)存控制接口處理，因此，當(dāng)后續(xù)訪問為打開的 banks 指定同一行時(shí)，訪問可以快速發(fā)生，僅發(fā)送列地址。

為了啟動(dòng)新的訪問，DRAM 控制器發(fā)送一個(gè) bank 和行號(hào)（在 SDRAM 中稱為激活，在以前稱為 RAS- 行選擇）。該命令將打開該行并將整個(gè)行讀入緩沖器。然后可以發(fā)送列地址，并且 SDRAM 可以傳輸一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)，具體取決于它是單項(xiàng)請(qǐng)求還是突發(fā)請(qǐng)求。在訪問新行之前，必須對(duì) bank 進(jìn)行預(yù)充電。如果該行位于同一 bank 中，則可以看到預(yù)充電延遲；但是，如果該行在另一個(gè) bank 中，則關(guān)閉該行并進(jìn)行預(yù)充電可能會(huì)與訪問新行重疊。在同步 DRAM 中，每個(gè)命令周期都需要整數(shù)個(gè)時(shí)鐘周期。

從 1980 年到 1995 年，DRAM 按照摩爾定律進(jìn)行擴(kuò)展，每 18 個(gè)月將容量增加一倍（或 3 年內(nèi)增加 4 倍）。從 1990 年代中期到 2010 年，容量增長速度變慢，兩次增長之間的間隔時(shí)間約為 26 個(gè)月。從 2010 年到 2016 年，容量僅增加了一倍！下表顯示了各種 DDR SDRAM 的容量和訪問時(shí)間。從 DDR1 到 DDR3，訪問時(shí)間縮短了約 3 倍，或每年約 7％。DDR4 相比 DDR3 改善了功耗和帶寬，但是具有類似的訪問延遲。

如上表所示，DDR 是一系列標(biāo)準(zhǔn)。DDR2 通過將電壓從 2.5V 降至 1.8V 來降低 DDR1 的功耗，并提供更高的時(shí)鐘速率：266、333 和 400 MHz。DDR3 將電壓降至 1.5 V，最大時(shí)鐘速度為 800MHz。DDR4 于 2016 年初批量供貨，但預(yù)計(jì)在 2014 年將其電壓降至 1–1.2 V，最大預(yù)期的時(shí)鐘頻率為 1600 MHz。DDR5 不太可能在 2020 年或更晚之前達(dá)到量產(chǎn)。

隨著 DDR 的引入，內(nèi)存設(shè)計(jì)人員越來越關(guān)注帶寬，因?yàn)楹茈y縮短訪問時(shí)間。較寬的 DRAM、突發(fā)傳輸和雙倍數(shù)據(jù)速率均導(dǎo)致內(nèi)存帶寬快速增加。DRAM 通常在稱為雙列直插式內(nèi)存模塊（DIMM）的小板上出售，該模塊包含 4~16 個(gè) DRAM 芯片，通常將其組織為 8 字節(jié)寬（+ ECC），用于臺(tái)式機(jī)和服務(wù)器系統(tǒng)。將 DDR SDRAM 封裝為 DIMM 時(shí)，它們的峰值 DIMM 帶寬會(huì)令人困惑。因此，DIMM 名稱 PC3200 來自 200 MHz×2×8 個(gè)字節(jié)，即 3200 MiB / s。為避免混淆，芯片本身被標(biāo)記為每秒位數(shù)而不是時(shí)鐘速率，因此 200 MHz DDR 芯片稱為 DDR400。下表顯示了 I / O 時(shí)鐘速率、每芯片每秒的傳輸次數(shù)、芯片帶寬、芯片名稱、DIMM 帶寬和 DIMM 名稱之間的關(guān)系。

減少 SDRAM 內(nèi)的功耗

動(dòng)態(tài)存儲(chǔ)芯片的功耗包括讀寫中使用的動(dòng)態(tài)功耗和靜態(tài)或待機(jī)功耗。兩者都取決于工作電壓。在最先進(jìn)的 DDR4 SDRAM 中，工作電壓已降至 1.2 V，與 DDR2 和 DDR3 SDRAM 相比，功耗大大降低。存儲(chǔ)體的增加還降低了功耗，因?yàn)閮H讀取單個(gè)存儲(chǔ)體中的行。

除了這些更改之外，所有最新的 SDRAM 都支持掉電模式，通過告訴 DRAM 忽略時(shí)鐘來進(jìn)入該模式。掉電模式會(huì)禁用 SDRAM，內(nèi)部自動(dòng)刷新除外。

圖形數(shù)據(jù) RAM

GDRAM 或 GSDRAM（Graphics orGraphics Synchronous DRAMs）是基于 SDRAM 設(shè)計(jì)的一類特殊的 DRAM，為處理圖形處理單元的更高帶寬需求而量身定制。GDDR5 基于 DDR3，早期的 GDDRs 基于 DDR2。由于圖形處理器單元（GPU）的每個(gè) DRAM 芯片比 CPU 需要更多的帶寬，因此 GDDR 具有幾個(gè)重要的區(qū)別：

1. GDDR 具有更寬的接口：32 位。

2. GDDR 在數(shù)據(jù)引腳上具有更高的最大時(shí)鐘速率。為了允許更高的傳輸速率而不會(huì)引起信號(hào)問題，與通常以可擴(kuò)展的 DIMM 陣列排列的 DRAM 不同，GDRAM 通常直接連接到 GPU 并通過將它們焊接到板上而連接。

總的來說，這些特性使 GDDR 的運(yùn)行帶寬是 DDR3 DRAM 的 2 至 5 倍。

封裝創(chuàng)新：堆疊或嵌入式 DRAM

2017 年 DRAM 中的最新創(chuàng)新是封裝創(chuàng)新，而不是電路創(chuàng)新。它將多個(gè) DRAM 以堆疊或相鄰的方式放置在與處理器相同的封裝中。（嵌入式 DRAM 也用于指將 DRAM 放置在處理器芯片上的設(shè)計(jì)）。將 DRAM 和處理器放置在同一封裝中可降低訪問延遲（通過縮短 DRAM 和處理器之間的延遲），并可能通過允許更多連接來增加帶寬。處理器與 DRAM 之間的連接速度更快，因此一些生產(chǎn)商將其稱為高帶寬內(nèi)存（High BandwidthMemory，HBM）。

該技術(shù)的一種版本是使用焊點(diǎn)技術(shù)將 DRAM Die 直接放置在 CPU Die 上。假設(shè)有足夠的熱量管理，則可以以這種方式堆疊多個(gè) DRAM。另一種方法是僅堆疊 DRAM，并使用包含連接的基板（中介層）將它們與 CPU 放在單個(gè)封裝中。已經(jīng)證明了可以堆疊多達(dá) 8 個(gè)芯片的 HBM 原型。對(duì)于特殊版本的 SDRAM，這種封裝可以包含 8 GiB 內(nèi)存，數(shù)據(jù)傳輸速率為 1 TB / s。2.5D 技術(shù)目前可用。因?yàn)楸仨殞ｉT制造芯片以堆疊，所以大多數(shù)早期使用很有可能會(huì)用在高端服務(wù)器芯片組中。

在某些應(yīng)用程序中，可能會(huì)在內(nèi)部封裝足夠的 DRAM 以滿足應(yīng)用程序的需求。例如，NvidiaGPU 正在使用 HBM 開發(fā)用作專用集群設(shè)計(jì)中的節(jié)點(diǎn)，并且 HBM 可能會(huì)成為高端應(yīng)用的 GDDR5 的后繼產(chǎn)品。在某些情況下，可能會(huì)使用 HBM 作為主存儲(chǔ)器，盡管目前的成本限制和散熱問題使該技術(shù)無法用于某些嵌入式應(yīng)用程序。

Flash 存儲(chǔ)器

Flash 是一種 EEPROM（電子可擦除可編程只讀存儲(chǔ)器），通常是只讀的，但可以擦除。Flash 的另一個(gè)關(guān)鍵特性是無需任何電源即可保存其內(nèi)容。我們專注于 NAND Flash，它比 NOR Flash 具有更高的密度，并且更適合于大型非易失性存儲(chǔ)器。缺點(diǎn)是訪問是順序的，并且寫入速度較慢，如下所述。

Flash 用作 PMD 中的輔助存儲(chǔ)，其方式與筆記本電腦或服務(wù)器中磁盤的功能相同。此外，由于大多數(shù) PMD 的 DRAM 數(shù)量有限，因此 Flash 還可以充當(dāng)內(nèi)存層次結(jié)構(gòu)的一級(jí)。

Flash 使用的架構(gòu)與標(biāo)準(zhǔn) DRAM 完全不同，并且具有不同的屬性。最重要的區(qū)別是：

1. 對(duì) Flash 的讀取是連續(xù)的，并且是讀取整個(gè)頁面，該頁面可以是 512 字節(jié)、2 KiB 或 4 KiB。因此，NAND Flash 在從隨機(jī)地址訪問第一個(gè)字節(jié)時(shí)會(huì)有較長的延遲（約 25us），但是可以以約 40 MiB / s 的速度訪問頁面塊的其余部分。相比之下，DDR4 SDRAM 到第一個(gè)字節(jié)大約需要 40 ns 的時(shí)間，并且可以 4.8 GiB / s 的速度傳輸其余行。比較傳輸 2 KiB 內(nèi)容的時(shí)間，NAND 閃存大約需要 75μS，而 DDR SDRAM 則需要不到 500 ns，這使 Flash 慢了大約 150 倍。但是，與磁盤相比，從 Flash 讀取 2 KiB 的速度要快 300 到 500 倍。從這些數(shù)字中我們可以看到為什么閃存不是替代 DRAM 替代主存儲(chǔ)器的候選者，而是替代磁盤的候選者。

2. 在重寫覆蓋 Flash 之前，必須先對(duì)其擦除，然后按塊而不是單個(gè)字節(jié)或字進(jìn)行擦除。此要求意味著，當(dāng)必須將數(shù)據(jù)寫入 Flash 時(shí)，必須將整個(gè)塊組裝為新數(shù)據(jù)，或者將要寫入的數(shù)據(jù)與塊的其余內(nèi)容合并。對(duì)于寫操作，F(xiàn)lash 的速度比 SDRAM 慢 1500 倍，是磁盤的 8 到 15 倍。

3. Flash 是非易失性的（即使不加電，它也會(huì)保留其內(nèi)容），并且在不進(jìn)行讀寫時(shí)消耗的功率要少得多。

4. Flash 限制了任何給定塊的寫入次數(shù)，通常至少為 100000。通過確保寫入塊在整個(gè)存儲(chǔ)器中的均勻分布，系統(tǒng)可以使 Flash 系統(tǒng)的壽命最大化。這種技術(shù)稱為寫均衡，由 Flash 控制器處理。

5. 高密度 NAND Flash 比 SDRAM 便宜，但比磁盤貴：Flash 大約為 2 美元 / GiB，SDRAM 為 20 美元至 40 美元 / GiB，磁盤為 0.09 美元 / GiB。在過去的五年中，F(xiàn)lash 的成本降低速度幾乎是磁盤的兩倍。

相變存儲(chǔ)技術(shù)（Phase-Change MemoryTechnology，PCM）

相變存儲(chǔ)器（PCM）幾十年來一直是活躍的研究領(lǐng)域。該技術(shù)通常使用一個(gè)小的加熱元件來改變塊狀襯底在其具有不同電阻特性的晶體形式和非晶形式之間的狀態(tài)。每一位對(duì)應(yīng)于覆蓋襯底的二維網(wǎng)絡(luò)中的交叉點(diǎn)。通過感測(cè) x 點(diǎn)和 y 點(diǎn)之間的電阻（因此稱為憶阻器）來完成讀取，通過施加電流來改變材料的相位來完成寫入。與 NAND Flash 相比，缺少有源器件（如晶體管），可降低成本并提高密度。

2017 年，美光和英特爾開始提供 Xpoint 存儲(chǔ)芯片，該芯片被認(rèn)為是基于 PCM。預(yù)計(jì)該技術(shù)將比 NAND Flash 具有更好的寫入耐久性，并且由于消除了在寫入之前擦除頁面的需要，因此與 NANDFlash 相比的寫入性能提高了十倍。讀取延遲也比 Flash 好 2 到 3 倍。最初，它的價(jià)格預(yù)計(jì)會(huì)略高于 Flash，但是寫入性能和寫入耐久性方面的優(yōu)勢(shì)可能使其具有吸引力，尤其是對(duì)于 SSD。如果這項(xiàng)技術(shù)可以很好地?cái)U(kuò)展并且能夠?qū)崿F(xiàn)進(jìn)一步的成本降低，那么固態(tài)磁盤技術(shù)將取代磁盤，磁盤已成為主流的非易失性主要存儲(chǔ)設(shè)備，已經(jīng)使用了 50 多年。

提高存儲(chǔ)器系統(tǒng)的可靠性

大型 Cache 和主存儲(chǔ)器顯著增加了在制造過程中以及在操作過程中動(dòng)態(tài)發(fā)生錯(cuò)誤的可能性。由電路變化引起且可重復(fù)的錯(cuò)誤稱為硬錯(cuò)誤或永久性故障。硬錯(cuò)誤可能在制造期間發(fā)生，也可能在操作期間發(fā)生電路變化（例如，多次寫入后 Flash 單元發(fā)生故障）。所有 DRAM、Flash 和大多數(shù) SRAM 都制造有備用行，因此可以通過編程用備用行替換有缺陷的行來容納少量的制造缺陷。動(dòng)態(tài)錯(cuò)誤是對(duì)單元內(nèi)容的更改，而不是電路的更改，稱為軟錯(cuò)誤或瞬態(tài)故障。

動(dòng)態(tài)錯(cuò)誤可以通過奇偶校驗(yàn)位進(jìn)行檢測(cè)，并可以通過使用糾錯(cuò)碼（ECC）進(jìn)行檢測(cè)和修復(fù)。因?yàn)橹噶罡咚?Cache 是只讀的，所以奇偶校驗(yàn)就足夠了。在較大的數(shù)據(jù)高速 Cache 和主存儲(chǔ)器中，ECC 用于檢測(cè)和糾正錯(cuò)誤。奇偶校驗(yàn)僅需要開銷的一小部分就可以檢測(cè)到一系列位中的單個(gè)錯(cuò)誤。由于奇偶校驗(yàn)不會(huì)檢測(cè)到多位錯(cuò)誤，因此必須限制由奇偶校驗(yàn)位保護(hù)的位數(shù)。每 8 個(gè)數(shù)據(jù)位一個(gè)奇偶校驗(yàn)位是一種典型的比率。ECC 可以檢測(cè)兩個(gè)錯(cuò)誤并糾正單個(gè)錯(cuò)誤，每 64 個(gè)數(shù)據(jù)位的開銷為 8 位。

在非常大的系統(tǒng)中，多個(gè)錯(cuò)誤以及單個(gè)存儲(chǔ)芯片完全故障的可能性變得十分明顯。為了解決此問題，IBM 引入了 Chipkill，許多大型系統(tǒng)（例如 IBM 和 SUN 服務(wù)器以及 Google 集群）都使用了這項(xiàng)技術(shù)。Chipkill 本質(zhì)上與磁盤使用的 RAID 方法類似，其分散數(shù)據(jù)和 ECC 信息，在單個(gè)存儲(chǔ)器芯片完全失效時(shí)，可以從其余存儲(chǔ)器芯片中重構(gòu)丟失數(shù)據(jù)。根據(jù) IBM 的分析，假設(shè)有 10000 個(gè)的服務(wù)器（每個(gè)處理器 4 GiB 存儲(chǔ)器），在三年的運(yùn)行中產(chǎn)生無法恢復(fù)的錯(cuò)誤數(shù)目如下所示：

僅奇偶校驗(yàn)：大約 90000 個(gè)，或者說每 17 分鐘發(fā)生一次不可恢復(fù)的（或無法檢測(cè)到的）故障。

僅適用于 ECC：大約 3500 個(gè)，或者說每 7.5 小時(shí)大約有一個(gè)未檢測(cè)到或無法恢復(fù)的故障。

Chipkill：每 2 個(gè)月大約發(fā)生一次未被發(fā)現(xiàn)或無法恢復(fù)的故障。

解決此問題的另一種方法是在錯(cuò)誤率與 Chipkill 相同的情況下找到可以保護(hù)的最大服務(wù)器數(shù)量（每個(gè)服務(wù)器具有 4 GiB 存儲(chǔ)器）。采用奇偶校驗(yàn)，即使是只有一個(gè)處理器的服務(wù)器，其不可恢復(fù)的錯(cuò)誤率也將高于具有 10000 個(gè)服務(wù)器的、受 Chipkill 保護(hù)的系統(tǒng)。對(duì)于 ECC，具有 17 個(gè)服務(wù)器的系統(tǒng)的故障率將與具有 10000 個(gè)服務(wù)器、受 Chipkill 保護(hù)的系統(tǒng)的故障率大致相同。因此，對(duì)于倉庫級(jí)計(jì)算機(jī)，其具有 50000~10000 個(gè)服務(wù)器，需要 Chipkill 技術(shù)來保護(hù)。

審核編輯黃昊宇