大多數(shù)數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)一組數(shù)據(jù)記錄，這些記錄由表中的列和行組成。字段是列和行的交集：某種類(lèi)型的單個(gè)值。

屬于同一列的字段通常具有相同的數(shù)據(jù)類(lèi)型。例如，如果我們定義了一個(gè)包含用戶(hù)數(shù)據(jù)的表，那么所有的用戶(hù)名都將是相同的類(lèi)型，并且屬于同一列。在邏輯上屬于同一數(shù)據(jù)記錄（通常由鍵標(biāo)識(shí)）的值的集合構(gòu)成一行。

對(duì)數(shù)據(jù)庫(kù)進(jìn)行分類(lèi)的方法之一是按數(shù)據(jù)在磁盤(pán)上的存儲(chǔ)方式進(jìn)行分類(lèi)：按行或按列進(jìn)行分類(lèi)。表可以水平分區(qū)（將屬于同一行的值存儲(chǔ)在一起），也可以垂直分區(qū)（將屬于同一列的值存儲(chǔ)在一起）。圖1-2描述了這種區(qū)別：a）顯示了按列分區(qū)的值，b）顯示了按行分區(qū)的值。

▲圖1-2：面向列和行的存儲(chǔ)中的數(shù)據(jù)布局面向行的數(shù)據(jù)庫(kù)的例子很多：MySQL、PostgreSQL和大多數(shù)傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)。而兩個(gè)開(kāi)源的、面向列數(shù)據(jù)存儲(chǔ)的先驅(qū)則是MonetDB和C-Store（C-Store是Vertica的開(kāi)源前身）。

01 面向行的數(shù)據(jù)布局

面向行的數(shù)據(jù)庫(kù)按記錄或行來(lái)存儲(chǔ)數(shù)據(jù)。它的布局非常接近表格的數(shù)據(jù)表示方法，即其中每一行都具有相同的字段集合。例如，面向行的數(shù)據(jù)庫(kù)可以有效地存儲(chǔ)用戶(hù)條目，其中包含姓名、出生日期和電話(huà)號(hào)碼：

| ID | Name | Birth Date | Phone Number |

| 10 | John | 01 Aug 1981 | +1 111 222 333 |

| 20 | Sam | 14 Sep 1988 | +1 555 888 999 |

| 30 | Keith | 07 Jan 1984 | +1 333 444 555 |

這種方法適用于如下的場(chǎng)景：數(shù)據(jù)記錄（姓名、出生日期和電話(huà)號(hào)碼）由多個(gè)字段組成且由某個(gè)鍵（在本例中為單調(diào)遞增的ID）所唯一標(biāo)識(shí)。表示單個(gè)用戶(hù)的數(shù)據(jù)記錄的所有字段通常被一起讀取。在創(chuàng)建數(shù)據(jù)時(shí)（例如，當(dāng)用戶(hù)填寫(xiě)注冊(cè)表單時(shí)），我們也將它們一起寫(xiě)入數(shù)據(jù)庫(kù)。與此同時(shí)，我們可以單獨(dú)修改某個(gè)字段。

在需要按行訪(fǎng)問(wèn)數(shù)據(jù)的情況下，面向行的存儲(chǔ)最有用，將整行存儲(chǔ)在一起可以提高空間局部性。

因?yàn)橹T如磁盤(pán)之類(lèi)的持久性介質(zhì)上的數(shù)據(jù)通常是按塊訪(fǎng)問(wèn)的（換句話(huà)說(shuō)，磁盤(pán)訪(fǎng)問(wèn)的最小單位是塊），所以單個(gè)塊可能將包含某行中所有列的數(shù)據(jù)。

這對(duì)于我們希望訪(fǎng)問(wèn)整個(gè)用戶(hù)記錄的情況非常有用，但這樣的存儲(chǔ)布局會(huì)使訪(fǎng)問(wèn)多個(gè)用戶(hù)記錄某個(gè)字段的查詢(xún)（例如，只獲取電話(huà)號(hào)碼的查詢(xún)）開(kāi)銷(xiāo)更大，因?yàn)槠渌侄蔚臄?shù)據(jù)在這個(gè)過(guò)程中也會(huì)被讀入。

02 面向列的數(shù)據(jù)布局

面向列的數(shù)據(jù)庫(kù)垂直地將數(shù)據(jù)進(jìn)行分區(qū)（即通過(guò)列進(jìn)行分區(qū)），而不是將其按行存儲(chǔ)。在這種數(shù)據(jù)存儲(chǔ)布局中，同一列的值被連續(xù)地存儲(chǔ)在磁盤(pán)上（而不是像前面的示例那樣將行連續(xù)地存儲(chǔ)）。

例如，如果我們要存儲(chǔ)股票市場(chǎng)的歷史價(jià)格，那么股票價(jià)格這一列的數(shù)據(jù)便會(huì)被存儲(chǔ)在一起。將不同列的值存儲(chǔ)在不同的文件或文件段中，可以按列進(jìn)行有效的查詢(xún)，因?yàn)樗鼈兛梢砸淮涡缘乇蛔x取出來(lái)，而不是先對(duì)整行進(jìn)行讀取后再丟棄掉不需要的列。

面向列的存儲(chǔ)非常適合計(jì)算聚合的分析型工作負(fù)載，例如查找趨勢(shì)、計(jì)算平均值等。如果邏輯記錄具有多個(gè)字段，但是其中某些字段（在本例中為股票價(jià)格）具有不同的重要性并且該字段所存儲(chǔ)的數(shù)據(jù)經(jīng)常被一起使用，那么我們一般使用復(fù)雜聚合來(lái)處理這樣的情況。

從邏輯角度看，表示股票市場(chǎng)價(jià)格的數(shù)據(jù)仍舊可以表示為表的形式：

| ID | Symbol | Date | Price |

| 1 | DOW | 08 Aug 2018 | 24，314.65 |

| 2 | DOW | 09 Aug 2018 | 24，136.16 |

| 3 | S&P | 08 Aug 2018 | 2，414.45 |

| 4 | S&P | 09 Aug 2018 | 2，232.32 |

而列式存儲(chǔ)則看起來(lái)與上述存儲(chǔ)布局完全不同—屬于同一列的值被緊密地存儲(chǔ)在一起：

Symbol： 1:DOW; 2:DOW; 3:S&P; 4:S&P

Date： 1:08 Aug 2018; 2:09 Aug 2018; 3:08 Aug 2018; 4:09 Aug 2018

Price： 1:24，314.65; 2:24，136.16; 3:2，414.45; 4:2，232.32

為了重建數(shù)據(jù)元組（這對(duì)于連接、篩選和多行聚合可能很有用），我們需要在列級(jí)別上保留一些元數(shù)據(jù)，以標(biāo)識(shí)與它關(guān)聯(lián)的其他列中的數(shù)據(jù)點(diǎn)是哪些。如果你顯式地執(zhí)行此操作，則需要每個(gè)值都必須持有一個(gè)鍵，這將導(dǎo)致數(shù)據(jù)重復(fù)并增加存儲(chǔ)的數(shù)據(jù)量。

針對(duì)這種需求，一些列存儲(chǔ)使用隱式標(biāo)識(shí)符（虛擬ID），并使用該值的位置（換句話(huà)說(shuō)，其偏移量）將其映射回相關(guān)值。

在過(guò)去幾年中，可能由于對(duì)不斷增長(zhǎng)的數(shù)據(jù)集運(yùn)行復(fù)雜分析查詢(xún)的需求不斷增長(zhǎng)，我們看到了許多新的面向列的文件格式，如Apache Parquet、Apache ORC、RCFile，以及面向列的存儲(chǔ)，如Apache Kudu、ClickHouse，以及許多其他列式數(shù)據(jù)存儲(chǔ)組件。

03 區(qū)別與優(yōu)化

認(rèn)為行存儲(chǔ)和列存儲(chǔ)之間的區(qū)別僅在于數(shù)據(jù)的存儲(chǔ)方式有所不同，這是不充分的。選擇數(shù)據(jù)布局只是列式存儲(chǔ)所針對(duì)的一系列可能的優(yōu)化的步驟之一。

在一次讀取中，從同一列中讀取多個(gè)值可以顯著提高緩存利用率和計(jì)算效率。在現(xiàn)代CPU上，向量化指令可以使單條CPU指令一次處理多個(gè)數(shù)據(jù)點(diǎn)。

另外，將具有相同數(shù)據(jù)類(lèi)型的值存儲(chǔ)在一起（例如，數(shù)字與數(shù)字在一起，字符串與字符串在一起）可以提高壓縮率。我們可以根據(jù)不同的數(shù)據(jù)類(lèi)型使用不同的壓縮算法，并為每種情況選擇最有效的壓縮方法。

要決定是使用面向列還是面向行的存儲(chǔ)，你需要了解訪(fǎng)問(wèn)模式。如果所讀取的記錄中的大多數(shù)或所有列都是需要的，并且工作負(fù)載主要由單條記錄查詢(xún)和范圍掃描組成，則面向行的存儲(chǔ)布局可能產(chǎn)生更好的結(jié)果。如果掃描跨越多行，或者在列的子集上進(jìn)行計(jì)算聚合，則值得考慮使用面向列的存儲(chǔ)布局。

04 寬列式存儲(chǔ)

面向列的數(shù)據(jù)庫(kù)不應(yīng)與寬列式存儲(chǔ)（如BigTable或HBase）相混淆。在這些數(shù)據(jù)庫(kù)中，數(shù)據(jù)表示為多維映射，列被分組為列族（通常存儲(chǔ)相同類(lèi)型的數(shù)據(jù)），并且在每個(gè)列族中，數(shù)據(jù)被逐行存儲(chǔ)。此布局最適合存儲(chǔ)由一個(gè)鍵或一組鍵來(lái)檢索的數(shù)據(jù)。

BigTable論文中的一個(gè)典型示例是WebTable。一個(gè)WebTable存儲(chǔ)著一個(gè)帶有某個(gè)時(shí)間戳、包含如下信息的快照：網(wǎng)頁(yè)內(nèi)容、屬性以及它們之間的關(guān)系。

頁(yè)面由反向URL所標(biāo)識(shí)，并且所有屬性（如頁(yè)面內(nèi)容和錨，錨表示頁(yè)面之間的鏈接）由生成這些快照的時(shí)間戳來(lái)標(biāo)識(shí)。簡(jiǎn)而言之，它可以表示為一個(gè)嵌套的映射，如圖1-3所示。

▲圖1-3：WebTable的概念性結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)在具有層次索引的多維排序映射中：我們可以通過(guò)特定網(wǎng)頁(yè)的反向URL來(lái)定位與該網(wǎng)頁(yè)相關(guān)的數(shù)據(jù)，也可以通過(guò)時(shí)間戳來(lái)定位該網(wǎng)頁(yè)的內(nèi)容或錨。每一行都按其行鍵進(jìn)行索引。

在列族中，相關(guān)列被分組在一起（在本例中為contents和anchor），這些列族分別存儲(chǔ)在磁盤(pán)上。列族中的每個(gè)列都由列鍵標(biāo)識(shí)，該鍵是列族名稱(chēng)和限定符（在本例中為html，cnnsi.com，my.look.ca）的組合。

列族可以按照時(shí)間戳存儲(chǔ)多個(gè)版本的數(shù)據(jù)。這種布局使得我們可以快速定位更高層的條目（在本例中為Web頁(yè)面）及其參數(shù)（不同版本的內(nèi)容和指向其他頁(yè)面的鏈接）。

理解寬列式存儲(chǔ)的概念表示是有用的，而它們的物理布局也有所不同。列族的數(shù)據(jù)布局示意圖如圖1-4所示：列族被單獨(dú)存儲(chǔ)，但在每個(gè)列族中，屬于同一鍵的數(shù)據(jù)被存儲(chǔ)在一起。

▲圖1-4：WebTable的物理結(jié)構(gòu)