Linux I/O 接口

Linux I/O 接口可以分為以下幾種類(lèi)型：

文件 I/O 接口：用于對(duì)文件進(jìn)行讀寫(xiě)操作的接口，包括 open()、read()、write()、close()、lseek() 等。

網(wǎng)絡(luò) I/O 接口：用于網(wǎng)絡(luò)通信的接口，包括 socket()、connect()、bind()、listen()、accept() 等。

設(shè)備 I/O 接口：用于對(duì)設(shè)備（e.g. 字符設(shè)備、塊設(shè)備）進(jìn)行讀寫(xiě)操作的接口，包括 ioctl()、mmap()、select()、poll()、epoll() 等。

其他 I/O 接口：如管道接口、共享內(nèi)存接口、信號(hào)量接口等。

Linux I/O 處理流程

下面以最常用的 read() 和 write() 函數(shù)來(lái)介紹 Linux 的 I/O 處理流程。

read() 和 write()

read() 和 write() 函數(shù)，是最基本的文件 I/O 接口，也可用于在 TCP Socket 中進(jìn)行數(shù)據(jù)讀寫(xiě)，屬于阻塞式 I/O（Blocking I/O），即：如果沒(méi)有可讀數(shù)據(jù)或者對(duì)端的接收緩沖區(qū)已滿(mǎn)，則函數(shù)將一直等待直到有數(shù)據(jù)可讀或者對(duì)端緩沖區(qū)可寫(xiě)。

函數(shù)原型：

fd 參數(shù)：指示 fd 文件描述符。

buf 參數(shù)：指示 read/write 緩沖區(qū)的入口地址。

count 參數(shù)：指示 read/write 數(shù)據(jù)的大小，單位為 Byte。

函數(shù)返回值：

• 返回實(shí)際 read/write 的字節(jié)數(shù)。
• 返回 0，表示已到達(dá)文件末尾。
• 返回 -1，表示操作失敗，可以通過(guò) errno 全局變量來(lái)獲取具體的錯(cuò)誤碼。

處理流程

下面以同時(shí)涉及了 Storage I/O 和 Network I/O 的一次網(wǎng)絡(luò)文件下載操作來(lái)展開(kāi) read() 和 write() 的處理流程。

read() 的處理流程：

1. Application 調(diào)用 read()，CPU 模式從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. Kernel 根據(jù) file fd 查表（進(jìn)程文件符表），找到對(duì)應(yīng)的 file 結(jié)構(gòu)體（普通文件），從而找到此文件的 inode 編號(hào)。
3. Kernel 將 buf 和 count 參數(shù)、以及文件指針位置等信息傳遞給 Device Driver（磁盤(pán)驅(qū)動(dòng)程序）。
4. Driver 將請(qǐng)求的數(shù)據(jù)從 Disk Device 中 DMA Copy 到 Kernel PageCache Buffer 中。
5. Kernel 將數(shù)據(jù)從 Kernel PageCache Buffer 中 CPU Copy 到 Userspace Buffer 中（Application 不能直接訪問(wèn) Kernel space）。
6. read() 最終返回讀取的字節(jié)數(shù)或錯(cuò)誤代碼給 Application，CPU 模式從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

write() 的處理流程：

1. Application 調(diào)用 write()，CPU 模式從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. Kernel 根據(jù) socket fd 查表，找到對(duì)應(yīng)的 file 結(jié)構(gòu)體（套接字文件），從而找到該 Socket 的 sock 結(jié)構(gòu)體。
3. Kernel 將 buf 和 count 參數(shù)、以及文件指針位置等信息傳遞給 Device Driver（網(wǎng)卡驅(qū)動(dòng)程序）。
4. Driver 將請(qǐng)求的數(shù)據(jù)從 Userspace Buffer 中 CPU Copy 到 Kernel Socket Buffer 中。
5. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 NIC Device。
6. write() 最終返回寫(xiě)入的字節(jié)數(shù)或錯(cuò)誤代碼給 Application，CPU 模式從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

可見(jiàn)，在一次常規(guī)的 I/O（read/write）操作流程中 處理流程中，總共需要涉及到：

• 4 次 CPU 模式切換：當(dāng) Application 調(diào)用 SCI 時(shí)，CPU 從用戶(hù)態(tài)切換到內(nèi)核態(tài)；當(dāng) SCI 返回時(shí)，CPU 從內(nèi)核態(tài)切換回用戶(hù)態(tài)。
• 2 次 CPU Copy：CPU 執(zhí)行進(jìn)程數(shù)據(jù)拷貝指令，將數(shù)據(jù)從 User Process 虛擬地址空間 Copy 到 Kernel 虛擬地址空間。
• 2 次 DMA Copy：CPU 向 DMA 控制器下達(dá)設(shè)備數(shù)據(jù)拷貝指令，將數(shù)據(jù)從 DMA 物理內(nèi)存空間 Copy 到 Kernel 虛擬地址空間。

I/O 性能優(yōu)化機(jī)制

I/O buff/cache

Linux Kernel 為了提高 I/O 性能，劃分了一部分物理內(nèi)存空間作為 I/O buff/cache，也就是內(nèi)核緩沖區(qū)。當(dāng) Kernel 接收到 read() / write() 等讀寫(xiě)請(qǐng)求時(shí)，首先會(huì)到 buff/cache 查找，如果找到，則立即返回。如果沒(méi)有則通過(guò)驅(qū)動(dòng)程序訪問(wèn) I/O 外設(shè)。

查看 Linux 的 buff/cache：

實(shí)際上，Cache（緩存）和 Buffer（緩沖）從嚴(yán)格意義上講是 2 個(gè)不同的概念，Cache 側(cè)重加速 “讀”，而 Buffer 側(cè)重緩沖 “寫(xiě)”。但在很多場(chǎng)景中，由于讀寫(xiě)總是成對(duì)存在的，所以并沒(méi)有嚴(yán)格區(qū)分兩者，而是使用 buff/cache 來(lái)統(tǒng)一描述。

Page Cache

Page Cache（頁(yè)緩存）是最常用的 I/O Cache 技術(shù)，以頁(yè)為單位的，內(nèi)容就是磁盤(pán)上的物理塊，用于減少 Application 對(duì) Storage 的 I/O 操作，能夠令 Application 對(duì)文件進(jìn)行順序讀寫(xiě)的速度接近于對(duì)內(nèi)存的讀寫(xiě)速度。

頁(yè)緩存讀策略：當(dāng) Application 發(fā)起一個(gè) Read() 操作，Kernel 首先會(huì)檢查需要的數(shù)據(jù)是否在 Page Cache 中：

• 如果在，則直接從 Page Cache 中讀取。
• 如果不在，則按照原 I/O 路徑從磁盤(pán)中讀取。同時(shí)，還會(huì)根據(jù)局部性原理，進(jìn)行文件預(yù)讀，即：將已讀數(shù)據(jù)隨后的少數(shù)幾個(gè)頁(yè)面（通常是三個(gè)）一同緩存到 Page Cache 中。

頁(yè)緩存寫(xiě)策略：當(dāng) Application 發(fā)起一個(gè) write() 操作，Kernel 首先會(huì)將數(shù)據(jù)寫(xiě)到 Page Cache，然后方法返回，即：Write back（寫(xiě)回）機(jī)制，區(qū)別于 Write Through（寫(xiě)穿）。此時(shí)數(shù)據(jù)還沒(méi)有真正的寫(xiě)入到文件中去，Kernel 僅僅將已寫(xiě)入到 Page Cache 的這一個(gè)頁(yè)面標(biāo)記為 “臟頁(yè)（Dirty Page）”，并加入到臟頁(yè)鏈表中。然后，由 flusher（pdflush，Page Dirty Flush）kernel thread（回寫(xiě)內(nèi)核線程）周期性地將臟頁(yè)鏈表中的頁(yè)寫(xiě)到磁盤(pán)，并清理 “臟頁(yè)” 標(biāo)識(shí)。在以下 3 種情況下，臟頁(yè)會(huì)被寫(xiě)回磁盤(pán)：

1. 當(dāng)空閑內(nèi)存低于一個(gè)特定的閾值時(shí)，內(nèi)核必須將臟頁(yè)寫(xiě)回磁盤(pán)，以便釋放內(nèi)存。
2. 當(dāng)臟頁(yè)在內(nèi)存中駐留時(shí)間超過(guò)一個(gè)特定的閾值時(shí)，內(nèi)核必須將超時(shí)的臟頁(yè)寫(xiě)回磁盤(pán)。
3. 當(dāng) Application 主動(dòng)調(diào)用 sync、fsync、fdatasync 等 SCI 時(shí)，內(nèi)核會(huì)執(zhí)行相應(yīng)的寫(xiě)回操作。

flusher 刷新策略由以下幾個(gè)內(nèi)核參數(shù)決定（數(shù)值單位均為 1/100 秒）：

綜上可見(jiàn)，Page Cache 技術(shù)在理想的情況下，可以在一次 Storage I/O 的流程中，減少 2 次 DMA Copy 操作（不直接訪問(wèn)磁盤(pán)）。

Buffered I/O

下圖展示了一個(gè) C 程序通過(guò) stdio 庫(kù)中的 printf() 或 fputc() 等輸出函數(shù)來(lái)執(zhí)行數(shù)據(jù)寫(xiě)入的操作處理流程。過(guò)程中涉及到了多處 I/O Buffer 的實(shí)現(xiàn)：

1. stdio buffer：在 Userspace 實(shí)現(xiàn)的 Buffer，因?yàn)?SCI 的成本昂貴，所以，Userspace Buffer 用于 “積累“ 到更多的待寫(xiě)入數(shù)據(jù)，然后再通過(guò)一次 SCI 來(lái)完成真正的寫(xiě)入。另外，stdio 也支持 fflush() 強(qiáng)制刷新函數(shù)。
2. Kernel buffer cache：處理包括上文以及提到的 Page Cache 技術(shù)之外，磁盤(pán)設(shè)備驅(qū)動(dòng)程序也提供塊級(jí)別的 Buffer 技術(shù)，用于 “積累“ 更多的文件系統(tǒng)元數(shù)據(jù)和磁盤(pán)塊數(shù)據(jù)，然后在合適的時(shí)機(jī)完成真正的寫(xiě)入。

零拷貝技術(shù)（Zero-Copy）

零拷貝技術(shù)（Zero-Copy），是通過(guò)盡量避免在 I/O 處理流程中使用 CPU Copy 和 DMA Copy 的技術(shù)。實(shí)際上，零拷貝并非真正做到了沒(méi)有任何拷貝動(dòng)作，它更多是一種優(yōu)化的思想。

下列表格從 CPU Copy 次數(shù)、DMA Copy 次數(shù)以及 SCI 次數(shù)這 3 個(gè)方面來(lái)對(duì)比了幾種常見(jiàn)的零拷貝技術(shù)?？梢钥匆?jiàn)，2 次 DMA Copy 是不可避免的，因?yàn)?DMA 是外設(shè) I/O 的基本行為。零拷貝技術(shù)主要從減少 CPU Copy 和 CPU 模式切換這 2 個(gè)方面展開(kāi)。

1、Userspace Direct I/O

Userspace Direct I/O（用戶(hù)態(tài)直接 I/O）技術(shù)的底層原理由 Kernel space 中的 ZONE_DMA 支持。ZONE_DMA 是一塊 Kernel 和 User Process 都可以直接訪問(wèn)的 I/O 外設(shè) DMA 物理內(nèi)存空間?；诖?， Application 可以直接讀寫(xiě) I/O 外設(shè)，而 Kernel 只會(huì)輔助執(zhí)行必要的虛擬存儲(chǔ)配置工作，不直接參與數(shù)據(jù)傳輸。因此，該技術(shù)可以減少 2 次 CPU Copy。

Userspace Direct I/O 的缺點(diǎn)：

1. 由于旁路了 要求 Kernel buffer cache 優(yōu)化，就需要 Application 自身實(shí)現(xiàn) Buffer Cache 機(jī)制，稱(chēng)為自緩存應(yīng)用程序，例如：數(shù)據(jù)庫(kù)管理系統(tǒng)。
2. 由于 Application 直接訪問(wèn) I/O 外設(shè)，會(huì)導(dǎo)致 CPU 阻塞，浪費(fèi) CPU 資源，這個(gè)問(wèn)題需要結(jié)合異步 I/O 技術(shù)來(lái)規(guī)避。

具體流程看下圖：Using Direct I/O with DMA

2、mmap() + write()

mmap() SCI 用于將 I/O 外設(shè)（e.g. 磁盤(pán)）中的一個(gè)文件、或一段內(nèi)存空間（e.g. Kernel Buffer Cache）直接映射到 User Process 虛擬地址空間中的 Memory Mapping Segment，然后 User Process 就可以通過(guò)指針的方式來(lái)直接訪問(wèn)這一段內(nèi)存，而不必再調(diào)用傳統(tǒng)的 read() / write() SCI。

申請(qǐng)空間函數(shù)原型：

• addr 參數(shù)：分配 MMS 映射區(qū)的入口地址，由 Kernel 指定，調(diào)用時(shí)傳入 NULL。
• length 參數(shù)：指示 MMS 映射區(qū)的大小。
• prot 參數(shù)：指示 MMS 映射區(qū)的權(quán)限，可選：PROT_READ、PROT_WRITE、PROT_READ|PROT_WRITE 類(lèi)型。
• flags 參數(shù)：標(biāo)志位參數(shù)，可選：
• MAP_SHARED：映射區(qū)所做的修改會(huì)反映到物理設(shè)備（磁盤(pán)）上。
• MAP_PRIVATE：映射區(qū)所做的修改不會(huì)反映到物理設(shè)備上。
• fd 參數(shù)：指示 MMS 映射區(qū)的文件描述符。
• offset 參數(shù)：指示映射文件的偏移量，為 4k 的整數(shù)倍，可以映射整個(gè)文件，也可以只映射一部分內(nèi)容。
• 函數(shù)返回值：
• 成功：更新 addr 入口地址。
• 失?。焊?MAP_FAILED 宏。

釋放空間函數(shù)原型：

• addr 參數(shù)：分配 MMS 映射區(qū)的入口地址，由 Kernel 指定，調(diào)用時(shí)傳入 NULL。
• length 參數(shù)：指示 MMS 映射區(qū)的大小。
• 函數(shù)返回值：
• 成功：返回 0。
• 失?。悍祷?-1。

可見(jiàn)，mmap() 是一種高效的 I/O 方式。通過(guò) mmap() 和 write() 結(jié)合的方式，可以實(shí)現(xiàn)一定程度的零拷貝優(yōu)化。

mmap() + write() 的 I/O 處理流程如下。

mmap() 映射：

1. Application 發(fā)起 mmap() 調(diào)用，進(jìn)行文件操作，CPU 模式從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. mmap() 將指定的 Kernel Buffer Cache 空間映射到 Application 虛擬地址空間。
3. mmap() 返回，CPU 模式從內(nèi)核態(tài)切換到用戶(hù)態(tài)。
4. 在 Application 后續(xù)的文件訪問(wèn)中，如果出現(xiàn) Page Cache Miss，則觸發(fā)缺頁(yè)異常，并執(zhí)行 Page Cache 機(jī)制。通過(guò)已經(jīng)建立好的映射關(guān)系，只使用一次 DMA Copy 就將文件數(shù)據(jù)從磁盤(pán)拷貝到 Application User Buffer 中。

write() 寫(xiě)入：

1. Application 發(fā)起 write() 調(diào)用，CPU 模式從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. 由于此時(shí) Application User Buffer 和 Kernel Buffer Cache 的數(shù)據(jù)是一致的，所以直接從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer，并最終從 NIC 發(fā)出。
3. write() 返回，CPU 模式從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

可見(jiàn)，mmap() + write() 的 I/O 處理流程減少了一次 CPU Copy，但沒(méi)有減少 CPU 模式切換的次數(shù)。另外，由于 mmap() 的進(jìn)程間共享特性，非常適用于共享大文件的 I/O 場(chǎng)景。

mmap() + write() 的缺點(diǎn)：當(dāng) mmap 映射一個(gè)文件時(shí)，如果這個(gè)文件被另一個(gè)進(jìn)程所截獲，那么 write 系統(tǒng)調(diào)用會(huì)因?yàn)樵L問(wèn)非法地址被 SIGBUS 信號(hào)終止，SIGBUS 默認(rèn)會(huì)殺死進(jìn)程并產(chǎn)生一個(gè) coredump。解決這個(gè)問(wèn)題通常需要使用文件租借鎖實(shí)現(xiàn)。在 mmap 之前加鎖，操作完之后解鎖。即：首先為文件申請(qǐng)一個(gè)租借鎖，當(dāng)其他進(jìn)程想要截?cái)噙@個(gè)文件時(shí)，內(nèi)核會(huì)發(fā)送一個(gè)實(shí)時(shí)的 RT_SIGNAL_LEASE 信號(hào)，告訴當(dāng)前進(jìn)程有進(jìn)程在試圖破壞文件，這樣 write 在被 SIGBUS 殺死之前，會(huì)被中斷，返回已經(jīng)寫(xiě)入的字節(jié)數(shù)，并設(shè)置 errno 為 success。

3、sendfile()

Linux Kernel 從 v2.1 開(kāi)始引入了 sendfile()，用于在 Kernel space 中將一個(gè) in_fd 的內(nèi)容復(fù)制到另一個(gè) out_fd 中，數(shù)據(jù)無(wú)需經(jīng)過(guò) Userspace，所以應(yīng)用在 I/O 流程中，可以減少一次 CPU Copy。同時(shí)，sendfile() 比 mmap() 方式更具安全性。

函數(shù)原型：

• out_fd 參數(shù)：目標(biāo)文件描述符，數(shù)據(jù)輸入文件。
• in_fd 參數(shù)：源文件描述符，數(shù)據(jù)輸出文件。該文件必須是可以 mmap 的。
• offset 參數(shù)：指定從源文件的哪個(gè)位置開(kāi)始讀取數(shù)據(jù)，若不需要指定，傳遞一個(gè) NULL。
• count 參數(shù)：指定要發(fā)送的數(shù)據(jù)字節(jié)數(shù)。
• 函數(shù)返回值：
• 成功：返回復(fù)制的字節(jié)數(shù)。
• 失?。悍祷?-1，并設(shè)置 errno 全局變量來(lái)指示錯(cuò)誤類(lèi)型。

sendfile() 處理流程：

1. Application 調(diào)用 sendfile()，CPU 從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. Kernel 將數(shù)據(jù)通過(guò) DMA Copy 從磁盤(pán)設(shè)備寫(xiě)入 Kernel Buffer Cache。
3. Kernel 將數(shù)據(jù)從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer。
4. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 I/O 網(wǎng)卡設(shè)備。
5. sendfile() 返回，CPU 從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

4、sendfile() + DMA Gather Copy

上文知道 sendfile() 還具有一次 CPU Copy，通過(guò)結(jié)合 DMA Gather Copy 技術(shù)，可以進(jìn)一步優(yōu)化它。

DMA Gather Copy 技術(shù)，底層有 I/O 外設(shè)的 DMA Controller 提供的 Gather 功能支撐，所以又稱(chēng)為 “DMA 硬件輔助的 sendfile()“。借助硬件設(shè)備的幫助，在數(shù)據(jù)從 Kernel Buffer Cache 到 Kernel Socket Buffer 之間，并不會(huì)真正的數(shù)據(jù)拷貝，而是僅拷貝了緩沖區(qū)描述符（fd + size）。待完成后，DMA Controller，可以根據(jù)這些緩沖區(qū)描述符找到依舊存儲(chǔ)在 Kernel Buffer Cache 中的數(shù)據(jù)，并進(jìn)行 DMA Copy。

顯然，DMA Gather Copy 技術(shù)依舊是 ZONE_DMA 物理內(nèi)存空間共享性的一個(gè)應(yīng)用場(chǎng)景。

sendfile() + DMA Gather Copy 的處理流程：

1. Application 調(diào)用 sendfile()，CPU 從用戶(hù)態(tài)切換到內(nèi)核態(tài)模式。
2. Kernel 將數(shù)據(jù)通過(guò) DMA Copy 從磁盤(pán)設(shè)備寫(xiě)入 Kernel Buffer Cache。
3. Kernel 將數(shù)據(jù)的緩沖區(qū)描述符從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer（幾乎不費(fèi)資源）。
4. 基于緩沖區(qū)描述符，CPU 利用 DMA Controller 的 Gather / Scatter 操作直接批量地將數(shù)據(jù)從 Kernel Buffer Cache 中 DMA Copy 到網(wǎng)卡設(shè)備。
5. sendfile() 返回，CPU 從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

5、splice()

splice() 與 sendfile() 的處理流程類(lèi)似，但數(shù)據(jù)傳輸方式有本質(zhì)不同。

• sendfile() 的傳輸方式是 CPU Copy，且具有數(shù)據(jù)大小限制；
• splice() 的傳輸方式是 Pipeline，打破了數(shù)據(jù)范圍的限制。但也要求 2 個(gè) fd 中至少有一個(gè)必須是管道設(shè)備類(lèi)型。

函數(shù)原型：

• fd_in 參數(shù)：源文件描述符，數(shù)據(jù)輸出文件。
• off_in 參數(shù)：輸出偏移量指針，表示從源文件描述符的哪個(gè)位置開(kāi)始讀取數(shù)據(jù)。
• fd_out 參數(shù)：目標(biāo)文件描述符，數(shù)據(jù)輸入文件。
• off_out 參數(shù)：輸入偏移量指針，表示從目標(biāo)文件描述符的哪個(gè)位置開(kāi)始寫(xiě)入數(shù)據(jù)。
• len 參數(shù)：指示要傳輸?shù)臄?shù)據(jù)長(zhǎng)度。
• flags：控制數(shù)據(jù)傳輸?shù)男袨榈臉?biāo)志位。

splice() 的處理流程如下：

1. Application 調(diào)用 splice()，CPU 從用戶(hù)態(tài)切換到內(nèi)核態(tài)。
2. Kernel 將數(shù)據(jù)通過(guò) DMA Copy 從磁盤(pán)設(shè)備寫(xiě)入 Kernel Buffer Cache。
3. Kernel 在 Kernel Buffer Cache 和 Kernel Socket Buffer 之間建立 Pipeline 傳輸。
4. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 I/O 網(wǎng)卡設(shè)備。
5. splice() 返回，CPU 從內(nèi)核態(tài)切換到用戶(hù)態(tài)。

6、緩沖區(qū)共享技術(shù)

緩沖區(qū)共享技術(shù)，是對(duì) Linux I/O 的一種顛覆，所以往往需要由 Application 和設(shè)備來(lái)共同實(shí)現(xiàn)。

其核心思想是：每個(gè) Applications 都維護(hù)著一個(gè) Buffer Pool，并且這個(gè) Buffer Pool 可以同時(shí)映射到 Kernel 虛擬地址空間，這樣 Userspace 和 Kernel space 就擁有了一塊共享的空間。以此來(lái)規(guī)避掉 CPU Copy 的行為。