Kafka是由Apache軟件基金會(huì)開(kāi)發(fā)的一個(gè)開(kāi)源流處理平臺(tái)，被廣泛地應(yīng)用在數(shù)據(jù)緩沖、異步通信、匯集日志、系統(tǒng)解耦等方面。相比較于其他常見(jiàn)消息系統(tǒng)，Kafka在保障了大部分功能特性的同時(shí)，還在高吞吐、低延遲等方面有很突出的表現(xiàn)。這篇文章不同于其他介紹Kafka使用或?qū)崿F(xiàn)的文章，只是談?wù)凨afka用了什么“黑科技”使他在性能方面有這么突出的表現(xiàn)。

• 消息順序?qū)懭氪疟P(pán)

磁盤(pán)大多數(shù)都還是機(jī)械結(jié)構(gòu)（SSD不在討論的范圍內(nèi)），如果將消息以隨機(jī)寫(xiě)的方式存入磁盤(pán)，就需要按柱面、磁頭、扇區(qū)的方式尋址，尋址是一個(gè)“機(jī)械動(dòng)作”也最耗時(shí)。為了提高讀寫(xiě)硬盤(pán)的速度，Kafka就是使用順序I/O。

圖 1 Kafka順序IO

上圖中，每個(gè)partition就是一個(gè)文件，每條消息都被append 到該 partition 中，屬于順序?qū)懘疟P(pán)，因此效率非常高。這種方法有一個(gè)缺陷—— 沒(méi)有辦法刪除數(shù)據(jù) ，所以Kafka是不會(huì)刪除數(shù)據(jù)的，它會(huì)把所有的數(shù)據(jù)都保留下來(lái)，每個(gè)消費(fèi)者（Consumer）對(duì)每個(gè)Topic都有一個(gè)offset用來(lái)表示讀取到了第幾條數(shù)據(jù) 。

關(guān)于磁盤(pán)順序讀寫(xiě)和隨機(jī)讀寫(xiě)的性能，引用一組Kafka官方給出的測(cè)試數(shù)據(jù)(Raid-5，7200rpm)：

Sequence I/O: 600MB/s

Random I/O: 100KB/s

所以通過(guò)只做Sequence I/O，給Kafka帶來(lái)了性能的極大提升。

• Zero Copy

考慮一個(gè)web程序讀取文件內(nèi)容并傳輸?shù)骄W(wǎng)絡(luò)的場(chǎng)景，實(shí)現(xiàn)的核心代碼如下：

圖 2 普通read方法

雖然只是兩個(gè)調(diào)用，但卻經(jīng)過(guò)了4次copy，其中有2次cpu copy，還有多次用戶態(tài)與內(nèi)核態(tài)的上下文切換，這會(huì)加重cpu的負(fù)擔(dān)，而零拷貝就是為了解決這種低效。

# mmap:

減少拷貝次數(shù)的一種方法是調(diào)用mmap()來(lái)代替read()調(diào)用:

應(yīng)用程序調(diào)用mmap()，磁盤(pán)上的數(shù)據(jù)會(huì)通過(guò)DMA被拷貝到內(nèi)核緩沖區(qū)，接著操作系統(tǒng)會(huì)把這段內(nèi)核緩沖區(qū)與應(yīng)用程序共享，這樣就不需要把內(nèi)核緩沖區(qū)的內(nèi)容往用戶空間拷貝。應(yīng)用程序再調(diào)用write(),操作系統(tǒng)直接將內(nèi)核緩沖區(qū)的內(nèi)容拷貝到socket緩沖區(qū)中，最后再把數(shù)據(jù)發(fā)到網(wǎng)卡去。

圖 3 mmap方法

使用mmap可以減少一次cpu copy，但也會(huì)遇到一些陷阱，當(dāng)你的程序map了一個(gè)文件，但是當(dāng)這個(gè)文件被另一個(gè)進(jìn)程截?cái)?truncate)時(shí), write系統(tǒng)調(diào)用會(huì)因?yàn)樵L問(wèn)非法地址而被SIGBUS信號(hào)終止。通常可以通過(guò)，為SIGBUS信號(hào)建立信號(hào)處理程序或使用文件租憑（file leasing）的方式去解決，這里就不再贅述了。

# sendfile:

從2.1版內(nèi)核開(kāi)始，Linux引入了sendfile來(lái)簡(jiǎn)化操作

圖 4 sendfile方法

sendfile() 方法引發(fā) DMA 引擎將文件內(nèi)容拷貝到一個(gè)讀取緩沖區(qū)（DMA copy）然后由內(nèi)核將數(shù)據(jù)拷貝到socket buffer（cpu copy）最后再拷貝到網(wǎng)卡（DMA copy）使用sendfile不僅減少了數(shù)據(jù)拷貝的次數(shù)，還減少了上下文切換，數(shù)據(jù)傳送始終只發(fā)生在kernel space

聊到這里，sendfile至少還需要一次cpu copy，那么這一步能不能省去呢？為了消除內(nèi)核完成的所有數(shù)據(jù)復(fù)制，我們需要一個(gè)支持收集(gather)操作的網(wǎng)絡(luò)接口。同時(shí)，在內(nèi)核版本2.4中，也修改了套接字緩沖區(qū)描述符以適應(yīng)零拷貝要求。 這種方法不僅減少了多個(gè)上下文切換，還完全取消了cpu copy。

圖 5 sendfile方法（DMA gather）

sendfile系統(tǒng)調(diào)用利用DMA引擎將文件內(nèi)容拷貝到內(nèi)核緩沖區(qū)去，然后將帶有文件位置和長(zhǎng)度信息的緩沖區(qū)描述符添加socket緩沖區(qū)去，這一步不會(huì)將內(nèi)核中的數(shù)據(jù)拷貝到socket緩沖區(qū)中，DMA引擎會(huì)將內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到協(xié)議引擎中去，避免了最后一次CPU拷貝。

零拷貝技術(shù)非常普遍，JAVA的transferTo、transferFrom方法就是Zero Copy。