一、eBPF是什么

eBPF是extended BPF的縮寫(xiě)，而B(niǎo)PF是Berkeley Packet Filter的縮寫(xiě)。對(duì)linux網(wǎng)絡(luò)比較熟悉的伙伴對(duì)BPF應(yīng)該比較了解，它通過(guò)特定的語(yǔ)法規(guī)則使用基于寄存器的虛擬機(jī)來(lái)描述包過(guò)濾的行為。比較常用的功能是通過(guò)過(guò)濾來(lái)統(tǒng)計(jì)流量，tcpdump工具就是基于BPF實(shí)現(xiàn)的。而eBPF對(duì)它進(jìn)行了擴(kuò)展來(lái)實(shí)現(xiàn)更多的功能。

主要區(qū)別如下：

1）允許使用C 語(yǔ)言編寫(xiě)代碼片段，并通過(guò)LLVM編譯成eBPF 字節(jié)碼；2）cBPF 只實(shí)現(xiàn)了SOCKET_FILTER，而eBPF還有KPROBE 、PERF等。3）BPF使用socket 實(shí)現(xiàn)了用戶態(tài)與內(nèi)核交互，eBPF 則定義了一個(gè)專用于eBPF 的新的系統(tǒng)調(diào)用，用于裝載BPF 代碼段、創(chuàng)建和讀取BPF map，更加通用。4）BPF map 機(jī)制，用于在內(nèi)核中以key-value 的方式臨時(shí)存儲(chǔ)BPF 代碼產(chǎn)生的數(shù)據(jù)。

對(duì)于eBPF可以簡(jiǎn)單的理解成kernel實(shí)現(xiàn)了一個(gè)虛擬機(jī)機(jī)制，將類C代碼編譯成字節(jié)碼（后文有詳細(xì)解釋），掛在到內(nèi)核的鉤子上，當(dāng)鉤子被觸發(fā)時(shí)，kernel在虛擬機(jī)的“沙盒”中運(yùn)行字節(jié)碼，這樣既能方便的實(shí)現(xiàn)很多功能，也能通過(guò)沙箱保證內(nèi)核的安全性。

二、eBPF能干什么

如果說(shuō)BPF專注于流量監(jiān)控，那么eBPF主要專注的是性能領(lǐng)域，通過(guò)各種鉤子，能在用戶空間得到系統(tǒng)各種性能指標(biāo)。可以大到監(jiān)控系統(tǒng)整體的統(tǒng)計(jì)指標(biāo)，也可以小到一個(gè)系統(tǒng)函數(shù)的運(yùn)行時(shí)間。

這里需要提一下開(kāi)源項(xiàng)目 BPF Compiler Collection （BCC），這是一個(gè)很方便的基于eBPF的系統(tǒng)監(jiān)視工具，下面這張BCC的說(shuō)明圖就能很好的說(shuō)明我們使用eBPF能夠做到的事。BCC在android系統(tǒng)上也可以運(yùn)行，但是要對(duì)系統(tǒng)進(jìn)行一定程度的修改，后續(xù)可能會(huì)寫(xiě)單獨(dú)的文章進(jìn)行講解。對(duì)于內(nèi)核開(kāi)發(fā)者我還比較關(guān)注怎么自己來(lái)實(shí)現(xiàn)監(jiān)控的功能，下文也將做簡(jiǎn)單的講解。

從上圖，我么可以看到，eBPF幾乎能監(jiān)控系統(tǒng)的所有方面：

1）應(yīng)用及虛擬機(jī)的各種指標(biāo)2）系統(tǒng)庫(kù)性能監(jiān)控3）kernel系統(tǒng)調(diào)用性能4）文件系統(tǒng)性能5）網(wǎng)絡(luò)調(diào)用性能6）CPU調(diào)度器性能7）內(nèi)存管理性能8）中斷性能

三、eBPF框架

在開(kāi)始說(shuō)明之前先解釋下eBPF上的名詞，來(lái)幫忙更好的理解。

1）eBPF bytecode：將C語(yǔ)言寫(xiě)的鉤子代碼，通過(guò)clang編譯成二進(jìn)制字節(jié)碼，通過(guò)程序加載到內(nèi)核中，鉤子觸發(fā)后在kernel “虛擬機(jī)”中運(yùn)行。2）JIT： Just-in-time compilation，將字節(jié)碼編譯成本地機(jī)器碼來(lái)提升運(yùn)行速度，和Java中的概念類似。

3）Maps：鉤子代碼可以將一些統(tǒng)計(jì)類信息保存在鍵值對(duì)的map中，來(lái)與用戶空間程序進(jìn)行通信，傳遞數(shù)據(jù)。

關(guān)于eBPF機(jī)制詳細(xì)的講解網(wǎng)上有很多，這里就不展開(kāi)了，這里先上一張圖，這里包括了使用或者編寫(xiě)ebpf涉及到的所有東西，下面會(huì)對(duì)這個(gè)圖進(jìn)行詳細(xì)的講解。

1）foo_kern.c 鉤子實(shí)現(xiàn)代碼，主要負(fù)責(zé)：

聲明使用的Map節(jié)點(diǎn)

聲明鉤子掛載點(diǎn)及處理函數(shù)

2）通過(guò)LLVM/clang編譯成字節(jié)碼

編譯命令：clang --target=bpf

android平臺(tái)有集成eBPF的編譯，后文會(huì)提到

3）foo_user.c 用戶空間處理函數(shù)，主要負(fù)責(zé)：

將foo_kern.c 編譯成的字節(jié)碼加載到kenel中

讀取Map中的信息并處理輸出給用戶

4）kernel當(dāng)收到eBPF的加載請(qǐng)求時(shí)，會(huì)先對(duì)字節(jié)碼進(jìn)行驗(yàn)證，并通過(guò)JIT編譯為機(jī)器碼，當(dāng)鉤子事件來(lái)臨后，調(diào)用鉤子函數(shù) kernel會(huì)對(duì)加載的字節(jié)碼進(jìn)行驗(yàn)證，來(lái)保證系統(tǒng)的安全性，主要驗(yàn)證規(guī)則如下：

a. 檢查是否聲明了GNU GPL，檢查kernel的版本是否支持

b. 函數(shù)調(diào)用規(guī)則：

允許bpf函數(shù)之間的相互調(diào)用

只允許調(diào)用kernel允許的BPF helper函數(shù)，具體可以參考linux/bpf.h文件

上述以外的函數(shù)及動(dòng)態(tài)鏈接都是不允許的。

c. 流程處理規(guī)則：

不允許使用loop循環(huán)以防止進(jìn)入死循環(huán)卡死kernel

不允許有不可到達(dá)的分支代碼

d. 堆棧大小被限制在MAX_BPF_STACK范圍內(nèi)。

e. 編譯的字節(jié)碼大小被限制在BPF_COMPLEXITY_LIMIT_INSNS范圍內(nèi)。

5）鉤子掛載點(diǎn)，主要包括：

另外在kernel的源代碼中samples/bpf目錄下有大量的示例，感興趣的可以閱讀下。

四、eBPF在Android平臺(tái)的使用

經(jīng)過(guò)上面枯燥的講解，大家應(yīng)該對(duì)eBPF有了基礎(chǔ)的認(rèn)識(shí)，下面我們就來(lái)通過(guò)android平臺(tái)上的一個(gè)監(jiān)控性能的小例子來(lái)實(shí)操下。

這個(gè)小例子的需求是統(tǒng)計(jì)系統(tǒng)中每個(gè)應(yīng)用在一段時(shí)間內(nèi)系統(tǒng)調(diào)用的次數(shù)。

1. android系統(tǒng)對(duì)eBPF的編譯支持

目前android編譯系統(tǒng)已經(jīng)對(duì)eBPF進(jìn)行了集成，通過(guò)android.bp就能很方便的在android源代碼中編譯eBPF的字節(jié)碼。

android.bp示例：

相關(guān)的編譯代碼在soong的bpf.go，雖然google關(guān)于soong的文檔很少，但是至少代碼是比較清晰的。

這里的$ccCmd一般是clang， 所以它的編譯命令主要是clang --target=bpf。和普通的bpf編譯沒(méi)有區(qū)別。

2. eBPF鉤子代碼實(shí)現(xiàn)

解決了編譯問(wèn)題，下一步我們開(kāi)始實(shí)現(xiàn)鉤子代碼，我們準(zhǔn)備使用tracepoint鉤子，首先要找到我們需要的tracepoint函數(shù)sys_enter和sys_exit。

函數(shù)定義在include/trace/events/syscalls.h文件中

1）sys_enter的trace參數(shù)是id 和長(zhǎng)度為6的數(shù)組。2）sys_exit的trace參數(shù)是兩個(gè)長(zhǎng)整形數(shù) id 和ret。

找到了鉤子后，下一步就可以編寫(xiě)鉤子處理代碼了：

1）定義map保存系統(tǒng)調(diào)用統(tǒng)計(jì)信息，在DEFINE_BPF_MAP聲明map的同時(shí)，也會(huì)生成刪，改，查的宏函數(shù)，例如本例中會(huì)生成如下函數(shù)

bpf_pid_syscall_map_lookup_elem

bpf_pid_syscall_map_update_elem

bpf_pid_syscall_map_delete_elem

2）定義回調(diào)函數(shù)參數(shù)類型，需要參考前面的tracepoint的定義。3）指定監(jiān)聽(tīng)的tracepoint事件。4）使用bpf_trace_printk函數(shù)打印debug信息，會(huì)直接打印信息到ftrace中。5）在map中查找指定key。6）更新指定的key的值。

3. 加載鉤子代碼

我們只需要把我們編譯出來(lái)的*.o文件push到手機(jī)的system/etc/bpf目錄下，重啟手機(jī)，系統(tǒng)會(huì)自動(dòng)加載我們的鉤子文件，加載成功后會(huì)在 /sys/fs/bpf目錄下顯示我們定義的map及prog文件。

系統(tǒng)加載代碼在system/bpf/bpfloader中，代碼很簡(jiǎn)單。

主要有如下操作：

1）在early-init階段向下面兩個(gè)節(jié)點(diǎn)寫(xiě)1

– /proc/sys/net/core/bpf_jit_enable

使能eBPF JIT，當(dāng)內(nèi)核設(shè)定BPF_JIT_ALWAYS_ON的時(shí)候，默認(rèn)為1

– /proc/sys/net/core/bpf_jit_kallsyms

使特權(quán)用戶可以通過(guò)kallsyms節(jié)點(diǎn)讀取kernel的symbols

2）啟動(dòng)bpfloader service

– 讀取system/etc/bpf目錄下的*.o文件，調(diào)用libbpf_android.so中的loadProg函數(shù)加載進(jìn)內(nèi)核。

– 生成相應(yīng)的/sys/fs/bpf/節(jié)點(diǎn)。

– 設(shè)置屬性bpf.progs_loaded為1

sys節(jié)點(diǎn)分為map節(jié)點(diǎn)和prog節(jié)點(diǎn)兩種， 分別為map_《filename》_《mapname》， prog_《filename》_《mapname》

下面是Android Q版本上的節(jié)點(diǎn)信息。

可以使用下面的命令調(diào)試動(dòng)態(tài)加載

4. 用戶空間程序?qū)崿F(xiàn)

下面我們需要編寫(xiě)用戶空間的顯示程序，本質(zhì)上就是在用戶態(tài)通過(guò)系統(tǒng)調(diào)用把BPF map給讀出來(lái)。

1）eBPF統(tǒng)計(jì)只有在調(diào)用bpf_attach_tracepoint只有才會(huì)起作用。bpf_attach_tracepoint是bcc里面的函數(shù)，android將bcc的一部分內(nèi)容打包成了libbpf，放到了系統(tǒng)庫(kù)里面。2）取得map的fd， bpf_obj_get會(huì)直接調(diào)用bpf的系統(tǒng)調(diào)用。3）將fd包裝成BpfMap，android在BpfMap.h中定義了很多方便的函數(shù)。4）遍歷map回調(diào)函數(shù)。返回值必須是android：：ok（在android的新版本中已經(jīng)進(jìn)行修改）。

5. 運(yùn)行結(jié)果查看

直接在目錄下執(zhí)行mm，將編譯出來(lái)的bpf.o push到/system/etc/bpf目錄下，將統(tǒng)計(jì)程序push到/system/bin目錄下，重啟，看下結(jié)果。

前面的是pid， 后面的是系統(tǒng)調(diào)用次數(shù)。

至此，如何在android平臺(tái)使用eBPF實(shí)現(xiàn)統(tǒng)計(jì)系統(tǒng)中每個(gè)pid在一段時(shí)間內(nèi)系統(tǒng)調(diào)用的次數(shù)的功能就介紹完了。

此外還有很多技術(shù)細(xì)節(jié)沒(méi)有深入研究，不過(guò)畢竟只是初探，就先講到這里了，后續(xù)有時(shí)間再進(jìn)一步深入研究。研究的時(shí)間還是比較短，如果有任何錯(cuò)誤的地方歡迎指正。

參考資料

eBPF 簡(jiǎn)史 （下篇）：

https://cloud.tencent.com/developer/article/1006318

goolge原生使用ebpf的兩篇文章：

https://source.android.com/devices/architecture/kernel/bpf

https://source.android.com/devices/tech/datausage/ebpf-traffic-monitor

BCC：

https://github.com/iovisor/bcc

編輯：jq