前言

本文主要通過Cyclictest延遲檢測工具，以及基于Linux-RT的應(yīng)用程序評估Linux-RT系統(tǒng)的實時性，適用開發(fā)環(huán)境如下：

Windows開發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

Linux開發(fā)環(huán)境：VMware16.2.5、Ubuntu22.04.5 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-6.1.115、Linux-RT-6.1.115

LinuxSDK：LinuxSDK-[版本號]（基于rk3576_linux6.1_release_v1.1.0）

Linux-RT性能測試結(jié)果如下表所示。

表 1

我司默認(rèn)使用的是Linux內(nèi)核，同時提供了Linux-RT內(nèi)核位于產(chǎn)品資料“4-軟件資料LinuxKernelimagelinux-6.1.115-[版本號]-[Git系列號]”目錄下。請按照如下方法替換為Linux-RT內(nèi)核。

將Linux-RT內(nèi)核鏡像boot-rt.img拷貝至評估板文件系統(tǒng)任意目錄下。執(zhí)行如下命令，替換內(nèi)核鏡像至Linux系統(tǒng)啟動卡，評估板重啟生效。

備注：mmcblk1p3為Linux系統(tǒng)啟動卡對應(yīng)的設(shè)備節(jié)點，如需固化至eMMC，請將設(shè)備節(jié)點修改為mmcblk0p3。

Target# dd if=boot-rt.img of=/dev/mmcblk1p3

Target# sync

Target# reboot

圖 1

圖 2?Linux-RT內(nèi)核

我司提供的Linux-RT內(nèi)核與Linux內(nèi)核測試方法一致，請參考《評估板測試手冊》進(jìn)行測試即可，Linux-RT內(nèi)核支持的外設(shè)接口如下表所示。

表 2

我司提供的Linux-RT內(nèi)核應(yīng)用了開源的RT PREEMPT機(jī)制進(jìn)行補(bǔ)丁。PREEMPT_RT補(bǔ)丁的關(guān)鍵是最小化不可搶占的內(nèi)核代碼量，同時最小化必須更改的代碼量，以便提供這種附加的可搶占性。Linux-RT內(nèi)核增加PREEMPT_RT補(bǔ)丁后，增加了系統(tǒng)響應(yīng)的確定性和實時性，但是代價是CPU性能降低。

Linux-RT內(nèi)核與普通Linux內(nèi)核相比，幾個主要的相同之處是：

具有相同的開發(fā)生態(tài)系統(tǒng)，包括相同工具鏈、文件系統(tǒng)和安裝方法，以及相同的POSIX API等。

仍然存在內(nèi)核空間和用戶空間的劃分。

Linux應(yīng)用程序在用戶空間中運行。

Linux-RT內(nèi)核與普通Linux內(nèi)核在常規(guī)編程方式上的幾個主要不同之處是：

調(diào)度策略。

優(yōu)先級和內(nèi)存控制。

基于Linux-RT內(nèi)核的應(yīng)用程序使用了調(diào)度策略后，系統(tǒng)將根據(jù)調(diào)度策略對其進(jìn)行調(diào)優(yōu)。

Linux系統(tǒng)實時性測試

本章節(jié)主要介紹使用Cyclictest延遲檢測工具測試Linux系統(tǒng)實時性的方法。Cyclictest是rt-tests測試套件下的一個測試工具，也是rt-tests下使用最廣泛的測試工具，一般主要用來測試內(nèi)核的延遲，從而判斷內(nèi)核的實時性。

Cyclictest常用于實時系統(tǒng)的基準(zhǔn)測試，是評估實時系統(tǒng)相對性能的最常用工具之一。Cyclictest反復(fù)測量并精確統(tǒng)計線程的實際喚醒時間，以提供有關(guān)系統(tǒng)的延遲信息。它可測量由硬件、固件和操作系統(tǒng)引起的實時系統(tǒng)的延遲。

為了測量延遲，Cyclictest運行一個非實時主線程（調(diào)度類SCHED_OTHER），該線程以定義的實時優(yōu)先級（調(diào)度類SCHED_FIFO）啟動定義數(shù)量的測量線程。測量線程周期性地被一個到期的計時器（循環(huán)報警）所定義的間隔喚醒，隨后計算有效喚醒時間，并通過共享內(nèi)存將其傳遞給主線程。主線程統(tǒng)計延遲值并打印最小、最大和平均延遲時間。

參考鏈接：https://wiki.linuxfoundation.org/realtime/documentation/howto/tools/cyclictest/start?s[]=cyclictest。

Linux、Linux-RT實時性對比

本次測試結(jié)合Iperf和Cyclictest工具，對比測試基于Linux-RT-6.1.115內(nèi)核和Linux-6.1.115內(nèi)核的系統(tǒng)實時性能。此處使用Iperf工具不斷觸發(fā)系統(tǒng)中斷，提高中斷處理負(fù)載，以便更好測試系統(tǒng)實時特性。

在Ubuntu執(zhí)行如下命令查看IP地址，并以服務(wù)器模式啟動Iperf測試。

Host# ifconfig

Host# iperf3 -s

圖 3

分別使用Linux-RT-6.1.115內(nèi)核和Linux-6.1.115內(nèi)核啟動評估板，執(zhí)行如下命令以客戶端模式啟動Iperf，并連接至服務(wù)器端（Ubuntu系統(tǒng)）。"192.168.13.66"為Ubuntu的IP地址，"-t3600"設(shè)置測試時間為3600秒，"&"表示讓程序在后臺運行。

Target# iperf3 -c 192.168.13.66 -d -t3600 > /dev/null 2>&1 &

圖 4

評估板文件系統(tǒng)默認(rèn)已提供Cyclictest工具，進(jìn)入評估板文件系統(tǒng)，執(zhí)行如下命令使用Cyclictest工具測試系統(tǒng)實時性。

Target# cyclictest -t5 -p98 -m -D10m

圖 5?Linux-RT-6.1.115內(nèi)核測試結(jié)果

圖 6?Linux-6.1.115內(nèi)核測試結(jié)果

表 3Cyclictest測試結(jié)果解析

對比測試數(shù)據(jù)，可看到基于Linux-RT-6.1.115內(nèi)核的系統(tǒng)的延遲更加穩(wěn)定，平均延遲、最大延遲更低，系統(tǒng)實時性更佳。

Cyclictest命令參數(shù)解析可執(zhí)行"cyclictest --help"查看，如下圖所示。

圖 7

圖 8

Linux-RT性能測試

本次測試分別在CPU空載、滿負(fù)荷（運行stress壓力測試工具）、隔離CPU核心的情況下，對比評估Linux-RT內(nèi)核的系統(tǒng)實時性。

CPU空載狀態(tài)

評估板上電啟動，進(jìn)入評估板文件系統(tǒng)執(zhí)行如下命令，修改內(nèi)核printk日志等級，避免內(nèi)核打印信息影響實時測試。

Target# echo 1 > /proc/sys/kernel/printk

調(diào)整內(nèi)存分配策略為“1”，禁用內(nèi)存過度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測試結(jié)果。

Target# echo 1> /proc/sys/vm/overcommit_memory

圖 9

執(zhí)行如下命令，基于CPU空載狀況下測試系統(tǒng)的實時性。測試指令需運行12小時，請保持評估板長時間穩(wěn)定工作，測試完成后將生成統(tǒng)計結(jié)果no_load_output文件。

Target# cyclictest -m -Sp99 -i1000 -h800 -D12h -q>no_load_output

圖 10

參數(shù)解析：

-m：鎖定當(dāng)前和將來的內(nèi)存分配；

-S：采用標(biāo)準(zhǔn)SMP測試；

-p：設(shè)置線程優(yōu)先級；

-i：設(shè)置線程的基本間隔；

-h：運行后將延遲直方圖轉(zhuǎn)儲至標(biāo)準(zhǔn)輸出，亦可指定要跟蹤的最大延時時間（以微秒為單位）；

-D：指定測試運行時長，附加m（分鐘）、h（小時）、d（天）指定；

-q：運行時不打印相關(guān)信息；

CPU滿負(fù)荷狀態(tài)

評估板上電啟動，進(jìn)入評估板文件系統(tǒng)執(zhí)行如下命令，修改內(nèi)核printk日志等級，避免內(nèi)核打印信息影響實時測試。

Target# echo 1 > /proc/sys/kernel/printk

調(diào)整內(nèi)存分配策略為“1”，禁用內(nèi)存過度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測試結(jié)果。

Target# echo 1> /proc/sys/vm/overcommit_memory

圖 11

執(zhí)行如下命令，運行stress壓力測試工具，使得CPU處于滿負(fù)荷狀態(tài)。再使用Cyclictest工具測試CPU滿負(fù)荷狀態(tài)下的系統(tǒng)實時性能。測試指令需運行12小時，請保持評估板長時間穩(wěn)定工作，測試完成后將生成統(tǒng)計結(jié)果overload_output文件。

Target# stress --cpu 8--io 8--vm 8--vm-bytes 64M --timeout 43200s &

Target# cyclictest -m -Sp99 -i1000 -h800 -D12h -q > overload_output

圖 12

參數(shù)解析：

--cpu：指定壓力測試的進(jìn)程個數(shù)；

--io：指定I/O測試的進(jìn)程個數(shù)；

--vm：指定內(nèi)存測試的進(jìn)程個數(shù)；

--vm-bytes：指定每個內(nèi)存測試進(jìn)程中分配內(nèi)存的大?。?/p>

--timeout：指定測試時長；

隔離CPU核心狀態(tài)

本次測試以隔離CPU3核心為例，通過降低系統(tǒng)上所運行的其他進(jìn)程對隔離CPU3產(chǎn)生的延遲影響，確保CPU3進(jìn)程的正常運行，進(jìn)而評估Linux-RT內(nèi)核的系統(tǒng)實時性。

評估板上電啟動后，在U-Boot倒計時結(jié)束之前長按"Ctrl + C"鍵進(jìn)入U-Boot命令行模式，執(zhí)行如下命令，修改環(huán)境變量，隔離CPU3核心。

備注：如從eMMC啟動，請將命令中的"sd"修改為"emmc"。

U-Boot# setenvbootargs"storagemedia=sdandroidboot.storagemedia=sdandroidboot.mode=normalisolcpus=3"

U-Boot# saveenv

U-Boot# reset

圖 13

進(jìn)入評估板文件系統(tǒng)，執(zhí)行如下命令，查看環(huán)境變量是否設(shè)置成功。

Target# cat /proc/cmdline

圖 14

執(zhí)行如下命令，修改內(nèi)核printk日志等級，避免內(nèi)核打印信息影響實時測試。

Target# echo 1 > /proc/sys/kernel/printk

調(diào)整內(nèi)存分配策略為“1”，禁用內(nèi)存過度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測試結(jié)果。

Target# echo 1> /proc/sys/vm/overcommit_memory

圖 15

執(zhí)行如下命令，運行stress壓力測試工具，使得CPU處于滿負(fù)荷狀態(tài)。再使用taskset工具將cyclictest測試程序運行在CPU3核心，測試CPU3核心滿負(fù)荷狀態(tài)下的系統(tǒng)實時性能。測試指令需運行12小時，請保持評估板長時間穩(wěn)定工作，測試完成后將生成統(tǒng)計結(jié)果iso_overload_output文件。

Target# stress --cpu 8--io 8--vm 8--vm-bytes 64M--timeout 43200s &

Target# taskset -c 0-7cyclictest -m -Sp99 -i1000 -h800 -D12h -q > iso_overload_output

圖 16

統(tǒng)計結(jié)果分析

我司已提供腳本文件get_histogram.sh用于繪制統(tǒng)計結(jié)果直方圖，位于產(chǎn)品資料“4-軟件資料Demolinux-rt-demosCyclictestbin”目錄下，請將該腳本文件拷貝至Ubuntu工作目錄下。

執(zhí)行如下命令，賦予get_histogram.sh腳本可執(zhí)行權(quán)限。

Host# chmod a+x get_histogram.sh

圖 17

在Ubuntu系統(tǒng)執(zhí)行如下命令，安裝gnuplot工具。

Host# sudo apt-get install gnuplot -y

圖 18

CPU空載狀態(tài)

請將CPU空載狀態(tài)下的統(tǒng)計結(jié)果no_load_output文件拷貝至Windows工作目錄，使用Windows文本工具打開該文件并拖動至文件末尾，可查看Linux系統(tǒng)每個核心(CPU0~CPU7)的最小延遲(MinLatencies)、平均延遲(AvgLatencies)、最大延遲(MaxLatencies)統(tǒng)計結(jié)果。

圖 19

請將CPU空載狀態(tài)下的統(tǒng)計結(jié)果no_load_output文件拷貝至Ubuntu，存放在get_histogram.sh同一目錄下。

執(zhí)行如下命令，拷貝并修改CPU空載狀態(tài)下的統(tǒng)計結(jié)果文件名為output，并生成直方圖文件plot.png，請將其拷貝至Windows下打開。

備注：滿負(fù)荷狀態(tài)統(tǒng)計結(jié)果文件overload_output與隔離CPU核心狀態(tài)統(tǒng)計結(jié)果文件iso_overload_output亦需將文件名修改為output方可生成直方圖文件plot.png。

Host# cp no_load_output output

Host# ./get_histogram.sh

圖 20

圖 21

根據(jù)統(tǒng)計結(jié)果no_load_output文件數(shù)據(jù)以及結(jié)合直方圖，可得主要數(shù)據(jù)如下表。本次測試中，CPU7核心Max Latencies值最大，為83us，CPU2核心的Max Latencies值最小，為29us。

備注：CPU0~CPU3為Cortex-A53核心，CPU4~CPU7為Cortex-A72核心。由于CPU4~CPU7核心的重調(diào)度中斷數(shù)量遠(yuǎn)大于CPU0~CPU3核心，因此CPU0~CPU3的測試結(jié)果會比CPU4~CPU7實時性更好。測試數(shù)據(jù)與實際測試環(huán)境有關(guān)，僅供參考。

表 4

CPU滿負(fù)荷狀態(tài)

參考如上方法，分析CPU滿負(fù)荷狀態(tài)下的統(tǒng)計結(jié)果如下所示。本次測試中，CPU4核心Max Latencies值最大，為137us，CPU7核心的Max Latencies值最小，為29us。

圖 22

表 5

隔離CPU核心狀態(tài)

參考如上方法，分析隔離CPU核心狀態(tài)下的統(tǒng)計結(jié)果如下所示。本次測試中，CPU4核心核心Max Latencies值最大，為124us，隔離CPU3核心的Max Latencies值相比CPU空載狀態(tài)、CPU滿負(fù)荷狀態(tài)時CPU3核心的Max Latencies值最小，為9us。

圖 23

表 6

根據(jù)CPU空載、CPU滿負(fù)荷、隔離CPU核心三種狀態(tài)的測試結(jié)果可知：當(dāng)程序指定至隔離的CPU3核心上運行時，Linux系統(tǒng)延遲降低，可有效提高系統(tǒng)實時性。故推薦對實時性要求較高的程序（功能）指定至隔離的CPU核心運行。

由于篇幅過長等原因，部分內(nèi)容均不逐一展示，如需獲取完整版詳細(xì)資料，請關(guān)注創(chuàng)龍科技微信公眾號或官網(wǎng)，或者評論區(qū)留言，感謝您的支持！

審核編輯 黃宇