前 言

本文檔主要介紹Linux-RT實(shí)時(shí)內(nèi)核的性能測(cè)試方法，以及使用Linux-RT內(nèi)核進(jìn)行系統(tǒng)開(kāi)發(fā)和應(yīng)用開(kāi)發(fā)的使用說(shuō)明。

開(kāi)發(fā)環(huán)境

Windows開(kāi)發(fā)環(huán)境：Windows10 64bit

Linux開(kāi)發(fā)環(huán)境：VMware16.2.5、Ubuntu22.04.4 64bit

LinuxSDK開(kāi)發(fā)包：LinuxSDK-[版本號(hào)]（基于SDK_2025.1）

交叉編譯工具鏈：

應(yīng)用開(kāi)發(fā)：gcc-linaro-7.5.0-2019.12-x86_64_aarch64-linux-gnu

U-Boot、內(nèi)核開(kāi)發(fā)：gcc-linaro-7.5.0-2019.12-x86_64_aarch64-linux-gnu

評(píng)估板系統(tǒng)版本：U-Boot-2021.01、Linux-6.1.111、Buildroot-2022.02

備注：本文基于8GByteeMMC、1GByteDDR配置核心板進(jìn)行演示。

術(shù)語(yǔ)表

為便于閱讀，下表對(duì)文檔出現(xiàn)的關(guān)鍵術(shù)語(yǔ)進(jìn)行解釋；對(duì)于廣泛認(rèn)同釋義的術(shù)語(yǔ)，在此不做注釋。

注意事項(xiàng)

我司默認(rèn)使用的是Linux內(nèi)核，同時(shí)提供了Linux-RT內(nèi)核，位于產(chǎn)品資料“4-軟件資料LinuxKernelimagelinux-6.1.111-[版本號(hào)]-[Git系列號(hào)]”目錄下。請(qǐng)按照《Linux系統(tǒng)開(kāi)發(fā)手冊(cè)》替換Kernel鏡像章節(jié)中的方法替換Linux-RT內(nèi)核。

Linux-RT介紹

我司提供的Linux-RT內(nèi)核應(yīng)用了開(kāi)源的RT PREEMPT機(jī)制進(jìn)行補(bǔ)丁。PREEMPT_RT補(bǔ)丁的關(guān)鍵是最小化不可搶占的內(nèi)核代碼量，同時(shí)最小化必須更改的代碼量，以便提供這種附加的可搶占性。Linux-RT內(nèi)核增加PREEMPT_RT補(bǔ)丁后，增加了系統(tǒng)響應(yīng)的確定性和實(shí)時(shí)性，但是代價(jià)是CPU性能降低。

Linux-RT內(nèi)核與普通Linux內(nèi)核相比，幾個(gè)主要的相同之處是：

（1）具有相同的開(kāi)發(fā)生態(tài)系統(tǒng)，包括相同工具鏈、文件系統(tǒng)和安裝方法，以及相同的POSIX API等。

（2）仍然存在內(nèi)核空間和用戶空間的劃分。

（3）Linux應(yīng)用程序在用戶空間中運(yùn)行。

Linux-RT內(nèi)核與普通Linux內(nèi)核在常規(guī)編程方式上的幾個(gè)主要不同之處是：

（1）調(diào)度策略。

（2）優(yōu)先級(jí)和內(nèi)存控制。

（3）基于Linux-RT內(nèi)核的應(yīng)用程序使用了調(diào)度策略后，系統(tǒng)將根據(jù)調(diào)度策略對(duì)其進(jìn)行調(diào)優(yōu)。

Linux系統(tǒng)實(shí)時(shí)性測(cè)試

本章節(jié)主要介紹使用Cyclictest延遲檢測(cè)工具測(cè)試Linux系統(tǒng)實(shí)時(shí)性的方法。Cyclictest是rt-tests測(cè)試套件下的一個(gè)測(cè)試工具，也是rt-tests下使用最廣泛的測(cè)試工具，一般主要用來(lái)測(cè)試內(nèi)核的延遲，從而判斷內(nèi)核的實(shí)時(shí)性。

Cyclictest常用于實(shí)時(shí)系統(tǒng)的基準(zhǔn)測(cè)試，是評(píng)估實(shí)時(shí)系統(tǒng)相對(duì)性能的最常用工具之一。Cyclictest反復(fù)測(cè)量并精確統(tǒng)計(jì)線程的實(shí)際喚醒時(shí)間，以提供有關(guān)系統(tǒng)的延遲信息。它可測(cè)量由硬件、固件和操作系統(tǒng)引起的實(shí)時(shí)系統(tǒng)的延遲。

為了測(cè)量延遲，Cyclictest運(yùn)行一個(gè)非實(shí)時(shí)主線程（調(diào)度類SCHED_OTHER），該線程以定義的實(shí)時(shí)優(yōu)先級(jí)（調(diào)度類SCHED_FIFO）啟動(dòng)定義數(shù)量的測(cè)量線程。測(cè)量線程周期性地被一個(gè)到期的計(jì)時(shí)器（循環(huán)報(bào)警）所定義的間隔喚醒，隨后計(jì)算有效喚醒時(shí)間，并通過(guò)共享內(nèi)存將其傳遞給主線程。主線程統(tǒng)計(jì)延遲值并打印最小、最大和平均延遲時(shí)間。

Linux、Linux-RT實(shí)時(shí)性對(duì)比

本次測(cè)試結(jié)合Iperf和Cyclictest工具，對(duì)比測(cè)試基于Linux-RT-6.1.111內(nèi)核和Linux-6.1.111內(nèi)核的系統(tǒng)實(shí)時(shí)性能。此處使用Iperf工具不斷觸發(fā)系統(tǒng)中斷，提高中斷處理負(fù)載，以便更好測(cè)試系統(tǒng)實(shí)時(shí)特性。

在Ubuntu執(zhí)行如下命令查看IP地址，并以服務(wù)器模式啟動(dòng)Iperf測(cè)試。

Host# ifconfig

Host# iperf3 -s

圖?1

分別使用Linux-RT-6.1.111內(nèi)核和Linux-6.1.111內(nèi)核啟動(dòng)評(píng)估板進(jìn)行測(cè)試。執(zhí)行如下命令以客戶端模式啟動(dòng)Iperf，并連接至服務(wù)器端（Ubuntu系統(tǒng)）。"192.168.13.81"為Ubuntu的IP地址，"-t3600"設(shè)置測(cè)試時(shí)間為3600秒，"&"表示讓程序在后臺(tái)運(yùn)行。

Target# iperf3 -c 192.168.13.81-d -t3600 > /dev/null 2>&1 &

圖 2

評(píng)估板文件系統(tǒng)默認(rèn)已提供Cyclictest工具，進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令使用Cyclictest工具測(cè)試系統(tǒng)實(shí)時(shí)性。

Target# cyclictest -t5 -p98 -m -D10m

圖?3?Linux-RT-6.1.111內(nèi)核測(cè)試結(jié)果

圖?4?Linux-6.1.111內(nèi)核測(cè)試結(jié)果

對(duì)比測(cè)試數(shù)據(jù)，可看到基于Linux-RT-6.1.111內(nèi)核的系統(tǒng)的延遲更加穩(wěn)定，平均延遲、最大延遲更低，系統(tǒng)實(shí)時(shí)性更佳。

Cyclictest命令參數(shù)解析可執(zhí)行"cyclictest --help"查看，如下圖所示。

圖?5

圖?6

Linux-RT性能測(cè)試

本次測(cè)試分別在CPU空載、滿負(fù)荷（運(yùn)行stress壓力測(cè)試工具）、隔離CPU核心的情況下，對(duì)比評(píng)估Linux-RT內(nèi)核的系統(tǒng)實(shí)時(shí)性。

CPU空載狀態(tài)

評(píng)估板上電啟動(dòng)，進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令修改內(nèi)核printk日志等級(jí)，避免內(nèi)核打印信息影響實(shí)時(shí)測(cè)試。

Target# echo 1 > /proc/sys/kernel/printk

圖?7

調(diào)整內(nèi)存分配策略為"2"，禁用內(nèi)存過(guò)度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測(cè)試結(jié)果。

Target# echo 2> /proc/sys/vm/overcommit_memory

圖?8

執(zhí)行如下命令，基于CPU空載狀況下測(cè)試系統(tǒng)的實(shí)時(shí)性。測(cè)試指令需運(yùn)行12小時(shí)，請(qǐng)保持評(píng)估板長(zhǎng)時(shí)間穩(wěn)定工作，測(cè)試完成后將生成統(tǒng)計(jì)結(jié)果no_load_output文件。

Target# cyclictest -m -Sp99 -i1000 -h800 -D12h -q > no_load_output

圖?9

參數(shù)解析：

-m：鎖定當(dāng)前和將來(lái)的內(nèi)存分配；

-S：采用標(biāo)準(zhǔn)SMP測(cè)試；

-p：設(shè)置線程優(yōu)先級(jí)；

-i：設(shè)置線程的基本間隔；

-h：運(yùn)行后將延遲直方圖轉(zhuǎn)儲(chǔ)至標(biāo)準(zhǔn)輸出，亦可指定要跟蹤的最大延時(shí)時(shí)間（以微秒為單位）；

-D：指定測(cè)試運(yùn)行時(shí)長(zhǎng)，附加m（分鐘）、h（小時(shí)）、d（天）指定；

-q：運(yùn)行時(shí)不打印相關(guān)信息；

CPU滿負(fù)荷狀態(tài)

評(píng)估板上電啟動(dòng)，進(jìn)入評(píng)估板文件系統(tǒng)執(zhí)行如下命令，修改內(nèi)核printk日志等級(jí)，避免內(nèi)核打印信息影響實(shí)時(shí)測(cè)試。

Target# echo 1 > /proc/sys/kernel/printk

圖?10

調(diào)整內(nèi)存分配策略為"2"，禁用內(nèi)存過(guò)度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測(cè)試結(jié)果。

Target# echo 2 > /proc/sys/vm/overcommit_memory

圖?11

執(zhí)行如下命令，運(yùn)行stress壓力測(cè)試工具，使得CPU處于滿負(fù)荷狀態(tài)。

Target# stress-ng --cpu 2 --cpu-method=all --io 2 --vm 2 --vm-bytes 32M --timeout 43200s &

圖?12

參數(shù)解析：

--cpu：指定壓力測(cè)試的進(jìn)程個(gè)數(shù)；

--cpu-method：指定CPU壓力測(cè)試的方式；

--io：指定I/O測(cè)試的進(jìn)程個(gè)數(shù)；

--vm：指定內(nèi)存測(cè)試的進(jìn)程個(gè)數(shù)；

--vm-bytes：指定每個(gè)內(nèi)存測(cè)試進(jìn)程中分配內(nèi)存的大??；

--timeout：指定測(cè)試時(shí)長(zhǎng)；

使用cyclictest工具測(cè)試CPU滿負(fù)荷狀態(tài)下的系統(tǒng)實(shí)時(shí)性能。測(cè)試指令需運(yùn)行12小時(shí)，請(qǐng)保持評(píng)估板長(zhǎng)時(shí)間穩(wěn)定工作，測(cè)試完成后將生成統(tǒng)計(jì)結(jié)果overload_output文件。

Target# cyclictest -m -Sp99 -i1000 -h800 -D12h -q > overload_output

圖?13

隔離CPU核心狀態(tài)

本次測(cè)試以隔離CPU1核心為例，通過(guò)降低系統(tǒng)上所運(yùn)行的其他進(jìn)程對(duì)隔離CPU1產(chǎn)生的延遲影響，確保CPU1進(jìn)程的正常運(yùn)行，進(jìn)而評(píng)估Linux-RT內(nèi)核的系統(tǒng)實(shí)時(shí)性。

評(píng)估板上電啟動(dòng)后，在U-Boot倒計(jì)時(shí)結(jié)束之前長(zhǎng)按"Ctrl + C"進(jìn)入U(xiǎn)-Boot命令行模式，執(zhí)行如下命令，修改環(huán)境變量，隔離CPU1核心。

U-Boot# setenv mmc_boot 'if mmc dev ${devnum}; then devtype=mmc; if test ${devnum} -eq 0; then setenv bootargs '"'"'console=ttyS1,115200n8 earlycon=uart,mmio32,0xf8401000 loglevel=8 root=/dev/mmcblk0p2 rw rootfstype=ext4 rootwait isolcpus=1'"'"'; fi; if test ${devnum} -eq 1; then setenv bootargs '"'"'console=ttyS1,115200n8 earlycon=uart,mmio32,0xf8401000 loglevel=8 root=/dev/mmcblk1p2 rw rootfstype=ext4 rootwait isolcpus=1'"'"'; fi; ext4load mmc ${devnum}:2 ${kernel_addr_r} ${bootdir}/${kernel_image}; ext4load mmc ${devnum}:2 ${fdt_addr_r} ${bootdir}/${devicetree_image}; bootm ${kernel_addr_r} - ${fdt_addr_r}; run scan_dev_for_boot_part2; fi'

U-Boot# saveenv

U-Boot# reset

圖?14

如需恢復(fù)U-Boot環(huán)境變量，在U-Boot命令行模式執(zhí)行以下命令。

U-Boot# env default -a-f

U-Boot# saveenv

U-Boot# reset

圖?15

進(jìn)入評(píng)估板文件系統(tǒng)，執(zhí)行如下命令，查看環(huán)境變量是否設(shè)置成功。

Target# cat /proc/cmdline

圖?16

執(zhí)行如下命令，修改內(nèi)核printk日志等級(jí)，避免內(nèi)核打印信息影響實(shí)時(shí)測(cè)試。

Target# echo 1 > /proc/sys/kernel/printk

圖?17

調(diào)整內(nèi)存分配策略為"2"，禁用內(nèi)存過(guò)度使用。避免出現(xiàn)OOM(Out-of-Memory) Killer攻擊某些進(jìn)程而產(chǎn)生延遲，影響測(cè)試結(jié)果。

Target# echo 2> /proc/sys/vm/overcommit_memory

圖?18

執(zhí)行如下命令，運(yùn)行stress壓力測(cè)試工具，使得CPU處于滿負(fù)荷狀態(tài)。

Target# stress-ng --cpu 2 --cpu-method=all --io 2 --vm 2 --vm-bytes 32M --timeout 43200s &

圖?19

因CPU1核心被隔離，程序默認(rèn)不會(huì)在CPU1上運(yùn)行，需使用taskset工具將cyclictest測(cè)試程序運(yùn)行在所有核心上，測(cè)試cyclictest在滿負(fù)荷狀態(tài)的CPU0和被隔離的CPU1的實(shí)時(shí)性能。測(cè)試指令需運(yùn)行12小時(shí)，請(qǐng)保持評(píng)估板長(zhǎng)時(shí)間穩(wěn)定工作，測(cè)試完成后將生成統(tǒng)計(jì)結(jié)果iso_overload_output文件。

Target# taskset -c 0-1 cyclictest -m -Sp99 -i1000 -h800 -D12h -q > iso_overload_output

圖?20

統(tǒng)計(jì)結(jié)果分析

我司已提供腳本文件get_histogram.sh用于繪制統(tǒng)計(jì)結(jié)果直方圖，位于產(chǎn)品資料“4-軟件資料Demolinux-rt-demoscyclictestbin”目錄下，請(qǐng)將該腳本文件拷貝至Ubuntu工作目錄下。

圖?21

在Ubuntu系統(tǒng)執(zhí)行如下命令，安裝gnuplot工具。

Host# sudo apt-get install gnuplot

圖?22

（1）CPU空載狀態(tài)

請(qǐng)將CPU空載狀態(tài)下的統(tǒng)計(jì)結(jié)果no_load_output文件拷貝至Windows工作目錄，使用Windows文本工具打開(kāi)該文件并拖動(dòng)至文件末尾，可查看Linux系統(tǒng)每個(gè)核心CPU0~CPU1的最小延遲(Min Latencies)、平均延遲(Avg Latencies)、最大延遲(Max Latencies)統(tǒng)計(jì)結(jié)果。

圖?23

請(qǐng)將CPU空載狀態(tài)下的統(tǒng)計(jì)結(jié)果no_load_output文件拷貝至Ubuntu，存放在get_histogram.sh同一目錄下?？截恘o_load_output文件為output文件。執(zhí)行如下命令生成直方圖文件plot.png，請(qǐng)將其拷貝至Windows下并打開(kāi)。

Host# cp no_load_output output

Host# ./get_histogram.sh

圖?24

圖?25

根據(jù)測(cè)試結(jié)果output文件數(shù)據(jù)以及結(jié)合直方圖，可得主要數(shù)據(jù)如下表。本次測(cè)試中，CPU1核心Max Latencies值最大，為44us，CPU0核心的Max Latencies值最小，為42us。

備注：測(cè)試數(shù)據(jù)與實(shí)際測(cè)試環(huán)境有關(guān)，僅供參考。

（2）CPU滿負(fù)荷狀態(tài)

參考如上方法，分析CPU滿負(fù)荷狀態(tài)下的統(tǒng)計(jì)結(jié)果如下所示。本次測(cè)試中，CPU1核心Max Latencies值最大，為100us，CPU0核心的Max Latencies值最小，為78us。

圖?26

（3）隔離CPU核心狀態(tài)

參考如上方法，分析隔離CPU核心狀態(tài)下的統(tǒng)計(jì)結(jié)果如下所示。本次測(cè)試中，CPU0核心Max Latencies值最大，為42us，隔離CPU1核心的Max Latencies值最小，為28us。

根據(jù)CPU空載、CPU滿負(fù)荷、隔離CPU核心三種狀態(tài)的測(cè)試結(jié)果可知：當(dāng)程序指定至隔離的CPU1核心上運(yùn)行時(shí)，Linux系統(tǒng)延遲最低，可有效提高系統(tǒng)實(shí)時(shí)性。故推薦對(duì)實(shí)時(shí)性要求較高的程序（功能）指定至隔離的CPU核心運(yùn)行。

外設(shè)使用說(shuō)明

我司提供的Linux-RT內(nèi)核與普通Linux內(nèi)核測(cè)試方法一致，請(qǐng)參考《評(píng)估板測(cè)試手冊(cè)》進(jìn)行測(cè)試即可。Linux-RT內(nèi)核支持的外設(shè)接口及測(cè)試結(jié)果匯總?cè)缦卤硭尽?/p>

系統(tǒng)使用說(shuō)明

Linux-RT內(nèi)核與普通Linux內(nèi)核在系統(tǒng)使用上保持一致，具體操作方法請(qǐng)參考《Linux系統(tǒng)使用手冊(cè)》。

?審核編輯 黃宇