項(xiàng)目信息

項(xiàng)目名稱：龍芯2K上的RT-Thread系統(tǒng)
學(xué)生姓名：李志銳
學(xué)校：聊城大學(xué)
方案描述：該項(xiàng)目要求首先實(shí)現(xiàn)RT-Thread項(xiàng)目到龍芯2K平臺上的MMU移植，并實(shí)現(xiàn)GMAC及SATA/SSD驅(qū)動(dòng)，同時(shí)要對接FAT文件系統(tǒng)以及網(wǎng)絡(luò)協(xié)議棧。

時(shí)間規(guī)劃:

初衷

我從去年開始關(guān)注操作系統(tǒng)的領(lǐng)域，由于興趣的緣故，在去年11月自己研究學(xué)習(xí)了RISC-V架構(gòu)并在以RocketChip為核心的K210芯片上重實(shí)現(xiàn)了，這也是我第一次在于系統(tǒng)內(nèi)核保持近距離的情況下對內(nèi)核進(jìn)行研究學(xué)習(xí)，并因此獲得了對于包括上下文切換、系統(tǒng)調(diào)用過程等的較深的理解，同時(shí)也是第一次接觸支持MMU的非x86架構(gòu)處理器，RISC-V給我的感覺就是：沒有x86架構(gòu)繁瑣的分段機(jī)制（這是x86歷史原因造成的），同時(shí)其硬件頁表機(jī)制與現(xiàn)代操作系統(tǒng)契合度高。

今年4月，我了解到了RT-Thread，并提前上手試著將RT-Thread移植到了CK810架構(gòu)的qemu虛擬機(jī)上，RT-Thread的源代碼整體而言給我的感受就是代碼風(fēng)格的一致性，并且其注釋也比較豐富，同時(shí)有完善的文檔支持，這對我的移植起到了不小的輔助。在這次移植工作中，我第一次接觸了Scons，個(gè)人感覺相比Makefile，基于Python的Scons構(gòu)建工具更加方便也更加靈活。

在完成了上述的移植工作后，我參與到了RT-Thread Smart到CK810架構(gòu)的移植項(xiàng)目之中，RT-Thread Smart給我的感覺就是，相比于公開版的RT-Thread，其功能要強(qiáng)大的多，很多特性更逼近Linux，其強(qiáng)大的用戶態(tài)支持更是吸引了我。 今年6月，我獲知了中科院軟件所的開源軟件計(jì)劃，同時(shí)了解到RT-Thread社區(qū)在該計(jì)劃中擁有一個(gè)名為“龍芯2K上的RT-Thread系統(tǒng)”的項(xiàng)目，該項(xiàng)目要求實(shí)現(xiàn)公開版RT-Thread在龍芯2K平臺上對SATA/SSD驅(qū)動(dòng)的支持，同時(shí)對接FAT文件系統(tǒng)，同時(shí)要對接網(wǎng)絡(luò)協(xié)議棧。同期我也參加了RT-Thread Smart到龍芯2K平臺的適配項(xiàng)目，即要實(shí)現(xiàn)MMU等相關(guān)特性的適配。

龍芯平臺對我而言比較陌生，之前我僅僅是聽說過龍芯的大名，而龍芯平臺所使用的mips指令集我也比較陌生，SATA控制器和GMAC更是從未接觸過，但是我比較喜歡有一定挑戰(zhàn)性的任務(wù)，同時(shí)對這些東西也比較有興趣，因此我就接下了。

過程

7月份，當(dāng)我獲知我中選之后，我就正式開始了項(xiàng)目開發(fā)工作：首先我選擇先實(shí)現(xiàn)RT-Thread Smart的龍芯適配工作。一開始我剛拿到龍芯2K的開發(fā)板，就迫不及待地接上顯示器和鍵盤鼠標(biāo)先上電看一看龍芯自己的Linux系統(tǒng)，結(jié)果一進(jìn)桌面處理器就直接掉電復(fù)位。經(jīng)過排查發(fā)現(xiàn)，我所用的電源適配器和供電線都不達(dá)標(biāo)，最終去買了一個(gè)比較好的適配器和一根比較粗的供電線之后，成功將龍芯Linux啟動(dòng)了起來。

我在閱讀了龍芯教育派的使用手冊之后，了解到龍芯啟動(dòng)時(shí)先啟動(dòng)pmon，再由pmon引導(dǎo)SSD中的系統(tǒng)，pmon比較類似于現(xiàn)代PC機(jī)的bios。緊接著我就考慮該如何調(diào)試RT-Thread，在翻閱了pmon的相關(guān)說明文檔中之后，我了解到pmon支持tftp引導(dǎo)啟動(dòng)，因此我進(jìn)入pmon的配置程序，設(shè)置了默認(rèn)的網(wǎng)卡參數(shù)，同時(shí)在我的PC機(jī)上配置了tftp服務(wù)端，在路由器中將PC機(jī)的IP固定下來，然后進(jìn)入龍芯Linux，修改了boot.cfg，加入了tftp的啟動(dòng)引導(dǎo)選項(xiàng)，并設(shè)為默認(rèn)啟動(dòng)項(xiàng)。

緊接著，我在Windows下配置了完整的編譯工具鏈，并利用Vmware配置了一臺裝有Ubuntu16.04 x64的虛擬機(jī)，在虛擬機(jī)中編譯安裝龍芯2K的qemu著實(shí)花了我一天時(shí)間，不過最終成功完成了配置工作，由于RT-Thread的公開版已經(jīng)完成了龍芯2K的基本適配工作，因此我將該鏡像進(jìn)行編譯同時(shí)利用該鏡像測試了qemu，一切正常。

由于我平時(shí)在Windows下利用VSCode開發(fā)，在Linux下利用qemu仿真調(diào)試RT-Thread，各種命令比較多，敲起來也比較復(fù)雜，因此將Windows下的RT-Thread鏡像輸出目錄映射到了虛擬機(jī)內(nèi)，我在Linux利用Python開發(fā)了一個(gè)qemu監(jiān)控端，同時(shí)在Windows下利用C#開發(fā)了一個(gè)控制Linux下qemu監(jiān)控端的客戶端程序，利用該客戶端程序，可以實(shí)現(xiàn)內(nèi)核一鍵編譯、一鍵啟動(dòng)gdb仿真（即首先通知Linux下的qemu監(jiān)控程序啟動(dòng)qemu，然后在Windows下啟動(dòng)gdb并自動(dòng)建立連接，在入口點(diǎn)斷下，然后可以自動(dòng)執(zhí)行預(yù)先在文本框中設(shè)置好的一系列調(diào)試命令）。

由于musl libc庫的mips64的系統(tǒng)調(diào)用接口和crt接口已經(jīng)預(yù)先被配置好，因此我直接對libc庫進(jìn)行了編譯，然后對用戶程序進(jìn)行了編譯，并生成了ROM，我在RT-Thread Smart將公開版的龍芯2K啟動(dòng)代碼、上下文切換代碼、中斷控制器代碼和串口控制器代碼先移植了進(jìn)去，花了一點(diǎn)時(shí)間通過了編譯，然后利用qemu進(jìn)行調(diào)試，形成了初步的程序框架，然后在main.c中構(gòu)建了一些mmu的測試用例，對龍芯2K的MMU展開了一系列測試，并最終完成了全部測試工作。

形成了mips_mmu.c/.h，緊接著我開始試著啟動(dòng)hello.elf程序，發(fā)現(xiàn)系統(tǒng)無反應(yīng)，經(jīng)過跟蹤發(fā)現(xiàn)，RT-Thread Smart默認(rèn)使用的ELF32模型，我將其改成了ELF64模型，同時(shí)對接了內(nèi)核syscall接口，也對接了lwp用戶態(tài)的相關(guān)接口，為每個(gè)線程創(chuàng)建了獨(dú)立的異常棧和系統(tǒng)調(diào)用棧，同時(shí)在上下文切換代碼中實(shí)現(xiàn)了頁表的切換，并最終實(shí)現(xiàn)了hello world的輸出。

我在調(diào)試ping/pong程序的時(shí)候，發(fā)現(xiàn)龍芯2K的qemu源代碼中存在一個(gè)BUG：Config4寄存器未初始化導(dǎo)致無法使用KScratch1/2寄存器，我將其修正并進(jìn)行了提交，最終ping/pong程序也調(diào)試通過。

實(shí)現(xiàn)signal支持我花了比較長的時(shí)間，這也是第一次接觸signal這個(gè)概念——用戶態(tài)模擬的中斷，在進(jìn)入用戶態(tài)的信號處理程序之前，我將上下文保存在了用戶上下文中，由于這涉及到用戶態(tài)虛擬地址的訪問，在上下文保存過程中可能會(huì)發(fā)生tlb miss從而導(dǎo)致epc被毀，因此這里我也做了特殊處理，最終usersignal.elf也測試通過，在usersignal.elf的調(diào)試過程中，我還遇到了一個(gè)問題：線程執(zhí)行的時(shí)候堆棧錯(cuò)誤，最終獲知我要在用戶態(tài)的線程創(chuàng)建syscall中為線程獨(dú)立分配堆棧，同時(shí)要在線程堆棧中放置一段讓線程退出的trap代碼，將lr指向這里，從而讓線程執(zhí)行時(shí)擁有獨(dú)立堆棧并在執(zhí)行完后順利返回系統(tǒng)并清理線程運(yùn)行環(huán)境。

在上述工作全部完成后，我開始嘗試在實(shí)機(jī)運(yùn)行，結(jié)果一運(yùn)行用戶程序就報(bào)錯(cuò)了，經(jīng)過詢問龍芯相關(guān)技術(shù)人員得知，由于Cache重影的問題，龍芯不支持4K頁，最少要使用16K頁，于是我花了一晚上進(jìn)行修改，并在第二天實(shí)現(xiàn)了實(shí)機(jī)的完美運(yùn)行，此時(shí)已經(jīng)到了7月25日。然后我在公開版的RT-Thread中加入了一條mmu_test命令，并放置了一個(gè)簡單的mmu測試用例，提交到了點(diǎn)亮計(jì)劃提供的gitlab中。

然后我開始實(shí)現(xiàn)RT-Thread公開版上gmac驅(qū)動(dòng)和lwip協(xié)議棧的適配，這部分工作必須完全在實(shí)機(jī)上完成，而我從龍芯手冊上只發(fā)現(xiàn)了GMAC的PCI頭，經(jīng)過一些資料的閱讀，我對PCI總線有了基本的認(rèn)識，獲取到了BAR，經(jīng)過多方打聽和實(shí)驗(yàn)，我獲知龍芯2K1000采用的GMAC是Synopsys的標(biāo)準(zhǔn)核，于是我下載了Synopsys Ethernet 3.50a版本的手冊，進(jìn)行了閱讀，了解到gmac是一種數(shù)據(jù)鏈路層的器件，負(fù)責(zé)幀的收發(fā)，我根據(jù)手冊的寄存器說明讀出了龍芯2K1000的GMAC IP核的版本號，發(fā)現(xiàn)與手冊的版本差異不是太大。

于是我就按照手冊的要求開始進(jìn)行調(diào)試，我將RT-Thread中l(wèi)s1c的gmac驅(qū)動(dòng)直接拷貝了過來，替換了寄存器起始地址，同時(shí)對接了一些Cache相關(guān)的接口，同時(shí)我選擇了lwip 2.0.2進(jìn)行移植，由于驅(qū)動(dòng)和lwip原先是在32位環(huán)境下工作，其中有大量硬編碼的地址類型轉(zhuǎn)換，因此出現(xiàn)了很多兼容性問題，我進(jìn)行了逐一修改，終于，鏈路層握手成功，但是DHCP死活無法握手，我嘗試使用Wireshark進(jìn)行抓包，也一無所獲，沒有獲取到任何數(shù)據(jù)包，我開始對照數(shù)據(jù)手冊分析DMA的發(fā)送列表和接收列表，發(fā)現(xiàn)其列表是連續(xù)環(huán)形方式構(gòu)建的。

但是鏈表到處亂跳，根本不遵循手冊，經(jīng)過幾天的調(diào)試我一無所獲，后來我獲知龍芯的GMAC的DMA也是通過Cache讀取內(nèi)存，因此我就把一些Cache相關(guān)地址轉(zhuǎn)換功能去掉了，但是依然不工作，后來我偶爾在數(shù)據(jù)手冊中發(fā)現(xiàn)了Enhanced Descriptor，于是我將驅(qū)動(dòng)程序轉(zhuǎn)為增強(qiáng)描述符運(yùn)行模式，緊接著我就在wireshark中抓到了數(shù)據(jù)包，其發(fā)送列表和接收列表也完全正常工作了，我對細(xì)節(jié)進(jìn)行一些調(diào)試后，DHCP就正常完成了握手工作，同時(shí)ping操作也可以正常執(zhí)行了，經(jīng)過長達(dá)10個(gè)小時(shí)的ping命令運(yùn)行，證明其可以正常工作，這部分工作我在8月11日成功完成。

緊接著我撰寫了中期報(bào)告并通過了中期考核，緊接著我開始寫SATA控制器驅(qū)動(dòng)，這部分比較順利，我閱讀了Synopsys的標(biāo)準(zhǔn)AHSATA控制器的手冊，發(fā)現(xiàn)其和龍芯2K的寄存器定義完全一致，由此證明其使用的又是Synopsys的標(biāo)準(zhǔn)IP核，然后我將uboot的AHSATA驅(qū)動(dòng)移植了過來，在移植過程中，我注意到其中有大量的源代碼文件，經(jīng)過篩選，我逐漸知道了AHSATA和SATA并不是一種東西AHSATA指的是AHCI + SATA，獲得了正確的驅(qū)動(dòng)后，讀出了AHSATA控制器的BAR并替換進(jìn)源代碼，同時(shí)處理好64位運(yùn)行環(huán)境的兼容問題后，SSD的MBR就被我完整讀出了。

原定計(jì)劃是移植FAT文件系統(tǒng)，但是我注意到龍芯2K的pmon依賴Linux根文件系統(tǒng)下的boot.cfg引導(dǎo)文件，并且其中的龍芯Linux也不想破壞掉，因此最終改為移植lwext4，其支持ext2/3/4文件系統(tǒng)，其移植過程比較順利，同時(shí)我還加入了mbr的解析支持，從而支持了多分區(qū)掛載，最終在8月19日，我完成了全部的工作，并于后來撰寫了結(jié)題報(bào)告，通過了結(jié)題考核。

心得體會(huì)

本次項(xiàng)目我提前一個(gè)半月完成，整體而言，經(jīng)歷了這次項(xiàng)目，我獲得了大量操作系統(tǒng)方面的相關(guān)開發(fā)經(jīng)驗(yàn)，接觸到了signal機(jī)制，同時(shí)理解了GMAC與SATA控制器，對之前所學(xué)的大量知識有了更深入的理解，最重要的是，我也獲得了一些閱讀他人代碼和大型工程代碼的經(jīng)驗(yàn)，也結(jié)識了很多圈子內(nèi)的大佬，獲得了更多的機(jī)會(huì)，同時(shí)也獲得了更多操作系統(tǒng)方面的最新和最前沿信息。

對RT-Thread的感受

首先，相較于傳統(tǒng)的RTOS，公開版RT-Thread提供了更豐富的調(diào)度機(jī)制、組件機(jī)制以及驅(qū)動(dòng)模型，其次，RT-Thread Smart提供了更完整的用戶態(tài)支持，同時(shí)與傳統(tǒng)的RTOS最大的不同在于，可以加載來自文件系統(tǒng)中的elf文件，我認(rèn)為，若加入網(wǎng)絡(luò)文件系統(tǒng)支持，便可以執(zhí)行存儲(chǔ)于網(wǎng)絡(luò)中來自任意一臺嵌入式設(shè)備中的可執(zhí)行文件，這種高度自由的特性非常適應(yīng)如今的物聯(lián)網(wǎng)場景。我認(rèn)為RT-Thread屬于類Unix系統(tǒng)。

其高度可定制化的特性、對多平臺的兼容性以及對硬件的低要求，促使其可以快速地適應(yīng)多種應(yīng)用場合，并快速切入市場，同時(shí)也是一個(gè)比較成型的國產(chǎn)操作系統(tǒng)，讓國家的國產(chǎn)化進(jìn)程更向前了一步，比較適合IoT領(lǐng)域，甚至有切入智能手持設(shè)備和桌面平臺的潛力，整體而言，這是一個(gè)極具發(fā)展?jié)摿Φ膰a(chǎn)操作系統(tǒng)，我比較看好其未來的發(fā)展趨勢。

責(zé)任編輯：xj

原文標(biāo)題：經(jīng)驗(yàn)分享|在龍芯2K上運(yùn)行RT-Thread系統(tǒng)并開源

文章出處：【微信公眾號：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。