大家好，接下來(lái)會(huì)為大家開(kāi)一個(gè)樹(shù)莓派5和YOLO的連載文章。

內(nèi)容包括四個(gè)部分：

在樹(shù)莓派5上使用YOLO進(jìn)行物體和動(dòng)物識(shí)別-入門指南

在樹(shù)莓派5上開(kāi)啟YOLO人體姿態(tài)估計(jì)識(shí)別之旅

YOLO物體檢測(cè)在樹(shù)莓派AI Hat+上 | 如何編寫自定義Python代碼

YOLO姿態(tài)估計(jì)在樹(shù)莓派AI Hat+上 | 編寫自定義Python代碼

今天是第二部分：樹(shù)莓派5上使用YOLO進(jìn)行人體姿態(tài)估計(jì)識(shí)別之旅

如果大家對(duì)這個(gè)專題感興趣，記得關(guān)注樹(shù)莓派開(kāi)發(fā)者，這樣你將會(huì)第一時(shí)間收到我們的內(nèi)容更新通知。

你是否曾想涉足計(jì)算機(jī)視覺(jué)領(lǐng)域？那么在樹(shù)莓派這樣一款低功耗、便攜式的硬件設(shè)備上嘗試如何？

在本指南中，我們將在樹(shù)莓派5上，借助OpenCV和YOLO姿態(tài)估計(jì)模型家族進(jìn)行相關(guān)設(shè)置。我們將探討一些可用的不同YOLO模型，以及如何優(yōu)化這些模型以獲得更流暢的幀率（FPS），還會(huì)介紹如何使用模型生成的關(guān)鍵點(diǎn)數(shù)據(jù)，以便將姿態(tài)估計(jì)應(yīng)用到你的下一個(gè)項(xiàng)目中。這是我們近期制作的最有趣的指南之一，讓我們開(kāi)始吧！

對(duì)于需要相關(guān)資料的外部讀者，這里是我們的項(xiàng)目代碼壓縮文件夾，其中包含運(yùn)行姿態(tài)估計(jì)所需的所有腳本。

考驗(yàn)?zāi)阌⒄Z(yǔ)聽(tīng)力的時(shí)候到了，你可以選擇觀看視頻演示。

目錄：

所需物品

硬件組裝

安裝樹(shù)莓派操作系統(tǒng)

設(shè)置虛擬環(huán)境并安裝YOLO

運(yùn)行姿態(tài)估計(jì)

更換YOLO模型

提高處理速度

太空入侵者演示及后續(xù)方向

致謝

項(xiàng)目壓縮文件下載

太空入侵者演示

要跟隨本指南進(jìn)行操作，你需要準(zhǔn)備以下物品：

樹(shù)莓派5 - 4GB或8GB型號(hào)均可。雖然理論上也可以在樹(shù)莓派4上完成，但速度遠(yuǎn)于樹(shù)莓派5，體驗(yàn)不佳，因此我們未在樹(shù)莓派4上進(jìn)行測(cè)試。

樹(shù)莓派攝像頭 - 我們使用的是攝像頭模塊V3

轉(zhuǎn)接線 - 樹(shù)莓派5配備的是不同尺寸的CSI攝像頭線，而你的攝像頭可能配備的是較舊的較粗線，因此請(qǐng)仔細(xì)檢查。攝像頭模塊V3肯定需要轉(zhuǎn)接線

散熱方案 - 我們使用的是主動(dòng)散熱器（計(jì)算機(jī)視覺(jué)會(huì)讓你的樹(shù)莓派達(dá)到性能極限）

電源

Micro SD卡 - 容量至少為16GB

顯示器和Micro-HDMI轉(zhuǎn)HDMI線

鼠標(biāo)和鍵盤

*所需物品可以直接聯(lián)系我們進(jìn)行購(gòu)買。

硬件組裝

硬件組裝過(guò)程相對(duì)簡(jiǎn)單。將線纜較粗的一端連接到攝像頭，較細(xì)的一端連接到樹(shù)莓派5。這些連接器上有一個(gè)標(biāo)簽 - 將其抬起，然后將線纜插入插槽。確保線纜插入整齊后，將標(biāo)簽壓回原位以固定線纜。

注意，這些連接器只能以一個(gè)方向插入，且較為脆弱，因此請(qǐng)避免過(guò)度彎曲（稍微彎曲一點(diǎn)沒(méi)問(wèn)題）。

安裝樹(shù)莓派操作系統(tǒng)

首先，我們需要將樹(shù)莓派操作系統(tǒng)安裝到Micro SD卡上。使用樹(shù)莓派成像工具，選擇樹(shù)莓派5作為設(shè)備，樹(shù)莓派操作系統(tǒng)（64位）作為操作系統(tǒng)，以及你的MicroSD卡作為存儲(chǔ)設(shè)備。

下載樹(shù)莓派操作系統(tǒng)：https://www.raspberrypi.com/software/

注意：將樹(shù)莓派操作系統(tǒng)安裝到MicroSD卡上會(huì)清除卡上的所有數(shù)據(jù)。

下載并安裝操作系統(tǒng)可能需要幾分鐘時(shí)間。安裝完成后，將卡插入樹(shù)莓派并啟動(dòng)。樹(shù)莓派將進(jìn)行首次安裝設(shè)置，請(qǐng)確保將其連接到互聯(lián)網(wǎng)。

設(shè)置虛擬環(huán)境并安裝庫(kù)

隨著2023年Bookworm操作系統(tǒng)的推出，我們現(xiàn)在需要使用虛擬環(huán)境（或venv），因?yàn)樗鼈兪窃跇?shù)莓派上提供一個(gè)獨(dú)立的空間，我們可以在其中進(jìn)行實(shí)驗(yàn)而不會(huì)損害樹(shù)莓派操作系統(tǒng)或其他項(xiàng)目。本指南提供了所有所需的命令和說(shuō)明，但如果你需要幫助，虛擬環(huán)境有其自己的指南。

要?jiǎng)?chuàng)建虛擬環(huán)境，請(qǐng)打開(kāi)一個(gè)新的終端窗口并輸入：

python3 -m venv--system-site-packagesyolo_pose

創(chuàng)建venv后，我們可以通過(guò)輸入以下命令進(jìn)入：

sourceyolo_pose/bin/activate

執(zhí)行上述操作后，你會(huì)在綠色文本的左側(cè)看到虛擬環(huán)境的名稱 - 這意味著我們正在其中正確工作。如果你需要重新進(jìn)入此環(huán)境（例如，如果你關(guān)閉了終端窗口，你將退出環(huán)境），只需再次輸入上述source命令即可。

現(xiàn)在，我們處于虛擬環(huán)境中，可以開(kāi)始安裝所需的軟件包。首先，通過(guò)輸入以下三行命令確保PIP（Python軟件包管理器）是最新的：

sudoapt updatesudo apt install python3-pip -ypip install -U pip

然后，使用以下命令安裝Ultralytics軟件包：

pip install ultralytics[export]

Ultralytics的優(yōu)秀團(tuán)隊(duì)是最新YOLO模型的主要開(kāi)發(fā)者和維護(hù)者之一。他們的這個(gè)軟件包將承擔(dān)大部分繁重的工作，并安裝OpenCV以及我們運(yùn)行YOLO所需的所有基礎(chǔ)設(shè)施。

此過(guò)程還將安裝大量其他軟件包，因此可能會(huì)失敗。如果你的安裝失?。〞?huì)顯示一大片紅色文本），只需再次輸入U(xiǎn)ltralytics安裝命令，它應(yīng)該會(huì)繼續(xù)。在極少數(shù)情況下，可能需要重復(fù)輸入安裝命令幾次。

安裝完成后，重啟樹(shù)莓派。如果你想成為高級(jí)用戶，可以在shell中輸入：

reboot

我們還有一件事要做，那就是設(shè)置Thonny以使用我們剛剛創(chuàng)建的虛擬環(huán)境。Thonny是我們將運(yùn)行所有代碼的程序，我們需要讓它從同一個(gè)venv中運(yùn)行，以便它可以訪問(wèn)我們安裝的庫(kù)。

首次打開(kāi)Thonny時(shí)，它可能處于簡(jiǎn)化模式，你會(huì)在右上角看到“切換到常規(guī)模式”。如果存在此選項(xiàng)，請(qǐng)點(diǎn)擊它并關(guān)閉Thonny以重新啟動(dòng)。

現(xiàn)在，通過(guò)選擇“運(yùn)行”>“配置解釋器”進(jìn)入解釋器選項(xiàng)菜單。在“Python可執(zhí)行文件”選項(xiàng)下，有一個(gè)帶三個(gè)點(diǎn)的按鈕。選擇它并導(dǎo)航到我們剛剛創(chuàng)建的虛擬環(huán)境中的Python可執(zhí)行文件。

該文件位于home/pi/yolo_pose/bin下，在此文件中，你需要選擇名為“python3”的文件。點(diǎn)擊確定，你現(xiàn)在將在此venv中工作。

無(wú)論何時(shí)打開(kāi)Thonny，它都將自動(dòng)在此環(huán)境中運(yùn)行。你可以通過(guò)從同一解釋器選項(xiàng)菜單中“Python可執(zhí)行文件”下的下拉菜單中選擇它來(lái)更改工作環(huán)境。如果你想退出虛擬環(huán)境，請(qǐng)選擇bin/python3選項(xiàng)。

運(yùn)行姿態(tài)估計(jì)

現(xiàn)在，我們已經(jīng)安裝了所需的庫(kù)，并且Thonny正在虛擬環(huán)境中運(yùn)行，我們可以運(yùn)行姿態(tài)估計(jì)腳本了。繼續(xù)并將項(xiàng)目壓縮文件夾解壓到桌面等方便的位置。

在那里，你將找到我們將使用的第一個(gè)腳本“pose demo.py”。在Thonny中打開(kāi)它并點(diǎn)擊綠色的大運(yùn)行按鈕。首次運(yùn)行此腳本時(shí)，它可能會(huì)自動(dòng)安裝一些額外所需的內(nèi)容，幾秒鐘后，你應(yīng)該會(huì)看到一個(gè)預(yù)覽窗口出現(xiàn)，其中正在運(yùn)行你的姿態(tài)估計(jì)。

此時(shí)應(yīng)該會(huì)發(fā)生幾件事。首先，YOLO將嘗試檢測(cè)人類，如果識(shí)別到一個(gè)人，它會(huì)在其周圍繪制一個(gè)方框，并在頂部顯示置信度評(píng)分。重要的是，它將在它認(rèn)為你身體的一些關(guān)鍵部位放置點(diǎn)（這些點(diǎn)稱為關(guān)鍵點(diǎn)），并在這些點(diǎn)之間繪制線條以估計(jì)人的姿態(tài)和方向。右上角還將顯示此腳本運(yùn)行的FPS（我們稍后將提高它）。

就這樣！通過(guò)這幾個(gè)簡(jiǎn)單的步驟，我們已經(jīng)讓樹(shù)莓派運(yùn)行姿態(tài)估計(jì)了！

更換YOLO模型

到目前為止，我們一直在運(yùn)行YOLO11，而這個(gè)Ultralytics軟件包的美妙之處在于，我們只需在代碼中替換一行即可完全更改模型。我們可以使用它來(lái)運(yùn)行更高級(jí)的YOLO11模型，甚至是舊模型。你只需要更改設(shè)置中的這一行：

# Load our YOLO11 modelmodel= YOLO("yolo11n-pose.pt")

此行當(dāng)前使用的是nano模型，它是YOLO11中最小、功能最弱但速度最快的模型。我們可以通過(guò)更改“11”后面的單個(gè)字母來(lái)更改此行以運(yùn)行此模型的不同尺寸版本，如下所示。如果你將此行更改為另一個(gè)模型尺寸并運(yùn)行它，腳本將自動(dòng)下載新模型（對(duì)于較大的模型，可能達(dá)到數(shù)百M(fèi)B）。

這些模型之間的差異在于姿態(tài)估計(jì)性能和FPS之間的權(quán)衡。模型越大，它越擅長(zhǎng)估計(jì)可能未被攝像頭捕捉到的身體部位，以及更復(fù)雜的角度和畫面中有更多人的幀，但你可能只能期望每10秒處理一幀！我們將在下一步中提高它。

另一方面，nano模型運(yùn)行速度最快，未經(jīng)優(yōu)化時(shí)約能達(dá)到1.5 FPS，但它沒(méi)有較大模型的處理能力。對(duì)于姿態(tài)估計(jì)，大多數(shù)情況下nano模型就足夠了，因?yàn)樗ǔＤ軡M足你的需求，但如果你需要更強(qiáng)大的功能，請(qǐng)繼續(xù)增大模型尺寸以滿足你的需求。

在此行中，我們還可以更改正在運(yùn)行的YOLO版本。如果你想，可以回退到舊模型，或者利用新模型。本指南最終會(huì)過(guò)時(shí)，如果Ultralytics發(fā)布了YOLO13，你應(yīng)該只需將此行更改為以下內(nèi)容即可開(kāi)始使用更新的YOLO版本：

# Load our YOLO11 modelmodel= YOLO("yolo13n-pose.pt")

另外請(qǐng)注意，一些較舊的YOLO模型名稱中包含“v”。例如，YOLO8稱為：

# Load our YOLO11 modelmodel= YOLO("yolov8n-pose.pt")

提高處理速度

我們可以采取兩種方法來(lái)提高樹(shù)莓派上的FPS，而最有效的方法是將模型轉(zhuǎn)換為稱為NCNN的格式。這是一種更優(yōu)化以在樹(shù)莓派等基于ARM的處理器上運(yùn)行的模型格式。打開(kāi)名為“ncnn conversion.py”的腳本，你將找到以下內(nèi)容：

fromultralyticsimportYOLO# Load a YOLO11n PyTorch modelmodel = YOLO("yolo11n-pose.pt")# Export the model to NCNN formatmodel.export(format="ncnn", imgsz=640) # creates 'yolov11n-pose_ncnn_model'

要使用此腳本，首先指定你想要轉(zhuǎn)換的模型。這使用我們?cè)谏弦还?jié)中討論的相同命名約定。然后，指定模型格式“ncnn”作為輸出格式以及分辨率。目前保持默認(rèn)的640。首次運(yùn)行此腳本時(shí)，它將下載更多所需的內(nèi)容，但實(shí)際轉(zhuǎn)換應(yīng)該只需幾秒鐘。

完成后，在腳本所在的文件夾中，你將找到一個(gè)名為“yolo11n-pose_ncnn_model”之類的新文件夾。復(fù)制此文件名并返回到我們之前的演示腳本。

現(xiàn)在，你需要通過(guò)將模型行更改為它剛剛創(chuàng)建的文件夾的名稱來(lái)告訴腳本使用我們創(chuàng)建的模型。它應(yīng)該如下所示：

# Load our YOLO11 modelmodel= YOLO("yolo11n-pose_ncnn_model")

如果你運(yùn)行腳本，它應(yīng)該與之前完全一樣地工作，但由于NCNN轉(zhuǎn)換，F(xiàn)PS提高了4倍。

我們可以做的另一件事來(lái)提高FPS是降低處理分辨率。這是我們將運(yùn)行YOLO模型的分辨率，像素越少意味著處理每幀所需的時(shí)間越少。

雖然轉(zhuǎn)換為NCNN是免費(fèi)的FPS提升，但降低分辨率確實(shí)會(huì)犧牲一些能力。較低的分辨率會(huì)略微降低姿態(tài)估計(jì)的準(zhǔn)確性（雖然不太明顯），并且它最大的影響是降低了可以估計(jì)姿態(tài)的距離。默認(rèn)分辨率為640時(shí)，范圍相當(dāng)遠(yuǎn)，因此我們可以適當(dāng)降低一點(diǎn)。

為此，請(qǐng)打開(kāi)我們剛剛使用的NCNN轉(zhuǎn)換腳本并在以下行中指定你想要的分辨率：

# Export the model to NCNN formatmodel.export(format="ncnn", imgsz=320) # creates 'yolov11n-pose_ncnn_model'

注意：這必須是32的倍數(shù)。因此，你不能將其設(shè)置為300，但可以設(shè)置為320。

我們發(fā)現(xiàn)，160到320范圍內(nèi)的分辨率在性能和速度之間取得了良好的平衡。

運(yùn)行轉(zhuǎn)換代碼，它將導(dǎo)出具有所需分辨率的模型。這樣做也會(huì)覆蓋任何之前導(dǎo)出的同名模型。

在演示腳本中，確保你像之前一樣指定了NCNN模型。還有一件重要的事情我們必須做，那就是告訴腳本要向模型輸入什么分辨率。在while true循環(huán)中，你將找到以下行。確保它與模型的分辨率匹配，對(duì)于此示例，我們導(dǎo)出的是320：

# Run YOLO model on the captured frame and store the results results= model.predict(frame, imgsz =320)

如果一切順利，你應(yīng)該會(huì)看到FPS再次顯著提高。根據(jù)需要調(diào)整此分辨率，但請(qǐng)記住：

它必須是32的倍數(shù)

你必須更改主腳本中的名稱以使用導(dǎo)出的模型

你必須將主腳本中的分辨率設(shè)置為與模型匹配

太空入侵者演示及后續(xù)方向

現(xiàn)在，我們的姿態(tài)估計(jì)已經(jīng)運(yùn)行，并且達(dá)到了合適的FPS，讓我們看看如何利用這些關(guān)鍵點(diǎn)做些什么。模型輸出的所有數(shù)據(jù)都存儲(chǔ)在“results”變量中。繼續(xù)并打開(kāi)名為“keypoint acquisition.py”的腳本。此腳本與之前的演示腳本幾乎相同，只是在頂部添加了以下函數(shù)：

defget_keypoint_position(keypoint_num, axis='x'): """ Keypoint reference: 0: nose 5: left_shoulder 10: right_wrist 15: left_ankle 1: left_eye 6: right_shoulder 11: left_hip 16: right_ankle 2: right_eye 7: left_elbow 12: right_hip 3: left_ear 8: right_elbow 13: left_knee 4: right_ear 9: left_wrist 14: right_knee """ ifnot0<= keypoint_num <=?16:? ? ? ? raise?ValueError("Keypoint number must be between 0 and 16")? ? if?axis.lower()?not?in?['x',?'y']:? ? ? ? raise?ValueError("Axis must be 'x' or 'y'")? ? # Get the keypoint data? ? keypoint = results[0].keypoints.xyn[0][keypoint_num]? ? # Return x or y coordinate based on axis parameter? ? return?keypoint[0].item()?if?axis.lower() ==?'x'?else?keypoint[1].item()

此函數(shù)接受兩個(gè)輸入：你想要使用的關(guān)鍵點(diǎn)和你想在屏幕上獲取的其x或y坐標(biāo)。然后，它將接受此請(qǐng)求并從函數(shù)中提取該數(shù)據(jù)以輸出。它還包含一個(gè)映射參考，說(shuō)明關(guān)鍵點(diǎn)編號(hào)對(duì)應(yīng)于身體上的哪個(gè)點(diǎn)。如果我們想調(diào)用函數(shù)來(lái)查找鼻子（關(guān)鍵點(diǎn)0）的位置以及它在x軸上的位置，我們將使用以下行：

nose_x= get_keypoint_position(0,'x')

這將返回鼻子在x軸上的相對(duì)位置，因此它將是一個(gè)0到1之間的數(shù)字。0將在屏幕的最左側(cè)，1將在屏幕的最右側(cè)。如果我們獲取的是y軸，它也將返回一個(gè)數(shù)字，其中0是屏幕的頂部，1是屏幕的底部。運(yùn)行腳本是獲得對(duì)此的直觀理解的最好方法。

這是YOLO運(yùn)行姿態(tài)估計(jì)與將其應(yīng)用到我們的項(xiàng)目中的橋梁，因?yàn)槲覀儸F(xiàn)在有一個(gè)Python腳本可以跟蹤身體特定部位的位置并返回其在攝像頭中的位置。作為一個(gè)可能的示例，我們（大致）創(chuàng)建了名為“space invaders.py”的腳本。這是關(guān)鍵點(diǎn)獲取腳本的修改版本，它使用鼻子在x軸上的位置來(lái)控制一個(gè)簡(jiǎn)單的太空入侵者游戲。運(yùn)行此腳本并玩一玩！

這是使用一個(gè)名為Pygame的酷炫庫(kù)制作的，但不幸的是，這不是一個(gè)關(guān)于如何使用Pygame的教程。我們也沒(méi)有手動(dòng)編寫此代碼，而是咨詢了一位Pygame專家，你也可以訪問(wèn)他。像ChatGPT和Claude這樣的大型語(yǔ)言模型在編寫此類代碼方面很有經(jīng)驗(yàn)，我們只是將關(guān)鍵點(diǎn)獲取代碼和一些文本要求它制作一個(gè)太空入侵者游戲粘貼在一起，它就為我們輸出了這段代碼。你可以做同樣的事情，但用于其他簡(jiǎn)單游戲，如打磚塊和貪吃蛇！

很有可能它不會(huì)一次就完美，你可能會(huì)遇到錯(cuò)誤，或者它可能太慢，或者顏色可能不對(duì)。但你可以簡(jiǎn)單地要求它修復(fù)這個(gè)問(wèn)題，它會(huì)盡力解決。它還可以分解并教你代碼的工作原理，就像你問(wèn)一個(gè)人一樣。

你還可以做的不僅僅是控制視頻游戲，你還可以使用這些點(diǎn)來(lái)控制硬件，如伺服電機(jī)、馬達(dá)和電磁閥?；蛘吣憧梢园l(fā)揮創(chuàng)意，跟蹤肩膀的位置并制作一個(gè)引體向上或俯臥撐計(jì)數(shù)器。

無(wú)論你的項(xiàng)目是什么，你現(xiàn)在都有一個(gè)樹(shù)莓派，它可以分析視頻源，尋找人類，并輸出那個(gè)人身體上點(diǎn)的位置。而且我們能夠在我們謙遜的小樹(shù)莓派上運(yùn)行所有這些功能，這確實(shí)是一項(xiàng)了不起的成就。

如果你用這個(gè)制作了什么酷炫的東西，或者你需要任何幫助，請(qǐng)?jiān)谖覀兊?a href="http://www.makelele.cn/article/bbs/" target="_blank">論壇上專門為本指南發(fā)布的帖子下方留言。

致謝

首先，我們要感謝OpenCV和COCO庫(kù)的眾多貢獻(xiàn)者、開(kāi)發(fā)者和維護(hù)者。現(xiàn)代計(jì)算機(jī)視覺(jué)領(lǐng)域的許多成果都建立在他們的努力之上。

我們還要感謝Joseph Redmon和Ultralytics開(kāi)發(fā)并維護(hù)了許多這里使用的YOLO模型。它們是非常強(qiáng)大的模型，能夠在樹(shù)莓派等低功耗硬件上運(yùn)行，這絕非易事！