小智AI是一款集成大語言模型（LLM）的端側(cè)智能交互框架，能夠?qū)崿F(xiàn)從語音喚醒、云端對話到通過MCP協(xié)議（Model Context Protocol）實時控制外設(shè)的完整閉環(huán)。為物聯(lián)網(wǎng)設(shè)備提供了低門檻、高響應(yīng)的自然語音交互能力，開發(fā)者無需精通復雜的人工智能算法，即可快速在嵌入式硬件上構(gòu)建具備對話和控制功能的智能產(chǎn)品。

本文將手把手帶你學習如何在Edgi-Talk平臺上部署小智AI，并通過語音指令控制開發(fā)板上的LED、屏幕亮度等外設(shè)。這套流程不僅適用于Infineon PSOC-E84，其核心原理——包括端側(cè)語音交互設(shè)計、MCP協(xié)議對接以及硬件驅(qū)動適配——同樣可遷移至其他ARM嵌入式平臺。

小智AI實驗

1. 進入小智AI項目工程：Edgi_Talk_M55_XiaoZhi

固件編譯：

打開env，輸入scons進行工程的編譯，編譯生成固件在當前目錄下：rtthread.hex

固件燒錄：和環(huán)境搭建環(huán)節(jié)中的燒錄方式一樣，使用openocd工具進行命令行燒錄即可：

./openocd.exe -s ../scripts -s ../flm/cypress/cat1d -f interface/kitprog3.cfg -f target/infineon/pse84xgxs2.cfg -c"set QSPI_FLASHLOADER ../flm/cypress/cat1d/PSE84_SMIF.FLM"-c"transport select swd"-c"set ENABLE_ACQUIRE 0"-c"init; reset init; flash write_image erase ./rtthread.hex; reset run; exit"

如何配置小智APP聯(lián)網(wǎng)：

注意：如果手上有SD卡，可以把卡插入到開發(fā)板的SD卡槽，下一次開機會自動聯(lián)網(wǎng)了

開發(fā)板第一次默認會進入AP模式，需要找到對應(yīng)的AP進行連接，密碼在屏幕上有顯示：

確保連接成功后，在設(shè)備的瀏覽器中輸入：192.168.169.1，進入后臺界面，進行配網(wǎng)：

先點擊 scan 掃描周圍 wifi 熱點：

連接成功后，會顯示如下界面：

當屏幕上顯示“待命中”的時候，代表可以正常進行對話了

按一下開發(fā)板的第一個用戶按鍵進行對話，然后等待1-2S小智會自動回復。

小智的表情含義：

聯(lián)網(wǎng)中，請等待完成

監(jiān)聽對話中，此時需要按下用戶按鍵/說出喚醒詞“小睿，小睿”，然后進行對話

小智進入聆聽狀態(tài)，此時會處理對話內(nèi)容，等一句話說完停頓后會進行處理

對話中，此時小智會回復你的對話請求

休眠狀態(tài)，此時小智進入低功耗，需要手動按一下按鍵，然后等待小智進入待命中狀態(tài)，然后就可以繼續(xù)對話了

實現(xiàn)MCP控制開發(fā)板的外設(shè)

MCP 是將 Model Context Protocol 極致精簡后，適配資源受限的嵌入式設(shè)備的輕量實現(xiàn)。

核心目標：讓邊緣側(cè)的微控制器或小型SoC直接作為 MCP Server，暴露硬件能力（GPIO控制、傳感器讀取、電機驅(qū)動、LED、IoT上報等），供LLM通過標準化協(xié)議遠程調(diào)用，實現(xiàn)“自然語言控制物理世界”。

目前支持的外設(shè)控制： LED小燈、屏幕亮度、聲音大小

使用方法：

按一下開發(fā)板的第一個 用戶按鍵 進行對話

小智進入聆聽狀態(tài)

對小智說“打開燈”、“關(guān)閉燈”、“調(diào)亮屏幕”、“調(diào)大聲音”等命令即可實現(xiàn)MCP控制開發(fā)板外設(shè)

小智MCP小燈控制原理

MCP初始化發(fā)送IOT描述符

注冊Iot設(shè)備

LED燈控制工具

控制方法對應(yīng)的驅(qū)動

Edgi-Talk 開發(fā)板基于Infineon PSoC E84 MCU，為工程師提供了一個靈活、全面的嵌入式開發(fā)平臺。 開發(fā)板集成了顯示、音頻、無線通信與多種外設(shè)資源，適用于多傳感器融合、GUI 顯示、多媒體及聯(lián)網(wǎng)應(yīng)用的快速原型驗證與產(chǎn)品開發(fā)。搭載高性能的Arm Cortex-M55處理器，最高400MHz，以及Arm Cortex-M33，最高200MHz，搭配Ethos-U55和NNLite NPU運算單元，助力設(shè)計者為下一代設(shè)備打造無與倫比且高度人性化的終端用戶體驗。