ESP-RTC

樂鑫科技推出 ESP-RTC (Real-Time Communication) 音視頻通信方案，能夠?qū)崿F(xiàn)穩(wěn)定流暢、超低延時(shí)的語音和視頻實(shí)時(shí)通信。

ESP-RTC 以樂鑫 ESP32-S3-Korvo-2 多媒體開發(fā)板為核心。ESP32-S3-Korvo-2 搭載 ESP32-S3 AI SoC，擁有雙麥克風(fēng)陣列，支持近/遠(yuǎn)場(chǎng)語音喚醒和語音識(shí)別。它還集成了攝像頭、Micro SD 卡、LCD 等外設(shè)，支持基于 MJPEG 視頻流的處理，為用戶構(gòu)建低成本、低功耗、可聯(lián)網(wǎng)的音視頻產(chǎn)品提供了理想的開發(fā)原型。

ESP32-S3-Korvo-2 多媒體開發(fā)板

ESP-RTC 方案參考硬件框架

ESP-RTC 方案基于樂鑫自研的 SIP（Session Initialization Protocol，會(huì)話初始協(xié)議）協(xié)議棧，實(shí)現(xiàn)了實(shí)時(shí)的音視頻通信。協(xié)議棧包含傳輸層、事務(wù)層和會(huì)話層，其信令交互模塊支持 UDP、TCP 和 TLS 三種方式，媒體傳輸模塊支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透?jìng)鲄f(xié)議。值得一提的是，ESP-RTC 方案還在傳輸模塊中增加了弱網(wǎng)對(duì)抗算法，如 Jitter Buffer 和 PLC，有效解決了丟包、抖動(dòng)、擁塞、延時(shí)等問題，能夠充分保證音視頻通信的流暢性與實(shí)時(shí)性。

ESP-RTC 方案也支持 RTSP（Real Time Streaming Protocol，實(shí)時(shí)流協(xié)議）協(xié)議棧，其媒體傳輸模塊同時(shí)支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作為 RTSP 服務(wù)器，支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器進(jìn)行點(diǎn)播；也可以作為 RTSP 客戶端，支持對(duì) EasyDarwin 等開源服務(wù)器進(jìn)行直播推流和拉流播放。

ESP-RTC 基于樂鑫自研的音頻 3A 算法(AEC 聲學(xué)回聲消除、ANS 背景噪聲抑制、AGC 音頻自動(dòng)增益)，降低了通話中的噪音和回聲，使語音對(duì)講保持高質(zhì)量穩(wěn)定。它還采用樂鑫芯片級(jí)編解碼算法，為用戶提供了清晰畫質(zhì)的視頻通話體驗(yàn)。結(jié)合樂鑫 AI SoC ESP32-S3，ESP-RTC 可借助其出色的 AI 運(yùn)算能力，實(shí)現(xiàn)高性能語音喚醒與識(shí)別、圖像識(shí)別等應(yīng)用，廣泛適用于智能音箱、可視對(duì)講門鈴、智能家居控制面板、寵物監(jiān)控、車載行車記錄儀、兒童玩具等場(chǎng)景。

ESP-RTC 方案支持 FreeSWITCH、FreePBX 等開源服務(wù)器，也可接入成熟的 SFU 云端服務(wù)器，實(shí)現(xiàn)多人同屏音視頻通話。用戶借助樂鑫開源物聯(lián)網(wǎng)開發(fā)框架 ESP-IDF 和音頻開發(fā)框架 ESP-ADF，即可快速搭建音視頻通信相關(guān)應(yīng)用。

如果您想了解更多關(guān)于樂鑫 ESP-RTC 實(shí)時(shí)音視頻通信方案的信息，或?qū)で笊虡I(yè)項(xiàng)目合作，請(qǐng)聯(lián)系我們的客戶支持團(tuán)隊(duì)。您也可以前往樂鑫官?淘寶店鋪購買 ESP32-S3-Korvo-2 開發(fā)板，構(gòu)建自己的音視頻通話應(yīng)用。