人妻无码AV一区,国产性免费观看视频

隨著近年來 AI 技術的興起，視頻監(jiān)控、汽車、智能家居、移動設備及數據中心等對高清視頻處理有了越來越高的要求。安謀科技全新視頻處理器——“玲瓏”V6/V8，針對主流市場的視頻流媒體技術進行了大量投入，通過一系列智能權衡實現了極大優(yōu)化，為所有合作伙伴提供靈活的組合和選擇。LiveVideoStackCon 2022北京站邀請到了安謀科技多媒體產品經理董峰，為我們分享“玲瓏”編解碼融合架構助力視頻多元化需求。

此次是安謀科技在LiveVideoStack大會的演講首秀。安謀科技是中國最大的芯片IP設計與服務供應商，在立足全球生態(tài)、深耕本土創(chuàng)新的基礎上，堅持以自研IP技術的創(chuàng)新發(fā)展與Arm IP相配合，為本土集成電路產業(yè)提供豐富的產品組合和解決方案。

自2018年獨立運營以來，安謀科技堅持開展自研IP和發(fā)展Arm IP業(yè)務，一方面是結合中國市場需求積極布局自研業(yè)務，堅持“全球標準，本土創(chuàng)新”，陸續(xù)推出“周易”NPU、“星辰”CPU、“山海”SPU以及“玲瓏”ISP&VPU等自研IP成果，并全部實現了客戶相關芯片產品的流片和量產。另一方面，安謀科技也致力于將Arm 先進的架構和技術引進國內，滿足國內公司開發(fā)具有全球競爭力產品的需求。在兩大支柱業(yè)務的合力之下，目前安謀科技已打造一體化、完整的異構計算IP核心矩陣，助力中國智能計算產業(yè)高速發(fā)展。

芯片IP廠商需要考慮多元化的需求，應當滿足不同場景下的不同訴求。對于視頻來說，無論是端、邊、云都有很大的視頻編解碼需求。端側手機、IPC、無人機等不同場景對視頻編解碼的需求存在較大差異。而云端和車載則是完全不同的方向。手機以及安防在編碼和解碼方面差異也較為明顯，手機客戶解碼需求更強，但是旗艦機對于一些圖傳也存在不同需求。作為IP廠商如何面對復雜多變的市場需求是首當其沖的問題。

安謀科技VPU團隊在2019年底成立，從2020年初開始研發(fā)自研產品。我們團隊從Arm Mali-V52的維護開始，逐漸完成兩代產品的研發(fā)。為了更好地滿足行業(yè)基本格式需求，我們新增了AVS2和AV1格式，“玲瓏”V5/V7花費了近三個季度完成，“玲瓏”V6/V8則花費了將近一年。除了增加格式之外，還增強了整體編碼能力。“玲瓏”V5/V7的HEVC編碼質量與Arm Mali-V52/76相比提升了15%，“玲瓏”V6/V8的H.264編碼質量也比“玲瓏”V5/V7提升了10%。面對多樣的產品需求，增加了復雜的前后處理，“玲瓏”V5/V7增加了Any ratio downscaling的后處理；“玲瓏”V6/V8增加了OSD的前處理，以及YUV到RGB的后處理。

“玲瓏”VPU支持全格式，整體面積較小?！傲岘嚒盫5全格式支持包括前后處理P&R之后是1.83。芯片IP行業(yè)一直在追求更高的性能、更小的功耗和更小的面積，產品在迭代過程中針對上述問題的改進還是頗有成效。在整體架構方面也有別于其它架構，“玲瓏”VPU以單核實現編解碼融合，既可以編碼也可以解碼，以適用于多樣場景的需求。不只是硬件格式的支持，還囊括了可編程的軟件部分，以滿足對多種場景變化的需求。

在硬件層面上，“玲瓏”VPU添加更多靈活可配的接口，其它能力通過軟件層面實現擴展。該產品整體是5個MCU的結構，不同的MCU對應控制不同的硬件加速器。在spec分析階段，需要考慮哪些可以固化、哪些可以通過靈活的軟件配置實現，再將可固化的部分做成純硬件。

盡管端和云對處理器性能要求差異巨大，但是從芯片IP角度出發(fā)，還是希望能用統(tǒng)一的方式來支撐不同場景的需求，基于多核的可拓展性對性能進行擴展，通過擴展核數以支持不同場景需求。例如，端側客戶單核即可滿足需求，而邊緣側大致需要四核，那云端基本需要八核。在7nm制程前提下，八核基本可以實現8k@60fps編碼或8k@120fps解碼。

除了上述的多核可拓展性之外，“玲瓏”VPU對于MCU本身也會有所考量。不同于Arm Cortex A和Cortex M的核，其單獨為視頻場景進行定制優(yōu)化，基本上仍然是5級的流水。而在頻率方面，和整個VPU同頻。16FF下至少可達到800MHz。由此可見，該核本身就可以保證其性能，在視頻場景下更側重于加速器的控制，所以不會讓其觸碰pixel內容，在指令集方面也做了很多優(yōu)化。

除了6個加速器之外，“玲瓏”VPU還有兩個DMA相關的單元，一個是SDMA，另一個是VDMA。VDMA主要用于處理Frame級別的數據，包括編碼的輸入數據和解碼的輸出數據，前后處理也可以通過該單元靈活擴展。這幾代產品的迭代都是把功能分散到不同的加速器以及top層上。應對不同場景的需求，除了性能和基本功能之外，系統(tǒng)層面仍然有差異化的需求，多路的隔離、系統(tǒng)訪存延遲優(yōu)化、降帶寬、降延時等都屬于系統(tǒng)層面的優(yōu)化，也和Arm的生態(tài)保持一致。

在系統(tǒng)層面，通過降帶寬、降延時來應對大帶寬系統(tǒng)的需求，基于AFBC，可與Arm GPU以及Display搭配進行，內部中間的參考幀使用AFBC壓縮，可讓帶寬在輸入和輸出都不壓縮的情況下降低35%。在GPU使用VPU解碼數據進行紋理渲染時，整體的帶寬可降低至原先的45%。在Display場景中，也可以達到類似的效果。除了整個數據流，中間的參考幀數據也可以單獨拿出來為后面的單元進行相對地管理，也可以有效降低帶寬?！傲岘嚒盫PU圍繞各個層面進行統(tǒng)一考量，以更好地降低帶寬需求。

VPU不僅需要在視頻場景中考量系統(tǒng)層面的優(yōu)化，也需要從系統(tǒng)層面進行考量，內部的并行也可以在top ram進行優(yōu)化，以減少多核之間的內存訪存。VPU與CPU處理器、視頻、顯示的聯合也可以做到類似的效果。

就AFBC本身而言，也分為不同的版本。AFBC是Arm Frame Buffer Compression的縮寫，簡單理解就是Arm系統(tǒng)層面上的無損壓縮，主要目的是帶寬的優(yōu)化。AFBC的能力是基于Arm整個IP層面來實現的，是在系統(tǒng)層面的整體優(yōu)化。對于ISP而言，Arm也有專用的AFBC模塊用來連接ISP，端側場景也可以在視頻里直接輸入AFBC數據以減少帶寬。AFBC的好處很多，尤其是對rotation十分友好，系統(tǒng)層面通過AFBC就可以繞過rotation這種耗帶寬的處理，從原始數據進行rotation的訪問，對于系統(tǒng)的總線來說存在不小的壓力。但通過AFBC的方式在內部優(yōu)化rotation，能夠支持連續(xù)的訪問，這種方式更簡單高效。此外，AFBC的不同格式也對系統(tǒng)的隨機訪問有所支持。

“玲瓏”VPU原生就支持多路，端側場景也需要多路，對于云端場景來說多路更是剛需。應對多路復雜多分辨率的場景，也是巨大的考驗。“玲瓏”VPU通過核心調度器負責多核調度，多核并行按照條帶級別劃分任務，任何核都可以通過核心調度器硬件直接調度。“玲瓏”VPU原生硬件可支持4個上下文，4路不同場景都可以通過核心調度器進行切換。而總線仲裁器則負責系統(tǒng)層面的訪問，與核互聯以整體判決，從而優(yōu)化緩存，在輸出時可通過AXI進行。三步結合，一起對訪存進行優(yōu)化。