數(shù)字信號(hào)處理器（DSP）具有出色的多媒體性能。一般而言，它們運(yùn)行編解碼器所需的周期只有通用處理器（GPP）內(nèi)核的40%到50%。DSP還能提供比ASIC大得多的靈活性和可重配置性。但迄今為止，要在數(shù)字視頻應(yīng)用中運(yùn)用DSP，編程人員還不得不花費(fèi)較多時(shí)間精力去學(xué)習(xí)相關(guān)專用語(yǔ)言。不過，隨著應(yīng)用編程接口（API）的出現(xiàn)，已不再需要學(xué)習(xí)這些專用DSP語(yǔ)言了。在運(yùn)行于GPP上的應(yīng)用中，API可以輕輕松松地充分發(fā)揮DSP的優(yōu)勢(shì)。
　　開源多媒體構(gòu)架在GPP上一般運(yùn)行在Linux操作系統(tǒng)下，是這些API的理想對(duì)象。利用API可以卸載視頻編解碼器的計(jì)算負(fù)荷，大大減小DSP編程的復(fù)雜性。這種方案只要求編程人員具備基本的DSP知識(shí)即可，無需編寫代碼來整合DSP功能與那些運(yùn)行在GPP上的功能。這種優(yōu)勢(shì)，加上利用免費(fèi)開源插件和構(gòu)架提供的許多功能的能力，可以大幅度縮短新視頻產(chǎn)品的上市時(shí)間。
　　硬件平臺(tái)的選擇
　　在選擇運(yùn)行編解碼器（壓縮傳輸或存儲(chǔ)的數(shù)字流，再解壓以供查看或編輯）的硬件平臺(tái)時(shí)，開發(fā)人員有幾種可選方案。ASIC是專門為數(shù)字視頻應(yīng)用而設(shè)計(jì)的，能在這類應(yīng)用中提供高性能和低功耗。它的缺點(diǎn)流片（NRE）費(fèi)用很高。此外，ASIC若有變化，比如改動(dòng)以適應(yīng)編解碼標(biāo)準(zhǔn)，相關(guān)實(shí)現(xiàn)費(fèi)用非常高昂。
　　另一方面，GPP內(nèi)核的流片費(fèi)用相對(duì)較低，針對(duì)變動(dòng)進(jìn)行重編程相當(dāng)容易。但由于它們?cè)趫?zhí)行計(jì)算密集的信號(hào)處理應(yīng)用時(shí)效率低下，故在應(yīng)用于數(shù)字視頻處理時(shí)性能較低。例如，GPP通過一系列移位和加法運(yùn)算來實(shí)現(xiàn)乘法運(yùn)算，而每一個(gè)移位和加法運(yùn)算需要一個(gè)以上的時(shí)鐘周期。
　　DSP具有集上述二者之優(yōu)勢(shì)的潛力。不同于GPP，DSP是為數(shù)字視頻應(yīng)用中計(jì)算密集的信號(hào)處理應(yīng)用而優(yōu)化的。它具有單周期乘法器或乘法累加單元，能夠加快編解碼算法的執(zhí)行速度。更高性能的DSP還包含有幾個(gè)可以并行操作的獨(dú)立執(zhí)行單元，這使得它們能夠每條指令執(zhí)行好幾個(gè)操作。此外，DSP還提供完全的軟件編程能力，包括現(xiàn)場(chǎng)重編程能力。這就讓用戶可以先推出MPEG-2產(chǎn)品，以后再升級(jí)為H.264視頻編解碼器。DSP在數(shù)字視頻應(yīng)用中的主要局限是它們通常需要采用專用語(yǔ)言來編程，而熟悉DSP的編程人員遠(yuǎn)沒有熟悉流行的GPP架構(gòu)的來得多。
　　
　　圖1：只含解碼器的范例中的多媒體框架職責(zé)和數(shù)據(jù)流程
　　組件集成的挑戰(zhàn)
　　數(shù)字視頻系統(tǒng)的開發(fā)人員還面臨著集成的挑戰(zhàn)。數(shù)字視頻系統(tǒng)包含了多個(gè)編碼器、解碼器、編解碼器、多種算法及其它軟件，這些組件都必須集成到一個(gè)可執(zhí)行映象（image）中，然后才能在系統(tǒng)上運(yùn)行內(nèi)容。集成所有這些組件并確保其運(yùn)行協(xié)調(diào)是一件很困難的任務(wù)。不同的系統(tǒng)可能需要截然不同的視頻、圖像、語(yǔ)音、音頻和其他多媒體模塊。手工集成每一個(gè)軟件模塊或算法的開發(fā)人員就被增值功能性（比如增加創(chuàng)新性功能）搞得頭痛不已。
　　許多數(shù)字視頻開發(fā)人員都開始采取開源途徑來構(gòu)建軟件。一種常用的方案是從開源獲得軟件的重要部分，而在可用性和硬件集成方面充分發(fā)揮內(nèi)部專業(yè)能力。開發(fā)人員常常參與開源技術(shù)開發(fā)項(xiàng)目，以滿足特定要求并把內(nèi)部開發(fā)的代碼和開源代碼集成在一起來創(chuàng)建新產(chǎn)品。