從這一章開始，我們從有效而可靠地傳輸信息的觀點(diǎn)出發(fā)，對(duì)組成信息傳輸系統(tǒng)的各個(gè)部分分別進(jìn)行討論。

　　本章首先討論信源，重點(diǎn)是信源的統(tǒng)計(jì)特性和數(shù)學(xué)模型，以及各類離散信源的信息測(cè)度——熵及其性質(zhì)。這部分內(nèi)容是香農(nóng)信息論的基礎(chǔ)。

　　信源的描述與分類

　　信源的分類方法依信源特性而定，一般按照信源發(fā)出的消息在時(shí)間上和幅度上的分布情況，把信源分為：

　　連續(xù)信源：發(fā)出在時(shí)間上和幅度上都是連續(xù)分布的連續(xù)消息的信源；

　　離散信源：發(fā)出在時(shí)間上和幅度上都是離散分布的信源。

　　離散信源又可以細(xì)分為：

　　離散無記憶信源：所發(fā)出的各個(gè)符號(hào)之間是相互獨(dú)立的，即發(fā)出的符號(hào)序列中的各個(gè)符號(hào)之間沒有統(tǒng)計(jì)關(guān)聯(lián)性，各個(gè)符號(hào)的出現(xiàn)概率是它自身的先驗(yàn)概率。

　　離散有記憶信源：發(fā)出的各個(gè)符號(hào)之間不是相互獨(dú)立的，即各個(gè)符號(hào)出現(xiàn)的概率是有關(guān)聯(lián)的。也可以根據(jù)信源發(fā)出一個(gè)消息所用符號(hào)的多少，將離散信源分為：

　　發(fā)出單個(gè)符號(hào)的離散信源：信源每次只發(fā)出一個(gè)符號(hào)代表一個(gè)消息；

　　發(fā)出符號(hào)序列的離散信源：信源每次發(fā)出一組含二個(gè)以上符號(hào)的符號(hào)序列代表一個(gè)消息。