2.1 信源数学模型
任何信源产生的消息输出都是随机的，可以用随机变量、随机向量或者随机过程来描述，也可以用概率空间来描述信源。信源的输出常常以符号或者代码的形式出现，比如文字、符号、字母等，取值范围是有限或者可数的。例如，投硬币，每次不是正面就是反面；投骰子，每次都是1～6点中的一个，结果是随机的，并且一定是集合中的某一个。因此，这样在时间和幅度上离散分布的信源称为离散信源，数学模型为离散型的概率空间，下面以一维离散随机变量X来描述信源输出
式中，P（xi）（i=1，…，n）满足
其中，P（xi）（i=1，…，n）表示随机事件X发生某一结果xi的先验概率，该公式表示信源的可能取值范围是有限的，共有n个，每次输出必定为其中某一个。这是离散信源中最为基本的一种。
还有一种类型的信源，其取值在时间和幅度上都是连续分布的，同时又是随机的，例如语音信号、图像、电流值和电压值等。这种信源称为连续信源，其数学模型为连续型概率空间：
并且
其中，p（x）表示随机变量X的概率密度函数。
离散信源和连续信源属于最基本的两种信源。下面简单归纳几种常见的信源类型。
离散平稳信源：若信源输出的N维随机序列X中，每个随机变量Xi（i=1，2，…，N）都是取值离散的离散型随机变量，并且Xi的概率分布都与时间起点无关，即在任意两个不同时刻x和y（x和y为大于1的任意整数），对于任意的N=0，1，2，…，XxXx+1…Xx+N和XyXy+1…Xy+N具有相同的概率分布。这种各维联合概率分布均与时间起点无关的信源称为离散平稳信源。
连续平稳信源：若信源输出的N维随机序列X中，每个随机变量Xi（i=1，2，…，N）都是取值连续的连续型随机变量，并且Xi的概率分布都与时间起点无关，即在任意两个不同时刻x和y（x和y为大于1的任意整数），对于任意的N=0，1，2，…，XxXx+1…Xx+N和XyXy+1…Xy+N具有相同的概率分布。这种信源称为连续平稳信源。
离散平稳信源分为有记忆和无记忆两种类型。
（1）离散有记忆信源
一般情况下，信源先后发出的符号之间是互相关联的，也就是说信源输出的平稳离散随机序列X中，各随机变量之间是有依赖的，例如，在中文字母组成的中文消息中，前后文字之间是有关联的，称这种信源为离散有记忆信源。故在N维随机向量的联合概率分布中，引入条件概率分布来描述它们之间的关联。
（2）离散无记忆信源
离散无记忆信源是最简单的离散信源，可以用完备的离散型概率空间来描述，其主要特点是离散和无记忆。离散指的是信源可能输出的消息的种类是有限的或者是可数的，消息的样本空间R是一个离散集合。由于信源的每一次输出都是按照消息发生的概率输出R中的一种消息，因此信源输出的消息可以用离散随机变量X表示。无记忆是指不同的信源输出消息之间相互独立。
连续平稳信源也可以分为有记忆和无记忆两种类型。
（1）连续平稳无记忆信源
在连续平稳信源情况下，若信源输出的连续型随机向量X=（X1X2…XN）中，各随机变量Xi之间无相互依赖、统计独立，其联合概率密度函数满足
因为信源是平稳信源，因此p1（x）=p2（x）=…=pN（x）=p（x），那么p（x1x2…xN）=
，该信源称为连续平稳无记忆信源。
（2）连续平稳有记忆信源
有依赖关系的连续平稳信源为连续平稳有记忆信源。