1.1 信息的基本概念
1.1.1 信息的定义
信息无处不在，无时不有，无人不用，今天它已成为使用频率最高的词汇之一。对信息的应用越广泛，对信息的研究越深入，人们对信息的认识和理解也就越多样化、越深刻。
据《新辞源》考证，“信息”一词最早出现的诗句是在我国唐代诗人杜牧的《寄远》：“塞外音书无信息，道傍车马起尘埃”，以及诗人李中的《暮春怀故人》：“梦断美人沉信息，目穿长路倚楼台”，诗中“信息”的含义就是音信、消息的意思。同样，在西方出版的许多文献著作中，“信息”（Information）和“消息”（Message）两词也是互相通用的。就一般意义而言，信息可以理解成消息、情报、知识、见闻、通知、报告、事实、数据等。
信息到现在都还没有一个特定的、公认的定义，不同的学科和学者，从不同的角度对信息的含义有不同的解释。
1948年，美国数学家香农（Shannon）指出：“信息是用来消除随机不确定性的东西”，指的是有新内容或新知识的消息。所谓不确定性就是千变万化、不规则、随机性，用概率模型来描述并对其进行定量的计算。
美国数学家、控制论的奠基人诺伯特·维纳（Wiener）认为，信息是“我们在适应外部世界、控制外部世界的过程中，同外部世界交换的内容的名称”，提出“信息就是信息，不是物质，也不是能量”，是区别于物质和能量以外的第三类资源。
1988年，我国信息论专家钟义信在《信息科学原理》一书中认为，信息是事物运动的状态与方式，是物质的一种属性。在这里，“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括机械运动、化学运动、思维运动和社会运动；“运动方式”是指事物运动在时间上所呈现的过程和规律；“运动状态”则是事物运动在空间上所展示的形状与态势。
信息不同于消息，消息只是信息的物理表现，信息是消息的内涵；消息中包含信息，一则消息可载荷不同的信息，可能包含丰富的信息，也可能包含很少的信息，同一信息可用不同的消息形式来体现。
信息不同于信号，信号是与消息相对应的物理量（如电信号、光信号、声音信号等），它是消息的物理载体。信号携带信息，但不是信息本身。同一信息可用不同的信号来表示，同一信号也可表示不同的信息。
信息不同于数据，数据是对客观事物进行记录并可以鉴别的符号，是客观事物的属性、数量、位置及其相互关系等的抽象表示。数据是信息记录的基础，信息一般通过数据来表示，信息加载在数据之上，并对数据做出具有含义的解释。如果把信息比作分子，数据就是它的原子构成。
信息是人类的一切生存活动和自然存在所传达出来的信号和消息。人类通过信息认识各种事物，借助信息的交流沟通人与人之间的联系，互相协作，从而推动社会前进。信息既不是物质也不是能量，但同物质、能源一样重要。当代社会将信息、材料和能源并称为社会的三大支柱。
1.1.2 信息的特性
信息通常具有以下特性：
1）可量度。信息可采用某种度量单位进行度量，并进行信息编码，如现代计算机使用的二进制。
2）可识别。信息可采取直观识别、比较识别和间接识别等多种方式来把握。
3）可转换。信息可以从一种形态转换为另一种形态，如自然信息可转换为语言、文字和图像等形态，也可转换为电磁波信号或计算机代码。
4）可存储。信息可以存储，大脑就是一个天然信息存储器。人类发明的文字、摄影、录音、录像以及计算机存储器等都可以进行信息存储。
5）可处理。人脑就是最佳的信息处理器。人脑的思维功能可以进行决策、设计、研究、写作、改进、发明、创造等多种信息处理活动。计算机也具有信息处理功能。
6）可传递。信息传递是与物质和能量的传递同时进行的。语言、表情、动作、报刊、书籍、广播、电视、电话等是人类常用的信息传递方式。
7）可再生。信息经过处理后，可用其他形式再生，如自然信息经过人工处理后，可用语言或图形等方式再生成信息。输入计算机的各种数据文字等信息，可用显示、打印、绘图等方式再生成信息。
8）可压缩。信息可以进行压缩，可以用不同的信息量来描述同一事物。人们常常用尽可能少的信息量描述一件事物的主要特征。
9）可利用。信息具有一定的实效性和可利用性。
10）可共享。信息具有扩散性，因此可共享。
1.1.3 信息论
1.信息论形成的背景与基础
人们对于信息的认识和利用，可以追溯到古代的通信实践，这些是传递信息的原始方式。随着社会生产的发展、科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家奈奎斯特、德国屈普夫米勒、前苏联科尔莫戈罗夫和英国赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。
信息论是人们在长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家香农（被称为“信息论之父”），他在1948年发表了著名的论文《通信的数学理论》，这篇论文以概率论为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表征信息传输关系的编码定理。香农在进行信息的定量计算时，明确地把信息量定义为随机不确定性程度的减少。这表明了他对信息的理解：信息是用来减少随机不确定性的东西。随机不确定性是指由于随机因素所造成的不能肯定的情形，在数值上可以用概率熵来计量。1949年香农又发表了《噪声中的通信》，这些论文为信息论奠定了理论基础。
美国数学家、控制论的主要奠基人维纳在1950年出版的《控制论与社会》一书中对信息的理解是：“人通过感觉器官感知周围世界”，“我们支配环境的命令就是给环境的一种信息”，因此，“信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程”。这些是把信息理解为广义通信的内容。
1956年法裔美国科学家布里渊（Brillouin）在他的名著《科学与信息论》中直接了当地指出：信息就是负熵，并且他还创造了Negentropy这一词（由Negative和Entropy合成）来表示负熵的概念。
20世纪70年代以后，随着计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展成为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
2.信息论的定义
信息论是运用概率论与数理统计的方法研究信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。其核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通信和控制系统中普遍存在的信息传递的共同规律以及研究最佳解决信息的获取、度量、变换、存储和传输等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息论作为一门科学理论，发源于通信工程。它的研究范围极为广阔，一般把信息论分成以下三种不同类型。
（1）狭义信息论
狭义信息论主要总结了香农的研究成果，因此又称为香农信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。
（2）一般信息论
一般信息论研究从广义的通信引出的基础理论问题、香农信息论和维纳的微弱信号检测理论等。微弱信号检测又称最佳接收，是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。除此之外，一般信息论的研究还包括：噪声理论、信号滤波与预测、统计检测与估计理论、调制理论、信号处理与信号设计理论等。它总结了香农和维纳以及其他学者的研究成果，是广义通信中客观存在的问题的理论提升。
（3）广义信息论
无论是狭义信息论还是一般信息论，讨论的都是客观问题。然而当讨论信息的作用、价值等问题时，必然涉及主观因素。广义信息论研究包括所有与信息有关的领域，如心理学、遗传学、神经生理学、语言学、社会学等。因此，有人对信息论的研究内容进行了重新界定，提出从应用性、实效性、意义性或者从语法、语义、语用方面来研究信息，分别与事件出现的概率、含义及作用有关，其中意义性、语义、语用主要研究信息的意义和对信息的理解，即信息所涉及的主观因素。
广义信息论从人们对信息特征的理解出发，从客观和主观两个方面全面地研究信息的度量、获取、传输、存储、加工处理、利用等，理论上说是最全面的信息理论，但由于主观因素过于复杂，很多问题本身及其解释尚无定论，或者受到人类知识水平的限制目前还得不到合理的解释，因此广义信息论目前还处于正在发展的阶段。
1.1.4 信息量
“信息”一词在概念上与消息的意义相似，但它的含义更具有普遍性、抽象性。信息可被理解为消息中包含的有意义的内容；消息可以有各种各样的形式，但其内容可统一用信息来表述。消息中包含信息的多少可直观地使用“信息量”来进行衡量。
在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对接收者而言，某些消息比另外一些消息的传递具有更多的信息。例如，甲方告诉乙方一件非常可能发生的事情：“今年夏天比去年夏天热”，比起告诉乙方一件极不可能发生的事情：“今年夏天比去年冬天冷”来说，后一消息包含的信息显然要比前者多。因为对乙方（接收者）来说，前一事情很可能发生，不足为奇，而后一事情却极难发生，听后会使人惊奇。这表明消息确实是有量值的意义，而且可以看出，对接收者来说，事件越不可能发生，越会使人感到意外和惊奇，信息量就越大。正如已经指出的，消息是多种多样的，因此度量消息中所含信息量的方法，必须能够用来估计任何消息的信息量，而与消息的种类无关。另外，消息中所含信息的多少也应和消息的重要程度无关，仅与消息内容的不确定性有关。
概率论告诉我们，事件的不确定性程度可以用其出现的概率来描述。因此消息中包含的信息量与消息发生的概率密切相关。消息出现的概率越小，则消息中包含的信息量就越大。
用I（xi）=-logaP（xi）（P（xi）表示事件xi出现的概率）来度量事件xi给出的信息量，称为单个事件xi的信息量。若一次试验有M种可能结果（事件），或一个信源可能产生M种消息（事件），它们出现的概率分别为P（x1），P（x2），…，P（xM），则用
来度量一次试验或一个消息所给出的平均信息量，也就是熵。当对数以a=2为底时，信息量的单位为位（bit）；当对数以a=e（自然对数）为底时，信息量的单位为奈特（nat）；当对数以a=10为底时，信息量的单位为哈特莱（Hartley）。广泛使用的信息量单位是位。信息论中的熵H的表达式与物理学中热力学熵的表达式差一个负号，故称负熵或信息熵。