课程编号：E11005Z 课 时：40 学 分：2 课程属性：学科基础课 主讲教师：陈德元
英文名称：Information Theory 开课时间：秋季学期
教学目的、要求
教学目的和要求：
本课程为信息与通信工程学科研究生的学科基础课，同时也可作为信息科学其它学科研究生的选修课。信息论在现代通信中具有广泛的应用，本课程主要内容为信息熵、鉴别信息、鉴别信息原理与应用、信道容量、实用信源编码（包括矢量量化、线性预测编码、变换编码等）、信道编码（如线性编码、卷积码等）、信道的有效利用、率失真函数与率失真编码以及非统计意义下的组合信息、算法信息和通用编码。
通过本课程学习，要求学生掌握信息论在现代通信技术中的基本应用以及信源编码和信道编码的基本技巧，并对信息论的发展有所了解，为进一步学习通信理论和从事专业研究打下基础。
预修课程
概率论、随机过程、信号与系统
教 材
T. Cover, J. Thomas著，阮吉寿 张华 译，《信息论基础》，机械工业出版社, 北京，2005。
主要内容
内容提要：
第一章 绪论与概览
概述，信息论溯源、发展以及应用。
第二章 熵、相对熵和互信息
离散信源、连续信源的熵与互信息，鉴别信息的定义和性质，鉴别信息与香农信息之间的关系。
第三章 渐近均分性
渐近均分性基本原理及其应用。
第四章 随机过程的熵率
随机信源熵率的推导和求解。
第五章 数据压缩
无损数据压缩基本方法介绍。
第八章 信道容量
信道容量的定义，特殊信道的信道容量求解。
第十一章 最大熵与谱估计
最大熵原理及其应用，本章介绍了功率谱估计。
第十四章 网络信息论
多用户通信的理论和方法。
参考文献
主要参考书：
1. 朱雪龙，《应用信息论》，清华大学出版社，北京，2001。
2. R. B. Well, Applied Coding and Information Theory for Engineers, Prentice Hall, New Jersey, 1999.
3. R. J. McEliece, The Theory of Information and Coding (2nd Edition), Cambridge University Press, England, 2002.
