信息论

信息论是关于数据表示、压缩以及传输的基础理论。本课程重点介绍信息论的基本概念与核心定理——熵、互信息、信源编码定理、信道编码定理，以及信息论在人工智能应用领域的一些应用——Kolmogorov复杂度、最小表示长度、最大熵原理。这些概念与原理为学生将来在机器学习、模式识别、信号处理等领域的进一步学习打下必备基础。