LearnWise 星图 关于 登录
首页 › 数学与统计

信息论

研究信息的度量、压缩与传输极限，学完能设计高效通信与编码方案。 在星图里看它和其他领域的联系 →

你现在的水平 决定学习页的档位：完全不懂、听说过 → 启蒙；入门、能用 → 进阶；熟练、专家 → 深入
不确定？做 9 道诊断题

入门

下一步 信息与通信系统模型描述信源、信道、信宿与噪声的组成及信息传递流程 30 分钟 自信息量事件发生概率的负对数，度量单事件不确定性 30 分钟· 先懂：信息与通信系统模型 离散信源模型用概率分布描述离散消息产生过程 30 分钟· 先懂：信息与通信系统模型 信息熵随机变量平均自信息量，度量整体不确定性 30 分钟· 先懂：自信息量、离散信源模型 联合熵与条件熵多变量整体与条件不确定性的度量 30 分钟· 先懂：信息熵 互信息一个变量对另一变量不确定性的减少量 30 分钟· 先懂：联合熵与条件熵

进阶

离散信道模型描述输入输出符号之间的转移概率关系 30 分钟· 先懂：互信息 信道容量信道能可靠传输的最大信息速率 30 分钟· 先懂：互信息、离散信道模型 无失真信源编码用变长码无失真压缩信源符号 30 分钟· 先懂：离散信源模型、信息熵 Huffman编码构造最优前缀码的贪心算法 30 分钟· 先懂：无失真信源编码 算术编码将整个序列映射为区间实现接近熵的压缩 30 分钟· 先懂：无失真信源编码 率失真函数给定失真下所需最小编码速率 30 分钟· 先懂：互信息、无失真信源编码 信道编码定理香农第二定理，可靠传输可达信道容量 30 分钟· 先懂：互信息、信道容量 线性分组码基于线性代数构造的纠错码 30 分钟· 先懂：信道编码定理 卷积码引入记忆的流式纠错码 30 分钟· 先懂：信道编码定理

深入

香农三大定理无失真编码、信道编码和限失真编码的极限定理 30 分钟· 先懂：无失真信源编码、率失真函数、信道编码定理 相对熵两个概率分布差异的非对称度量 30 分钟· 先懂：信息熵、互信息 微分熵连续随机变量的熵度量 30 分钟· 先懂：信息熵、相对熵 最大熵原理满足约束下选择熵最大的分布 30 分钟· 先懂：信息熵、相对熵 最小鉴别信息用相对熵最小化修正先验分布 30 分钟· 先懂：相对熵、最大熵原理 网络信息论多信源多信宿网络的容量与编码 30 分钟· 先懂：信道容量、香农三大定理 信息论与机器学习交叉熵、KL散度等在模型训练中的应用 30 分钟· 先懂：相对熵、最大熵原理

鼠标移到一个知识点上，会标出它的前置知识。带档位标签的是已经有人生成好的页，点开直接学；没有的点开后现场生成（3–5 分钟），之后所有人都能用。