香农 entropy

Содержание и основные понятия

返回目录
第27章 第27.3页
香农 entropy
H = - - - 皮洛戈2pi = 特性 = U - 代谢性 / 编码
香农 entropy
它概括了Hartley的公式,以防情况不均,并规定了理论最低代码长度。
全球环境基金,全环基金
PIF 太平洋岛屿论坛
EEG No.8.11
与第26章的关系。
香农编码理论:最佳代码的平均长度(Huffman Algorithm)
第26章 26章
旨在从底部对 H 进行加密。
01
香香香公式
对于具有 N 符号的源, 概率为 p1, p2,..., pn:
H = −Σ pᵢ · log₂(pᵢ) = Σ pᵢ · log₂(1/pᵢ)
每个折叠 :
pᵢ · log₂(1/pᵢ)
如果 pi = 0,则折成 0 (经协议通过: 0 / log20 =0)。
计算实例
三个字符:p1=0.5,p2=0.3,p3=0.2
−0.5·log₂(0.5) = 0.5·1 = 0.5
−0.3·log₂(0.3) ≈ 0.3·1.737 ≈ 0.521
−0.2·log₂(0.2) ≈ 0.2·2.322 ≈ 0.464
H ≈ 0.5 + 0.521 + 0.464 =
1.485 位数
02
信封属性
H ≥ 0
- 病毒总是呈阳性
H = 0
- 其中一个结果可能是1(没有不确定性)。
H = log₂N
- 平均分布的最大值(全部pi=1/N)。
H是单调的
与统一分发的距离。
添加 :
对于独立的源H(X.Y) = H(x) + H(Y)
03
元体计算器
📊
计算 H( p1, p2,...)
通过差距的概率(例如:0.5 0.3.0.2)
Введите вероятности и нажмите «Рассчитать».
04
U-cry: H(p) 用于两次活动
对于两个符号(p和1至p)的源代码:
H(p) = −p·log₂p − (1−p)·log₂(1−p)
图形是一个对称钟形曲线,最大
H=p=0.5时1位数
在p=0时为零,p=1时为0。
📈
U- 哭泣: H(p) 两个结果
p =
p = 0.50
H = 1.000
05
与编码的沟通
香农的源代码理论:
最佳编码L的平均长度应符合:
H ≤ L̄ < H + 1
这意味着您不能比源的星盘更用力挤压数据而不损失-- H 是较低的压缩线 。
示例:不同频率的符号符号
资料来源:A50%、B25%、B12.5%、G12.5%
H = -(0.5·log₂0.5 + 0.25·log₂0.25 + 0.125·log₂0.125 + 0.125·log₂0.125) = 0.5 + 0.5 + 0.375 + 0.375 =
1.75 位数
Huffman 代码: A=0, B=10, B =110, G=111
1.75 位数
= H ✓
06
游戏:气球和信息
🎱
骨灰盒里有多少个球?
骨灰盒里有不同颜色的球
欢迎回来
你提供的每个球 都提供香农的信息 95%的骨灰体构成信息
按下它。
拿球来
已删除的球 :
累计:
0%
07
建立Huffman的代码。
🌳
Haffman 互动树
符号按概率排序。
最小
结是点击它们,你用密码画完树后就知道了
08
H任务随机化器
🎲
训练员:计算源的 entropy
生成随机任务,使用香农公式计算H。
Нажми «Новая задача» для начала.
🎯
小型试验:5个问题
XP: 0
🧩
检查你自己。
5个关于香农 entropy = 20 XP 的5个问题,每个正确答案