字母和资料性方法

Содержание и основные понятия

返回目录
第10章 第10页 第10.3页
字母和资料性方法
衡量信息有两种方法:通过字母强度和符号概率。
信息学有两种衡量信息的方法:
按字母顺序
(通过字母表的力量)和
信息信息
(通过符号的概率)它们为混合文本产生不同的结果。
全球环境基金,全环基金
PIF 太平洋岛屿论坛
OGE No. 3.4
第4号EEEG
01
字母法
通过字母法的力量衡量信息
全球环境基金,全环基金
OGE No. 3.4
字母字母法的本质
功率字母字母 N 的每个符号
相同
信息数量 :
i = log
2
(N)
案文的解释:
I = K × i
K 是符号编号。
I = K × log
2
(N)
.
利弊
福利福利福利
简单计算
基于计算机的编码编码
固定代码长度
缺 缺
不考虑符号的频率
可能会被高估
压缩不最佳
按字母顺序排列的方法何时准确?
字母法给与
精确
当所有字母符号
等等值
(同频率交谈)
实例:二元代码,0和1相遇的频率相同。
02
内容方法
通过符号概率衡量信息
全球环境基金,全环基金
第4号EEEG
有意义的办法的实质
每个符号都带有
杂项杂项
信息数量,根据其可获得的可能性:
i = −log
2
(p)
何 地
p
- 信息中可能出现一个符号。
示例:俄文文本
在俄文文本中,信件的频率不同:
来信信信函信函信函
频率p
重量i = -log2(p)
哦(最经常)
0.10
3. 32 位数
A A A
0.08
3.64 位数
英 英
0.07
3.84 位数
还有
0.06
4.06 位数
I.E.(最罕见)
0.002
8.97 位数
罕见符号随带
大于
信息比信息频繁!
信息权重相对于概率
i(拍)
(概率)
p=0.002, i=8.97
哟
8.97
p=0.06, i=4.06
还有
4.06
p=0.07, i=3.84
英 英
3.84
p=0.08, i=3.64
A A A
3.64
p=0.10, i=3.32
哦. 哦.
3.32
符号越少,
他携带的信息越多
03
什么是银河系?
每个符号的不确定性、信息和平均位数
全球环境基金,全环基金
第4号EEEG
直觉:不确定性=信息
想象一下,你被告诉 扔硬币的结果。
诚实的。
(50/50) 你不知道它会出来, 你得到了它。
1 个位
但是如果硬币
双边双边双边
(总是鹰) - 你知道结果提前, 和信息=
0 位数
.
人类
- 这是衡量标准
不确定性
(或以其他方式,
平均信息平均数量
这是随机实验的结果
小于
平和
分配 - 主题
大于
不确定——议题
大于
信天翁号
不平
——预测结果越容易——主题
小于
信天翁号
类比。
想象一袋气球。 如果所有的气球都是相同的颜色, 你总是知道自己会得到什么( entrophia = 0.0 ) 。 如果不同颜色的气球数量相等, 每一次拉都是一个惊喜 。
香农 entropy 公式
让源代码释放不同的符号 N, i- ign 具有 p 的概率 。
i
然后就说吧
一个字符信息
:
i
i
= −log
2
(p
i
) бит
符号越少, 所携带的信息就越多。 “ Y” (p=0.0002) 字母含有~ 9 位元, 字母“ O” (P=0. 10) 只有~ 3. 3 位 。
人类
- 这个
平均平均数
按概率加权的每个符号的信息数:
H = −Σ p
i
· log
2
(p
i
)
打开公式:
H = −( p
1
·log
2
p
1
+ p
2
·log
2
p
2
+ ... + p
N
·log
2
p
N
)
每个折叠
概率
一个符号乘以
信息权数
该金额给出了每条消息的平均“惊喜 ” 。
为什么是公式?
香香农的配方是
数学等待
记住:
概率
事件p-发生频率
信息信息信息和信息信息信息
事件i= -log
2
(p)——多么令人惊讶
数学方面的等待
=平均=总和(概率x价值)
因此:
H = E[i] = −Σ p
i
· log
2
(p
i
)
这就像平均分数: 每一个评分(符号的信息)都要用频率(概率)来权衡。
信封属性
H = 0
p=1. 完全确定,无信息。
H = H
max
平等分配 最大的不确定性
H
max
= log
2
(N)
上限高于N,高于上限。
🎲
Urna Shannon: 实践中的感觉
调整骨灰体内气球的颜色,拉出气球,并注意每次拉取时能得到多少信息。
信盘
.
预设 :
理论昆虫( 沙农公式):
H = 0.00 位数
足够长了
0
实验性环球
000 000 位数
最后提取 :
这项工作如何进行:
每次你拿出气球 就会得到信息
i = −log
2
(p)
p 是此颜色的概率。
多个
信息、频繁气球(Big p)-
没多少
亚热带H是
平均平均数
试着拉出100个气球, 看看实验平均水平如何接近理论!
方法比较
标准标准
字母
内容内容内容
公式公式公式
i = log₂(N)
i = −log₂(p)
依据依据
N字母字母功率
符号概率p
假设
所有符号都是平等的。
符号的概率不同
适用
计算机编码
数据压缩, 导体
准确性
均均分布的精度
总是有准确性。
示例示例示例
ASCII: 256 字符 × 8 位元
俄文文本:~4.5比特/符号
衡量信息的两种方法
律师
i = log₂(N)
所有符号都是平等的。
计算机编码
背景背景背景背景
i = −log₂(p)
不同符号概率
压缩的, 缩压的香农
与EEEG的关系:任地条件
香香香的酶 直接与
胎儿状况
如果该代码不符合法诺条件,则不理想。
第23章: 意外状况
.
进一步:编码和去编码
了解字母的强度 和 entropy,你已经准备好
信息编码
。如何选择代码,在符号上需要多少位元,什么是平衡的代码,什么是不均匀的代码
第11章:编码和编码
.
04
元体计算器
交互计算 H = -\\ p\ log2(p) 与分步骤审查
📊
Shannon entropy 计算器
询问符号的概率(总和必须是 1 ) , 获得一个带有一步步计算法的 ventropy H 。
05
工作队银行
对按字母字母顺序和实质性方法的挑战
📝
工作队银行
做这份工作 选择答案
06
微型试验:计量方法
40张卡片 · 按字母顺序排列和提供信息的方法, 缩写为香农
0 / 800 XP
0 / 40