Алфавитный и содержательный подходы

Содержание и основные понятия

← Вернуться к оглавлению
Alterna · глава 10 · страница 10.3
Алфавитный и содержательный подходы
Два подхода к измерению информации: через мощность алфавита и через вероятности символов. Формула Шеннона.
В информатике существуют два подхода к измерению информации:
алфавитный
(через мощность алфавита) и
содержательный
(через вероятности символов). Они дают разные результаты для неоднородных текстов.
ФГОС
ФОП
ОГЭ №3,4
ЕГЭ №4
01
Алфавитный подход
Измерение информации через мощность алфавита
ФГОС
ОГЭ №3,4
Суть алфавитного подхода
Каждый символ алфавита мощности N несёт
одинаковое
количество информации:
i = log
2
(N)
Объём текста:
I = K × i
, где K — количество символов. Общая формула:
I = K × log
2
(N)
.
Преимущества и недостатки
Преимущества
Простота вычислений
Удобство для компьютерного кодирования
Фиксированная длина кода
Недостатки
Не учитывает частоту символов
Может давать завышенную оценку
Не оптимально для сжатия
Когда алфавитный подход точен?
Алфавитный подход даёт
точный
результат, когда все символы алфавита
равновероятны
(встречаются с одинаковой частотой).
Пример: двоичный код, где 0 и 1 встречаются одинаково часто.
02
Содержательный подход
Измерение информации через вероятности символов
ФГОС
ЕГЭ №4
Суть содержательного подхода
Каждый символ несёт
разное
количество информации в зависимости от его вероятности появления:
i = −log
2
(p)
где
p
— вероятность появления символа в сообщении.
Пример: русский текст
В русском тексте буквы встречаются с разной частотой:
Буква
Частота p
Вес i = −log₂(p)
О (самая частая)
0.10
3.32 бит
А
0.08
3.64 бит
Е
0.07
3.84 бит
И
0.06
4.06 бит
Ъ (самая редкая)
0.002
8.97 бит
Редкие символы несут
больше
информации, чем частые!
Информационный вес vs вероятность
i (бит)
p (вероятность)
p=0.002, i=8.97
Ъ
8.97
p=0.06, i=4.06
И
4.06
p=0.07, i=3.84
Е
3.84
p=0.08, i=3.64
А
3.64
p=0.10, i=3.32
О
3.32
Чем реже символ,
тем больше информации он несёт
03
Что такое энтропия? Формула Шеннона
Неопределённость, информация и среднее количество бит на символ
ФГОС
ЕГЭ №4
Интуиция: неопределённость = информация
Представьте, что вам сообщают результат подбрасывания монеты. Если монета
честная
(50/50) — вы не знали, что выпадет, и получили
1 бит
информации. Но если монета
двухсторонняя
(всегда орёл) — вы заранее знали результат, и информации =
0 бит
.
Энтропия
— это мера
неопределённости
(или, иначе,
среднее количество информации
), которое вы получаете, когда узнаёте результат случайного эксперимента.
Чем
равномернее
распределение — тем
больше
неопределённость — тем
больше
энтропия. Чем
неравномернее
— тем легче предсказать результат — тем
меньше
энтропия.
Аналогия.
Представьте мешок с шариками. Если все шарки одного цвета — вы всегда знаете, какой вытянете (энтропия = 0). Если шарики разных цветов в равных количествах — каждый вытягивание — сюрприз (энтропия максимальна). Шеннон придумал, как точно посчитать «средний сюрприз».
Формула энтропии Шеннона
Пусть источник может выдавать N различных символов, и i-й символ имеет вероятность p
i
. Тогда
информация одного символа
:
i
i
= −log
2
(p
i
) бит
Чем реже символ, тем больше информации он несёт. Буква «Ъ» (p=0.002) несёт ~9 бит, а буква «О» (p=0.10) — всего ~3.3 бита.
Энтропия
— это
среднее
количество информации на символ, взвешенное по вероятностям:
H = −Σ p
i
· log
2
(p
i
)
Раскрывая формулу:
H = −( p
1
·log
2
p
1
+ p
2
·log
2
p
2
+ ... + p
N
·log
2
p
N
)
Каждое слагаемое — это
вероятность
символа, умноженная на его
информационный вес
. Сумма даёт среднее «количество сюрприза» на одно сообщение.
Почему формула именно такая?
Формула Шеннона — это
математическое ожидание
информации. Вспомните:
Вероятность
события p — насколько часто оно случается
Информация
события i = −log
2
(p) — насколько оно «удивительно»
Математическое ожидание
= среднее = сумма (вероятность × значение)
Поэтому:
H = E[i] = −Σ p
i
· log
2
(p
i
)
Это как средний балл: каждый «оценка» (информация символа) взвешивается «частотой» (вероятностью).
Свойства энтропии
H = 0
Один символ с p=1. Полная определённость. Нет информации.
H = H
max
Равномерное распределение. Максимальная неопределённость.
H
max
= log
2
(N)
Потолок. Больше N — больше максимум.
🎲
Урна Шеннона: почувствуй энтропию на практике
Настройте цвета шариков в урне, вытягивайте их и наблюдайте, сколько информации вы получаете с каждым вытягиванием. Среднее количество информации на одно вытягивание — и есть
энтропия
.
Пресет:
Теоретическая энтропия (формула Шеннона):
H = 0.000 бит
Вытянуто всего
0
Экспериментальная энтропия
0.000 бит
Последние вытягивания:
Как это работает:
Каждый раз, когда вы вытягиваете шарик, вы получаете информацию. Формула:
i = −log
2
(p)
, где p — вероятность этого цвета. Редкий шарик (маленькая p) даёт
много
информации, частый шарик (большая p) —
мало
. Энтропия H — это
среднее
количество информации на одно вытягивание. Попробуйте вытянуть 100 шариков — и увидите, как экспериментальное среднее приближается к теоретическому!
Сравнение подходов
Критерий
Алфавитный
Содержательный
Формула
i = log₂(N)
i = −log₂(p)
Основа
Мощность алфавита N
Вероятность символа p
Предположение
Все символы равновероятны
Символы имеют разные вероятности
Применение
Компьютерное кодирование
Сжатие данных, энтропия
Точность
Точен при равномерном распределении
Точен всегда
Пример
ASCII: 256 символов → 8 бит
Русский текст: ~4.5 бит/символ
Два подхода к измерению информации
АЛФАВИТНЫЙ
i = log₂(N)
Все символы равновероятны
Компьютерное кодирование
СОДЕРЖАТЕЛЬНЫЙ
i = −log₂(p)
Разные вероятности символов
Сжатие, энтропия Шеннона
🔗 Связь с ЕГЭ: Условие Фано
Энтропия Шеннона напрямую связана с
условием Фано
— критерием оптимальности кодирования. Если код не удовлетворяет условию Фано, он не является оптимальным. Подробнее — в
главе 23: Условие Фано
.
🔗 Дальше: Кодирование и декодирование
Зная мощность алфавита и энтропию, вы готовы к
кодированию информации
. Как выбрать код, сколько бит нужно на символ, что такое равномерные и неравномерные коды — в
главе 11: Кодирование и декодирование
.
04
Калькулятор энтропии
Интерактивный расчёт H = −Σ p·log₂(p) с пошаговым разбором
📊
Калькулятор энтропии Шеннона
Задайте вероятности символов (сумма должна быть 1). Получите энтропию H с пошаговым расчётом.
05
Банк заданий
Задачи на алфавитный и содержательный подходы
📝
Банк заданий
Решите задачу. Выберите ответ.
06
Мини-тест: подходы к измерению
40 карточек · алфавитный и содержательный подходы, энтропия Шеннона
0 / 800 XP
0 / 40