Энтропия

Содержание и основные понятия

← Вернуться к оглавлению
Alterna · глава 27
Энтропия
Алфавитный подход · Хартли · Шеннон · Информационная мера
Глава 27 посвящена
количественному измерению информации
— двум подходам (алфавитному и содержательному) и энтропии Шеннона как универсальной мере неопределённости.
ФГОС
ФОП
ОГЭ №1
ЕГЭ №4,8,11
📚
Теория
27.1
Алфавитный подход
Мощность алфавита, вес символа, объём сообщения. Формула I = K × i
27.2
Содержательный подход
Информация как уменьшение неопределённости. Формула Хартли: I = log₂N
27.3
Энтропия Шеннона
H = −Σ pᵢ·log₂pᵢ. Свойства энтропии, U-кривая, связь с кодированием
27.4
Комбинаторика слов
Правило произведения, размещения, слова с ограничениями — ЕГЭ тип 8
🎯
Практика
27.5
Практикум ОГЭ/ЕГЭ
10 случайных задач из банка 100, с фильтрами и разборами
27.6
Экзамен-полигон
Квест 800 XP · Тест 10 вопросов · Пошаговый решатель
🔗
Связь с другими главами
Предыдущая глава
Глава 26 · Условие Фано
— префиксные коды, алгоритм Хаффмана. Средняя длина кода стремится к энтропии Шеннона.
Следующая глава
Глава 28 · ДНФ и КНФ
— нормальные формы логических функций, карты Карно, минимизация.
📝
Ключевые формулы
Понятие
Формула
Описание
Вес символа
i = log₂N
Бит на символ в алфавите мощности N
Объём сообщения
I = K × i
K символов × бит на символ
Хартли
I = log₂N
Информация при выборе 1 из N равновероятных
Энтропия Шеннона
H = −Σ pᵢ log₂(pᵢ)
Мера неопределённости источника
Max энтропии
H_max = log₂N
При равномерном распределении