Цикл анализа данных

Содержание и основные понятия

01
Шесть шагов
1. Вопрос.
«Меняется ли среднее время пути по сезонам?» — измеримо.
2. Данные.
Определи источник, период, единицы и допустимые значения.
3. Очистка.
Зафиксируй обработку пропусков и аномалий.
4. Метод.
Выбери сводку, модель, классификацию или кластеры.
5. Проверка.
Сравни результат с известными данными или отложенной частью набора.
6. Вывод.
Укажи ограничение и не превращай связь в доказанную причину.
02
Этика
Риск
Не используй чувствительные персональные данные, чтобы оценивать человека или принимать решение без человека. Для учебных задач подходят синтетические, обезличенные наборы.
03
Анализ отклонений
Отклонение
— разность между наблюдаемым и ожидаемым значением. Сравнивай её с единицами, обычным разбросом и контекстом, а не объявляй любую разность ошибкой.
Шаг
Вопрос
База сравнения
План, среднее, медиана, прошлый период или прогноз?
Масштаб
Абсолютное отклонение или процент относительно базы?
Причина
Ошибка ввода, сезонность, изменение процесса или редкое событие?
Решение
Исправить данные, наблюдать дальше или менять процесс?