Когорта в онлайн-школе - это группа учеников, объединённых одним событием входа и периодом, в котором оно произошло. Например, можно собрать в одну когорту тех, кто начал обучение в одном потоке. Чтобы сравнение было корректным, каждую группу нужно наблюдать в одинаковом возрасте: результаты второй недели одной когорты сравнивать с результатами второй недели другой, а не с итогом более старого набора.
Когортный анализ показывает различия между наборами после изменений программы, продаж или поддержки. Он не доказывает причину, а локализует расхождение для дальнейшей проверки.
Как общий средний скрывает изменение наборов
Общий показатель объединяет старые и новые потоки с разным сроком обучения. Среднее получается математически верным, но управленчески неясным.
После изменения вводного модуля вклад нового набора может раствориться среди прежних. Старые когорты с долгим наблюдением поддержат общий показатель, хотя поведение последних наборов уже изменилось.
Есть три частые причины искажения:
- смешаны ученики разных продуктов или версий программы;
- у групп разный срок с момента входа;
- событие входа определено по-разному.
Дата оплаты, старт потока и первое занятие отвечают на разные вопросы. Если когорты собраны по разным событиям, расстояние до результата несопоставимо. Сначала зафиксируйте бизнес-вопрос, затем правило группировки.
Когортный анализ не заменяет общую систему метрик онлайн-школы. Он добавляет к ней измерение времени и позволяет разобрать агрегированный показатель на сопоставимые группы.
Почему дашборд без правил когорты вводит в заблуждение
Красивый график не исправляет неоднозначные определения. Если команда не договорилась, кого считать вошедшим в когорту, какое событие считать результатом и до какого момента ждать это событие, визуализация лишь аккуратно показывает несопоставимые данные.
Подпись «завершение модуля» может означать просмотр материалов, отправку задания или принятую работу. Варианты допустимы для разных вопросов, но определение нельзя менять между периодами.
Доля выполнивших действие считается от заранее определённого состава когорты. Исключения из знаменателя должны быть записаны и одинаково применены ко всем группам.
Дашборд полезен, если понятно, кто входит в группу, какое событие измеряется, в каком окне его ждут и откуда получены данные.
Пять шагов когортного анализа
1. Выберите событие входа
Начните с решения, которое хотите принять. Если команда оценивает первые недели образовательного маршрута, логичным входом может быть старт обучения. Если исследуется путь после покупки, может понадобиться дата оплаты. Не смешивайте эти варианты в одном сравнении.
Запишите событие так, чтобы его можно было однозначно найти в данных. Формулировка «стал учеником» слишком широка. Нужны конкретное действие, источник и правило обработки повторных событий.
2. Определите период набора
Для потоковой программы периодом может быть один запуск, для непрерывных продаж - календарный интервал. Универсальной длины нет: широкий период скроет изменения, узкий даст малую выборку.
Важно не объединять продукты только ради удобного размера строки. Если различаются аудитория, обещанный результат или маршрут, это разные контексты анализа.
3. Выберите событие результата
Событие результата должно отвечать на исходный вопрос: например, начало модуля или отправка работы. Название и формула фиксируются до сравнения.
Базовая доля рассчитывается так: число участников когорты, у которых событие произошло в выбранном окне, делится на число участников в согласованном знаменателе. Если нужны финансовые выводы, их следует разбирать отдельно через юнит-экономику онлайн-школы, не подменяя выручку образовательной активностью.
4. Выровняйте возраст когорт
У каждой группы должна быть одинаковая возможность совершить событие. Нельзя сравнивать итог старой когорты с новой, которая ещё не прожила нужный период. Выберите окно после входа и закрывайте показатель только тогда, когда оно завершилось для всей группы.
Незрелую когорту можно показать как неполную, но нельзя без маркировки сравнивать с окончательными значениями. Событие ещё могло произойти после окончания наблюдения.
5. Добавьте контекст изменений
Рядом с каждой когортой отметьте изменения программы, канала привлечения, условий продажи, состава аудитории и поддержки. Такой журнал не доказывает причинность, зато помогает сформулировать версии расхождения.
Различие после изменения вводного модуля требует проверки: что поменялось в действиях учеников, источнике трафика и сборе событий. Переходы до оплаты рассматривает отдельный аудит воронки онлайн-школы. Не смешивайте маркетинговые и образовательные события без связи с вопросом.
Когортная таблица и паспорт сравнения
В простой таблице строки содержат когорты, столбцы - одинаковый возраст группы, ячейки - значение метрики. Нулевая точка обозначает вход. В строке укажите размер знаменателя.
Не заполняйте пропуски нулями. Ноль означает отсутствие события, пустая ячейка - незакрытое окно, отсутствие данных или ошибку выгрузки.
К таблице приложите паспорт сравнения:
- управленческий вопрос;
- событие входа и его источник;
- правило формирования периода;
- продукт и версия программы;
- событие результата;
- формула и знаменатель;
- окно наблюдения;
- правила исключения и повторных событий;
- обозначение пропусков и незрелых когорт;
- источник данных и дата выгрузки;
- владелец метрики;
- журнал изменений по каждой когорте.
Паспорт позволяет воспроизвести расчёт и найти причину расхождения в следующем отчёте.
Расчётный составной пример и ограничения
Ниже расчётный составной пример. Он создан только для объяснения метода, не описывает данные конкретной школы и не является нормативом.
Команда сравнивает два потока одной версии программы. Событие входа - старт потока, событие результата - принятая работа в первом модуле, окно - первые две недели после старта. В каждой когорте по 20 участников по заранее согласованному правилу. В первом потоке событие произошло у 8 участников, во втором - у 12. Расчётные доли составляют 40% и 60%.
Вывод ограничен: в одинаковом окне когорты различаются. Причиной могли быть программа, аудитория, сезон, канал привлечения, работа куратора или регистрация события. Малые группы чувствительны к единичным наблюдениям.
При более коротком наблюдении второй поток сравнивать рано. Изменившийся продукт можно показать рядом, но различие нельзя считать эффектом одного элемента. Пропуски сначала проверяют на сбой данных.
Когортный анализ полезен не как ещё один отчёт, а как дисциплина сравнения. Зафиксируйте единое событие входа, одинаковый возраст групп, одно определение результата и контекст изменений. Затем используйте таблицу, чтобы найти различие, а не назначить причину без проверки.
Если общие показатели не помогают понять, где именно меняется образовательный проект, можно разобрать логику когорт, метрик и управленческих решений на диагностике.