42
Y – количество доставленных писем;
Z – количество отправленных писем;
Приемлемым уровнем Delivery Rate считается показатель с не менее 90%.
Если этот показатель меньше, то необходимо учесть тестирование разных
почтовых сервисов на предмет правильности к рассылке.
В рамках нашего исследования и полученной информации из аналитической
части необходимо проанализировать базу данных клиентов, по которым была
сделана выгрузка для рассылки и найти следующие возможные причины , почему
на эти адреса не могут быть доставлены :
1. Такой электронный адрес не существует, так как обычно клиенты
допускают ошибки при написании адреса.
2. Домен, на котором создан адрес также не существует. Обычно это
возникает по причине некорректного указания электронного адреса
клиентом.
3. Сервер получателя письма не принимает сообщения, так как в данный
момент не работает. Часто возникающая причина - это технические
неполадки на работе сервера.
4. Большой размер письма из-за имеющихся в нем вложений в виде файлов.
Проанализировав базу данных клиентов по указанным возможным причинам,
было обнаружено следующее, что:
1. Количество несуществующих электронных адресов составляет 196 штук,
что является 62,22% долей от общего количества недоставленных писем.
Несколько примеров электронных адресов, которые были в базе данных:
9152268745@; alexander@nocompany.ru; irina+denis@.mail.ru.
2. Количество несуществующих доменов электронных адресов составляет 57
штук, что является 18,10% долей от общего количества недоставленных
писем. Несколько примеров электронных адресов, которые были в базе
данных: maximmixn@mail.lu; sergeil@yandex.gor.
43
3. Количество писем, по которым пришла отбивка, что сервер получателя не
принимает сообщения составляет 62 штуки, что является 19,68% долей от
общего количества недоставленных писем.
Первоначально проанализировал данные полученные после первой
рассылки мы увидели, что 21% клиентов из общей базы рассылки не получили
письмо. Из этой доли недоставленных писем 62,22% имели некорректные
электронные адреса. Соответственно для исправления данной ситуации
необходимо принять следующие действия:
1. Применение первоначальной фильтрации электронных адресов. Установка
фильтров помогает заранее понять какое именно количество адресов может
подлежать удалению из базы данных рассылки.
2. Удаление данных электронных адресов. Тем самым происходит
сокращение расходов на рассылку по недействующим адресам, появляется
корректная статистика и понижается вероятность инцидентов с
провайдерами электронных почтовых сервисов.
Тестирование уровня открываемости писем
В программу тестирования уровня открываемости писем входило один из
основных показателей эффективности e–mail маркетинга: открываемость писем
(Open Rate).
Показатель Open rate — это один из приоритетных метрик для отслеживания
эффективности email рассылок. Данный показатель позволяет отслеживать успех
маркетинговых кампаний и выявлять слабые места в email стратегии. Open rate
наиболее полезен в комплексе с другими показателями успешности email
маркетинга. Важно отслеживать кликабельность, отписки, жалобы на спам,
пересланные письма. Эти показатели дают целостное представление об
эффективности email кампании. Низкий показатель открываемости писем говорит
о том, что тема письма не привлекла внимание подписчиков, или время рассылки
было выбрано неудачно.
Расчет уровня открываемости писем производился по следующей формуле:
44
????
????
Условные обозначения:
X – показатель Open Rate;
Y – Количество просмотренных писем;
Z – Количество доставленных писем;
Коэффициент просмотров Open Rate считается хорошим, если он превышает
20%. Следовательно, чем больше rate, тем подписчиков больше ознакомились с
вашими предложениями. Если показатель меньше, то требуется что- то
видоизменять, причем немедленно.
Получив удовлетворительный результат открываемости писем, было
принято решение – увеличить уровень открываемости письма, так как это
напрямую влияет на потенциальное увеличение кликов в письме при условии
применении методики увеличения кликабельности письма.
Для решения данного вопроса были приняты следующие действия:
1. Смена темы письма для рассылки № 2 с «✉ РН БАНК ✉ Одобрение
автокредита» на «✉ РН БАНК ✉ Для Вас одобрен кредит на покупку
авто».
2. Смена темы письма для рассылки № 3 с «✉ РН БАНК ✉ Для Вас
одобрен кредит на покупку авто» на «✉ РН БАНК ✉ Уважаемый
клиент, ваш автомобиль ждет вас!»
3. Смена темы письма для рассылки № 4 с «✉ РН БАНК ✉ Уважаемый
клиент, ваш автомобиль ждет вас!» на «✉ РН БАНК ✉ Новый Nissan
уже ждет вас в дилерском центре!»
Текущее действие позволит привлечь внимание целевой аудитории, а
именно клиентам банка к письму, так как данная тема письма может вызвать у
клиента интерес к прочтению.
45
Тестирование уровня кликабельности
В программу тестирования уровня отписки от писем учитывался один
показатель: кликабельность (Click Rate).
Расчет уровня отписки от писем производился по следующей формуле:
????
????
Условные обозначения:
X – показатель Click Rate;
Y – Количество кликов;
Z – Количество доставленных писем;
Для массовой рассылки хорошим показателем кликабельности считается
0,2% - 0,4%.
Текущие низкие результаты кликабельности письма - 83,38% (доля
клиентов, которые не прошли по ссылке на посадочную страницу) показывает,
что, скорее всего, большинство клиентов не проявили интерес к письму. В этом
вопросе хорошо помогают полученные данные по анализу уровня отписки
клиентов от письма. Клиенты сообщили, что содержание направляемых им писем
неактуально и эти письма к ним не относятся. Поэтому были предприняты
следующие действия:
1. Придерживаться формуле AIDA. Это аббревиатура, которая обозначает
следующие темы:
1.1. A – (Англ. Attention) внимание. Здесь уже произошла смена темы
письма.
1.2. I – (англ. Interest) интерес. Если клиента заинтересовала тема письма,
то в дальнейшем необходимо, чтобы он прочитал письмо до конца.
То есть текст письма должен носить не информативный характер, а
продажи. Об этом говорит следующая тема – желание.
1.3. D – (Англ. Desire) желание. Главная цель этой темы – создать
желание клиенту взять кредит на покупку нового автомобиля.
46
1.4. A – (Англ. Action) действие. Одна из самых главных тем, потому что,
заинтересовав клиента темой письма, вызвав у него желание взять
кредит, необходимо, чтобы клиент сделал определенное действие –
нажал на ссылку для перехода на посадочную страницу или позвонил
на горячую линию банка. Итог этой темы является четкий призыв к
действию.
В дальнейшем было принято решение также изменить текст письма. Его
необходимо сделать «продающим» и призывающим к действию. Также вместо
гиперссылки, указывающую на посадочную страницу, было принято решение
добавить кнопку, при нажатии которой клиент будет переходить на посадочную
страницу. Были добавлены графические изображения, которые носят
информационно – привлекательный характер. Был убран номер телефона горячей
лини банка. Образец шаблона письма отображен на рисунке 5.
Рисунок 5. Шаблон письма 2
Тестирование уровня отписки от писем
В программу тестирования уровня отписки от писем учитывался один
показатель: отписавшиеся пользователи (Unsubscribe Rate).
Расчет уровня отписки от писем производился по следующей формуле:
????
????
Условные обозначения:
47
X – показатель Unsubscribe Rate;
Y – Количество отписавшихся пользователей;
Z – Количество доставленных писем;
На сегодняшний день приемлемого коэффициента отписавшихся
пользователей нет. Но если коэффициент растет от рассылки к рассылке, то
необходимо пересмотреть подход к стратегии.
В ходе нашего исследования первичные результаты тестирования уровня
отписки от писем составляют 22,84%. Данный показатель является очень высоким
и требует изменения в меньшую сторону. Главные причины высокого показателя
могут быть следующие:
1. Некачественно собранная база данных клиентов для рассылки
2. Отсутствие сегментации клиентов
3. Неактуальное содержание письма для получателя
Вышеописанные причины очень схожи с причинами высокого уровня
открываемости писем. Для уменьшения количества отписок от писем
рекомендуется делать следующие действия:
1. Систематически проводить аудит базы данных клиентов на предмет
старых и неактивных электронных адресов
2. Не использовать сторонние базы данных клиентов, так как они могут
состоять из несуществующих электронных адресов
3. Формировать интересный контент для существующего сегмента
клиентов
4. Проводить тестирование заголовков, содержаний и дизайна
электронных писем
Тестирование уровня жалоб на спам
В программу тестирования уровня жалоб на спам учитывались один
показатель: жалобы (complaint / spam rate).
Расчет уровня жалоб на спам производился по следующей формуле:
48
????
????
Условные обозначения:
X – показатель Spam Rate;
Y – Количество пользователей нажавших кнопку «спам»;
Z – Количество доставленных писем;
Приемлемый показатель уровня жалоб на спам считается в диапазоне от
0.1% до 0.5%. Всё что выше уровня диапазона, считается неприемлемым и
приводит к пересмотру составления стратегии e – mail рассылки.
В рамках нашего исследования уровень жалоб на спам составляет 1,86% и
является запредельно высоким. Основными причинами из – за которых уровень
жалоб на спам является высоким могут быть:
1. Неактуальная база данных клиентов, которая не соответствует
необходимому сегменту
2. Частота рассылки писем клиентам. Неудовлетворительной практикой
в отрасли считается рассылка более двух сообщений в день. Клиенты
могут отметить сообщения как спам, если получают большое
количество писем от одного адресата.
3. Несоответствующие темы сообщений. Не разрешается использование
тем, не соответствующих содержанию сообщения, так как это может
побудить подписчика отметить сообщение как спам.
Вышеуказанные причины имеет причинно-следственную связь с
тестированием уровня отписки от писем, так как имеют схожий процесс проверки
базы данных клиентов и несоответствующие темы сообщений. В дальнейшем мы
будем учитывать рекомендации из блока тестирования уровня отписки от писем.
Метод статистической обработки результатов исследования
Для сравнения случайных величин математики существует целый раздел под
названием проверка статистических гипотез. Гипотез всего две: “нулевая” и
“альтернативная”. Нулевая гипотеза предполагает, что разница между средними
49
значениями показателя в сегментах незначительна. Альтернативная гипотеза
предполагает наличие существенной разницы между средними значениями
показателя в сегментах. Данные, полученные в результате диагностических
методик, были подвергнуты обработке с помощь t – критерия Стьюдента. Данный
критерий проверяет гипотезу о равенстве выборочных средних значений.
Для статистической обработки экспериментальных данных использовалась
компьютерная программа Microsoft Excel.
Для определения достоверности различий результатов применялся критерий
Стьюдента.
В рамках статистической обработки результатов исследования
использовались следующие формулы:
1.
2.
3.
4.
????
????
;
Условные обозначения:
t – Критерий достоверности различий Стьюдента;
x - средняя арифметическая величина;
∑ - сумма варианта;
X
1
– показатели;
n – Количество испытаний;
δ – среднее квадратическое отклонение;
m – Ошибка средней арифметической;
Далее проводили анализ полученных результатов. Сравнивались
фактические данные уровней:
1. Доставляемости писем;
2. Открываемости писем;
3. Отписки от писем;
50
4. Жалоб на спам;
5. Конверсии лида с рассылки;
6. Окупаемости инвестиций;
При числе степеней свободы по таблице «Граничные значения критерия
Стьюдента», установлено, что равно 0.010815 и 0.012116.
На основании свойств нормального закона распределения в критерии
Стьюдента осуществляется t
1
и t
2
:
o Если
, то различие между сравниваемыми этапами
тестирования статистически достоверно;
o Если
, то различие статистически недостоверно;
Для исследования в области интернет – маркетинга оценка статистической
достоверности является первым шагом в решении конкретной задачи:
принципиально или непринципиально различаются между собой сравниваемые
этапы тестирования.
Указанные методики должны быть опробованы при помощи А/В –
тестирование, которое поможет получить статистический значимый результат для
расчета прибыли и успеха реализованных методик.
2.2. А/B – тестирование
А/B – тестирование сегодня является одним из самых качественных
инструментов анализа в e – mail маркетинге, так как он позволяет повысить
эффективность какого – либо интернет ресурса.
Идея А/B – тестирования является очень простой и доступна для
использования для всех категорий пользователей, а именно, что основная группа
данных сравнивается с набором тестовых групп, в которых один или несколько
показателей были изменены, для того, чтобы выяснить, какие из изменений
улучшают целевой показатель.
Как правило, для принятия положительного решения об эффективности
изменений уровень значимости выбирают равным 90%, 95% или 99%.
Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При
51
невысоком уровне значимости существует опасность сделать ошибочные выводы
об эффекте, полученном в результате изменения. На практике, примерно, 8 из 10
A/B тестов не являются статистически значимыми. Стоит отметить, что чем
больше объем трафика в сегментах, тем меньше разброс среднесуточных
значений показателя. При небольшом трафике из-за большего разброса значений
случайной величины потребуется больше времени для проведения эксперимента,
но в любом случае это лучше, чем вовсе не проводить эксперимент.
А/В – тестирование было запущено для проверки главных показателей, а
именно:
1. Уровень доставляемости писем
2. Уровень открываемости писем
3. Уровень кликабельности
4. Уровень отписки от писем
5. Уровень жалоб на спам
Далее мы брали вариант А, который является первоначальной рассылкой, и
вариант В, вторую рассылку с откорректированными элементами e – mail
сообщения. Для сравнения случайных величин оценивают средние значения, а для
оценки среднего значения нам как раз требуются варианты А и В. Эффект от
внесения изменения определяют разность между средними значениями
ключевого показателя в вариантах А и В. Как и ранее было указано – все
сравнения производились при помощи теста Стьюдента, так как данный тест
отлично зарекомендовал себя для проверки небольших объемов данных, потому
что учитывает размер выборки при оценке значимости.
Для упрощения процесса проведения сравнения данных, полученных со
второй рассылки были сделаны следующие действия:
1. В панель управления 1, которая отображена в приложении 1, были
добавлены новые данные. Результаты отображены в Таблице № 4,
образец которой отображен в виде таблицы Excel.