52
2. В панель управления 2, которая отображена в приложении 2,
были добавлены новые данные с экономическими показателями.
Результаты отображены в Таблице 5.
3. Все показатели были протестированы шесть раз для подбора
оптимального решения. В сравнении будут группа А (первая
рассылка) и группа В (вторая рассылка). Визуализация тестирования
была сделана при помощи использования специального ресурса – AB
TestGuide (https://abtestguide.com/calc/).
2.3. Апробация результатов
Совершенствования процесса e – mail рассылок в организации
предусматривает реализацию следующих разработанных методик:
1. Методика увеличения уровня доставляемости писем
2. Методика увеличения уровня открываемости писем
3. Методика увеличения уровня кликабельности
4. Методика уменьшения уровня отписки от писем
5. Методика уменьшения уровня жалоб на спам
После создания нового шаблона письма, была проведена рассылка 9 000
клиентам банка и проведено А/В – тестирование, которое помогло увидеть эффект
от предпринятых действий и создания методик.
Итоги тестирования уровня доставляемости писем 1
Группа В показала уровень доставляемости писем в 91,87%, ранее
результат был 79,00%. Результат стал лучше на 12,87%. Результат является
статистически верным, так как находится в границе доверительного интервала
конверсии, а результат группы В выше чем у группы А. Результаты отображены
в графике на рисунке 6 и таблице 5.
53
Таблица 5
Результаты тестирования уровня доставляемости писем 1
Группа А
Группа В
Кол-во клиентов
1 500
1 500
Кол-во доставленных писем
1 185
1 378
Уровень конверсии
79,00%
91,87%
Границы доверительного
интервала конверсии (95%)
76,85% - 81,04%
90,37% - 93,20%
Доставляемость лучше на
12,87%
Рисунок 6. График сравнения уровня доставляемости писем
Итоги тестирования уровня открываемости писем 1
Группа В показала уровень открываемости писем в 62,41%, ранее результат
был 18,14%. Результат стал лучше на 44,27%. Результат также является
статистически верным, так как находится в границе доверительного интервала
конверсии, а результат группы В выше чем у группы А. Результаты отображены
в графике на рисунке 7 и таблице 6.
54
Таблица № 6
Результаты тестирования уровня открываемости писем 1
Группа А
Группа В
Кол-во доставленных писем
1 185
1 378
Кол-во открытых писем
215
860
Уровень конверсии
18,14%
62,41%
Границы доверительного
интервала конверсии (95%)
15,99% - 57,10%
59,79% - 74,68%
Открываемость лучше на
44,27%
Рисунок 7. График сравнения уровня открываемости писем
Итоги тестирования уровня кликабельности 1
Группа В показала уровень открываемости писем в 45,12%, ранее результат
был 91,63%. Результат стал хуже на -46,51%. Результат также является
статистически недостоверным, так как результат группы В выше чем у группы А.
Результаты отображены в графике на рисунке 8 и таблице 7.
55
Таблица 7
Результаты тестирования уровня кликабельности 1
Группа А
Группа В
Кол-во доставленных писем
215
860
Кол-во кликов
197
388
Уровень конверсии
91,63%
45,12%
Границы доверительного
интервала конверсии (95%)
87,09% - 95,36%
41,75% - 67,14%
Открываемость лучше на
-46,51%
Рисунок 8. Сравнение уровня кликабельности
Итоги тестирования уровня отписки от писем 1
Группа В показала уровень отписки от писем в 2,10%, ранее результат был
3,80%. Результат стал лучше на -1,70%. Результат также является статистически
достоверным, так как результат группы В ниже, чем у группы А. Результаты
отображены в графике на рисунке 9 и таблице 8.
Таблица 8
Результаты тестирования уровня кликабельности 1
Группа А
Группа В
Кол-во доставленных писем
1 185
1 378
Кол-во отписок
45
29
Уровень конверсии
3,80%
2,10%
56
Границы доверительного
интервала конверсии (95%)
2,78% - 53,02%
1,41% - 52,43%
Количество отписок меньше на
-1,70%
Рисунок 9.График сравнения уровня отписки
Итоги тестирования уровня жалоб на спам 1
Группа В показала уровень жалоб на спам от писем в 0,58%, ранее результат
был 1,86%. Результат стал лучше на -1,28%. Результат также является
статистически достоверным, так как результат группы В ниже, чем у группы А.
Результаты отображены в графике на рисунке 10 и таблице 9.
Таблица 9
Результаты тестирования уровня жалобы на спам 1
Группа А
Группа В
Кол-во доставленных писем
1 185
1 378
Кол-во жалоб
22
8
Уровень конверсии
1,86%
0,58%
Границы доверительного
интервала конверсии (95%)
1,17% - 52,51%
0,25% - 52,03%
Количество жалоб меньше на
-1,28%
57
Рисунок 10. График сравнения уровня жалоб на спам
В дальнейшем нами был проведен второй комплекс тестирований всех пяти
показателей.
Итоги тестирования уровня доставляемости писем 2
При исследуемых результатах группа А показала результат тестирования
доставляемости писем хуже, чем группа B. Её результат составляет 83,33%.
Возможная причина низкого уровня конверсии состоит из того, что в новой базе
появились несуществующие электронные адреса и домены электронной почты.
Данный результат является крайне неудовлетворительным, так как результат
рассылки кредитного предложения номер два имел лучшие показатели. Текущий
результат статистический верный, так как расположен в диапазоне границ
доверительного интервала конверсии. Результаты отображены в графике на
рисунке 11 и таблице 10.
Таблица 10
Результаты тестирования уровня доставляемости писем 2
Группа А
Группа В
Кол-во клиентов
1 500
1 500
Кол-во доставленных писем
1 378
1 250
Уровень конверсии
91,87%
83,33%
Границы доверительного
интервала конверсии (95%)
90,37% - 93,20%
81,35% - 85,19%
Доставляемость лучше на
- 9,29%
58
Рисунок 11.График сравнения уровня доставляемости писем 2
Итоги тестирования уровня открываемости писем 2
При тестировании уровня открываемости, группа А показала один из самых
лучших результатов в 77,60% уровня конверсии, по сравнению с прошлым
результат в 62,41%. Данный высокий результат обусловлен тем, что нами было
предложено изменить наименование темы письма сообщения и меньшему
количеству клиентов из базы рассылки были доставлены сообщения,
соответственно уровень конверсии вырос. Результат является статистическим
верным, так как находится в границах доверительного интервала конверсии.
Результаты отображены в графике на рисунке 12 и таблице 11.
Таблица 11
Результаты тестирования уровня открываемости писем 2
Группа А
Группа В
Кол-во доставленных писем
1 378
1 250
Кол-во открытых писем
860
970
Уровень конверсии
62,41%
77,60%
Границы доверительного
интервала конверсии (95%)
59,79% - 74,68%
75,19% - 83,61%%
Открываемость лучше на
15,19%
59
Рисунок 12. График сравнения уровня открываемости писем 2
Итоги тестирования уровня кликабельности 2
Проведенное тестирование уровня кликабельности № 2 показало хорошие
результаты, при 54,64% уровня конверсии, по сравнению с прошлым результатом
в 45,12%. Соответственно предлагаемая методика совершенствования успешно
работает. Текст письма является унифицированный и продающий. Результат
также является статистически верным, так как расположен в границах
доверительного интервала конверсии. Результаты отображены в графике на
рисунке 13 и таблице 12.
Таблица 12
Результаты тестирования уровня кликабельности 2
Группа А
Группа В
Кол-во доставленных писем
860
970
Кол-во кликов
388
530
Уровень конверсии
45,12%
54,64%
Границы доверительного
интервала конверсии (95%)
41,75% - 67,14%
51,44% - 71,21%
Открываемость лучше на
9,52%
60
Рисунок 13. График сравнения уровня кликабельности 2
Итоги тестирования уровня отписки от писем 2
Группа В показала уровень отписки от писем в 1,20%, ранее результат был
2,10%. Результат стал лучше на -0,90%. Результат также является статистически
достоверным, так как результат группы В ниже, чем у группы А. Результаты
отображены в графике на рисунке 14 и таблице 13.
Таблица 13
Результаты тестирования уровня отписок от писем
Группа А
Группа В
Кол-во доставленных писем
1 378
1 250
Кол-во отписок
29
15
Уровень конверсии
2,10%
1,20%
Границы доверительного
интервала конверсии (95%)
1,41% - 52,43%
0,67% - 52,29%
Количество отписок меньше на
-0,90%
61
Рисунок 14. Сравнение уровня отписок от писем 2
Итоги тестирования уровня жалоб на спам 2
Группа В показала уровень жалоб на спам от писем в 0,40%, ранее результат
был 0,58%. Результат стал лучше на -1,28%, хотя он имеет незначительную
разницу, по сравнению с первоначальными результатами. Результат также
является статистически достоверным, так как результат группы В ниже, чем у
группы А. Результаты отображены в графике на рисунке 15 и таблице 14.
Таблица 14
Результаты тестирования уровня жалобы на спам
Группа А
Группа В
Кол-во доставленных писем
1 378
1 250
Кол-во жалоб
8
5
Уровень конверсии
0,58%
0,40%
Границы доверительного
интервала конверсии (95%)
0,25% - 52,03%
0,13% - 52,08%
Количество жалоб меньше на
-0,18%