62
Рисунок 15. График сравнения уровня жалобы на спам 2
Проведя второе тестирование, можно увидеть, что разработанные нами
методики работают хорошо. Но согласно плану организации исследования у нас
предстоит провести еще одно тестирование после четвертой рассылки кредитных
предложений клиентам банка.
Итоги тестирования уровня доставляемости писем 3
Проведя третье тестирование, нами были получены самые
удовлетворительные результаты, так как уровень конверсии доставляемости
писем вырос на 16,80% и составил 97,33%, что является самым наивысшим
результатом из всех трех рассылок. Результат имеет статистическую верность, так
как находится в границах доверительного интервала конверсии. Результаты
отображены в графике на рисунке 16 и таблице 15.
Таблица 15
Результаты тестирования доставляемости писем 3
Группа А
Группа В
Кол-во клиентов
1 500
1 500
Кол-во доставленных писем
1 250
1 460
63
Уровень конверсии
83,33%
97,33%
Границы доверительного
интервала конверсии (95%)
81,35% - 85,19%
96,39% - 98,09%
Доставляемость лучше на
16,80%
Рисунок 16. График сравнение уровня доставляемости писем 3
Итоги тестирования уровня открываемости писем 3
Результаты третьего тестирования уровня открываемости оказались
незначительно хуже, чем предыдущие итоги, 72,47% против 77,60%. Текущий
уровень открытых писем напрямую зависит от количества доставленных писем
до получателя. В нашем случае, мы имеем большее количество доставленных
писем на 210 штук и прирост в открытых письмах на 88 штук больше чем в
прошлой рассылке. Результаты отображены в графике на рисунке 17 и таблице 16.
Таблица 16
Результаты тестирования открываемости писем 3
Группа А
Группа В
Кол-во доставленных писем
1 250
1 460
Кол-во открытых писем
970
1 058
Уровень конверсии
77,60%
72,47%
64
Границы доверительного
интервала конверсии (95%)
75,19% - 83,61%%
70,10% - 80,26%
Открываемость лучше на
-6,62%
Рисунок 17. График сравнения уровня открываемости писем 3
Итоги тестирования уровня кликабельности 3
Третье тестирование уровня кликабельности показал великолепные
результаты с приростом на 29,48% и показало результаты в 84,12%. Данный
результат является статистически верным, так как находится в границах
доверительного интервала конверсии. Результаты отображены в графике на
рисунке 18 и таблице 17.
Таблица 17
Результаты тестирования кликабельности писем 3
Группа А
Группа В
Кол-во доставленных писем
970
1 058
Кол-во кликов
530
890
Уровень конверсии
54,64%
84,12%
Границы доверительного
интервала конверсии (95%)
51,44% - 71,21%
81,78% - 88,17%
65
Открываемость лучше на
29,48%
Рисунок 18. График сравнения уровня кликабельности писем 3
Итоги тестирования уровня отписки от писем 3
Группа В показала уровень отписки от писем в 3,08%, ранее результат был
1,20%. Результат стал хуже на 1,88%. Результат также является статистически
достоверным, так как результат группы В ниже, чем у группы А. Результаты
отображены в графике на рисунке 19 и таблице 18.
Таблица 18
Результаты тестирования уровня отписок от писем 3
Группа А
Группа В
Кол-во доставленных писем
1 250
1 460
Кол-во отписок
15
45
Уровень конверсии
1,20%
3,08%
Границы доверительного
интервала конверсии (95%)
0,67% - 52,29%
2,26% - 52,63%
Количество отписок меньше на
1,88%
66
Рисунок 19. График сравнения уровня отписок от писем 3
Итоги тестирования уровня жалоб на спам 3
Группа В показала уровень жалоб на спам от писем в 0,40%, ранее результат
был 0,58%. Результат стал лучше на -1,28%, хотя он имеет незначительную
разницу, по сравнению с первоначальными результатами. Результат также
является статистически достоверным, так как результат группы В ниже, чем у
группы А. Результаты отображены в графике на рисунке 20 и таблице 19.
Таблица 19
Результаты тестирования уровня жалоб на спам
Группа А
Группа В
Кол-во доставленных писем
1 250
1 460
Кол-во жалоб
5
11
Уровень конверсии
0,40%
0,75%
Границы доверительного
интервала конверсии (95%)
0,13% - 52,08%
0,38% - 52,02%
Количество жалоб меньше на
0,35%
67
Рисунок 20. График сравнения уровня жалоб на спам 3
Проведя третье тестирование, мы увидели, что разработанные нами
методики работают хорошо только нескольких из показателей. Как и ранее было
проанализированы данные по отписке и жалоб на спам, частая регулярность
рассылки влияет на клиента и заставляет его отписываться от письма или
жаловаться на спам. В дальнейшем, согласно плану организации исследования,
нам необходимо провести еще два тестирование после четвертой рассылки
кредитных предложений клиентам банка.
Итоги тестирования уровня доставляемости писем 4
Проведя четвертое тестирование, нами были получены
неудовлетворительные результаты, так как уровень конверсии доставляемости
писем стал ниже на 2,66% и составил 94,67%. Полученная отрицательная разница
возникла из-за того, что с момента последней рассылки прошел 21 день и база
данных клиентов не была приведена в требуемые стандарты, согласно
рекомендациям, которые мы получили ранее при разработке методики
совершенствования рассылок. Результат имеет статистическую верность, так как
находится в границах доверительного интервала конверсии. Результаты
отображены в графике на рисунке 21 и таблице 20.
Таблица 20
Результаты тестирования доставляемости писем 4
Группа А
Группа В
Кол-во клиентов
1 500
1 500
68
Кол-во доставленных писем
1 460
1 420
Уровень конверсии
97,33%
94,67%
Границы доверительного
интервала конверсии (95%)
96,39% - 98,09%
93,41%- 95,75%%
Доставляемость лучше на
2,66%
Рисунок 21.График сравнения тестирования доставляемости писем 4
Итоги тестирования уровня открываемости писем 4
Результаты четвертого тестирования уровня открываемости оказались
гораздо лучше, чем предыдущие итоги, 84,37% против 72,47%. Текущий уровень
открытых писем имеет большую конвертацию даже при меньшем количества
доставленных писем, по сравнению с первой рассылкой. В нашем случае, мы
имеем меньшее количество доставленных писем на 40 штук и прирост в открытых
письмах на 140 штук больше, чем в прошлой рассылке. Результаты отображены в
графике на рисунке 22 и таблице 21.
Таблица 21
Результаты тестирования открываемости писем 4
Группа А
Группа В
Кол-во доставленных писем
1 460
1 420
Кол-во открытых писем
1 058
1 198
Уровень конверсии
72,47%
84,37%
69
Границы доверительного
интервала конверсии (95%)
70,10% - 80,26%
82,37% - 88,10%
Открываемость лучше на
11,90%
Рисунок 22.График сравнения тестирования открываемости писем 4
Итоги тестирования уровня кликабельности 4
Четвертое тестирование уровня кликабельности показало
неудовлетворительные результаты с падением на 6,49% и показало результаты в
77,63%. Данный результат является статистически верным, так как находится в
границах доверительного интервала конверсии. Результаты отображены в
графике на рисунке 23 и таблице 22.
Таблица 23
Результаты тестирования кликабельности писем 4
Группа А
Группа В
Кол-во доставленных писем
1 058
1 198
Кол-во кликов
890
930
Уровень конверсии
84,12%
77,63%
Границы доверительного
интервала конверсии (95%)
81,78% - 88,17%
75,16% - 83,67%
Открываемость лучше на
-6,49%
70
Рисунок 23. График сравнение уровня кликабельности 4
Итоги тестирования уровня отписки от писем 4
Группа В показала уровень отписки от писем в 2,32%, ранее результат был
3,08%. Результат стал лучше на 0,76%. Данный показатель показал
незначительный рост и количество отписок стало лучше, по сравнению с
предыдущей рассылкой. Результат также является статистически достоверным,
так как результат группы В ниже, чем у группы А. Результаты отображены в
графике на рисунке 24 и таблице 23.
Таблица 23
Результаты тестирования уровня отписок от писем 4
Группа А
Группа В
Кол-во доставленных писем
1 460
1 420
Кол-во отписок
45
33
Уровень конверсии
3,08%
2,32%
Границы доверительного интервала
конверсии (95%)
2,26% - 52,63%
1,60% - 52,45%
Количество отписок меньше на
0,76%
71
Рисунок 24.График сравнения уровня отписок от писем 4
Итоги тестирования уровня жалоб на спам 4
Группа В показала уровень жалоб на спам от писем в 0,42%, ранее результат
был 0,75%. Результат стал лучше на -0,33%, хотя он имеет незначительную
разницу, по сравнению с первоначальными результатами. Результат также
является статистически достоверным, так как результат группы В ниже, чем у
группы А. Результаты отображены в графике на рисунке 25 и таблице 24.
Таблица 24
Результаты тестирования уровня жалобы на спам 4
Группа А
Группа В
Кол-во доставленных писем
1 460
1 420
Кол-во жалоб
11
6
Уровень конверсии
0,75%
0,42%
Границы доверительного
интервала конверсии (95%)
0,38% - 52,02%
0,16% - 51,96%
Количество жалоб меньше на
0,33%