72
Рисунок 25. График сравнения уровня жалобы на спам 4
Проведя четвертое тестирование, мы увидели, что разработанные нами
методики продолжают работать хорошо. Только в одном из показателей –
уровень доставляемости писем есть снижение результатов. В дальнейшем,
согласно плану организации исследования, нам необходимо провести еще одно
тестирование после пятой рассылки кредитных предложений клиентам банка.
Оно будет последним, после которого будет вывод по аппробации и будут
рассмотрены экономические показатели.
Итоги тестирования уровня доставляемости писем 5
Проведя пятое и последнее тестирование, нами были получены
удовлетворительные результаты. Уровень конверсии доставляемости писем стал
ниже на 0,67% и составил 94,00%. Полученная разница не является критичной.
Результат имеет статистическую верность, так как находится в границах
доверительного интервала конверсии. Результаты отображены в графике на
рисунке 26 и таблице 25.
Таблица 25
Результаты тестирования доставляемости писем 5
Группа А
Группа В
Кол-во клиентов
1 500
1 500
Кол-во доставленных писем
1 420
1 410
73
Уровень конверсии
94,67%
94,00%
Границы доверительного
интервала конверсии (95%)
93,41%- 95,75%
92,68%- 95,15%
Доставляемость лучше на
0,67%
Рисунок 26. График сравнения уровня доставляемости писем 5
Итоги тестирования уровня открываемости писем 5
Результаты пятого тестирования уровня открываемости оказались
неудовлетворительными, чем предыдущие итоги, 77,66% против 84,37%.
Произошло снижение на 6,71% . Результаты отображены в графике на рисунке 27
и таблице 26.
Таблица 27
Результаты тестирования открываемости писем 5
Группа А
Группа В
Кол-во доставленных писем
1 420
1 410
Кол-во открытых писем
1 198
1 095
Уровень конверсии
84,37%
77,66%
Границы доверительного
интервала конверсии (95%)
82,37% - 88,10%
75,39% - 83,54%
Открываемость лучше на
6,71%
74
Рисунок 27. График сравнения уровня доставляемости писем 5
Итоги тестирования уровня кликабельности 5
Третье тестирование уровня кликабельности показало положительные
результаты с ростом на 4,56% и показало результаты в 82,19%. Данный результат
является статистически верным, так как находится в границах доверительного
интервала конверсии. Результаты отображены в графике на рисунке 28 и таблице
27.
Таблица 28
Результаты тестирования кликабельности писем 5
Группа А
Группа В
Кол-во доставленных писем
1 198
1 095
Кол-во кликов
930
900
Уровень конверсии
77,63%
82,19%
Границы доверительного
интервала конверсии (95%)
75,16% - 83,67%
79,79% - 86,80%
Открываемость лучше на
4,56%
75
Рисунок 28 График сравнения уровня кликабельности писем 5
Итоги тестирования уровня отписки от писем 5
Группа В показала уровень отписки от писем в 2,20%, ранее результат был
2,32%. Результат стал лучше на 0,12%. Данный показатель показал
незначительный рост и количество отписок стало лучше, по сравнению с
предыдущей рассылкой. Результат также является статистически достоверным,
так как результат группы В ниже, чем у группы А. Результаты отображены в
графике на рисунке 29 и таблице 28.
Таблица 28
Результаты тестирования уровня отписок от писем 5
Группа А
Группа В
Кол-во доставленных писем
1 420
1 410
Кол-во отписок
33
31
Уровень конверсии
2,32%
2,20%
Границы доверительного
интервала конверсии (95%)
1,60% - 52,45%
1,50% - 52,43%
Количество отписок меньше на
0,12%
76
Рисунок 29. График сравнения уровня отписок от писем 5
Итоги тестирования уровня жалоб на спам 5
Группа В показала уровень жалоб на спам от писем в 0,42%, ранее результат
был 0,75%. Результат стал лучше на -0,33%, хотя он имеет незначительную
разницу, по сравнению с первоначальными результатами. Результат также
является статистически достоверным, так как результат группы В ниже, чем у
группы А. Результаты отображены в графике на рисунке 30 и таблице 29.
Таблица 29
Результаты тестирования уровня жалобы на спам 5
Группа А
Группа В
Кол-во доставленных писем
1 420
1 410
Кол-во жалоб
6
8
Уровень конверсии
0,42%
0,57%
Границы доверительного
интервала конверсии (95%)
0,16% - 51,96%
0,25% - 52,01%
Количество жалоб меньше на
0,15%
77
Рисунок 30. График сравнения уровня жалоб на спам 5
Проверив итоги тестирования по пяти показателям, мы можем сделать
следующие выводы:
1. Созданная нами методика действий на увеличение уровня доставляемости
писем является актуальной в своем применении. Так как после проведения
пяти тестирований сформировалась положительная динамика увеличения
уровня доставляемости писем. Огромную роль в этом повлияла правильная
подборка и фильтрация базы данных клиентов банка.
2. Созданная нами методика увеличения уровня открываемости писем
показывает также положительную динамику. Уровень открываемости
писем постепенно возрастал на протяжении проведения рассылок клиентам
Банка и на последней рассылке выдал самые удовлетворительные
результаты
3. Созданная методика действий на увеличение количества кликов в письме
показала хорошие результаты и является актуальной в своем применении,
так как после проведения первой до последней рассылки происходил
постепенный прирост показателя.
4. Предложенная нами методика уменьшения уровня отписок также работает
удовлетворительно. С каждой рассылкой уровень отписки становился
меньше, только в четвертой рассылке уровень отписок был равен
первоначальному результату. В последующем средний уровень отписки от
писем был равенн 31.
78
5. Разработанная методика по уменьшению количества жалоб на спам
полностью не была реализована, так как всего лишь два раза из шести был
отображен приемлемый уровень.
В качестве выводов к второй главе можно изложить следующее:
1. Разработка комплекса методик требует тщательного анализа актуальной
ситуации в существующей рассылке. Правильная постановка задач
позволяет максимально верно их решить. Организация исследования
позволяет подойти к решению вопроса максимально структурировано.
2. Проведение А/В – тестирования позволяет качественно провести
маркетинговое исследование, проанализировать ключевые показатели,
чтобы в дальнейем правильно создать новую стратегию. Подводя итог, А/В
– тестирование является прикладным маркетинговым методом, с помощью
которого можно влиять на конверсию и другие ключевые индикаторы,
такие как рост конверсии и увеличение продаж.
79
ГЛАВА III. РАСЧЕТЫ ПО ОБОСНОВАНИЮ ЭКОНОМИЧЕСКОЙ
ЭФФЕКТИВНОСТИ
3.1. Выбор и обоснование методики расчета экономической
эффективности
Экономическая эффективность проекта - это мера соотношения затрат и
результатов функционирования создаваемой методики. Одним из методов, для
описания экономической эффективности проекта является сравнение текущих
экономических показателей и тех показателей, которые будут достигнуты в
результате разрабатываемой и внедряемой методики совершенствования e-mail
рассылки.
Для определения экономической эффективности разрабатываемой
методики существует перечень показателей, используемых с учетом специфики
предметной области. Целесообразно оценить экономическую эффективность
проекта по показателям, которые позволяют измерить экономию от внедрения
новой методики относительно прежнего варианта. В процессе нашего
исследования, мы использовали следующие показатели:
1. Конверсия лида с рассылки
2. Стоимость привлечения лида
3. Доход с письма
4. Оккупаемость инвестиций
Обоснование экономической эффективности внедрения новой методики
совершенствования e-mail рассылки позволяет :
1. Вывить необходимость и целесообразность затрат на создание и
внедрение новой методики e-mail рассылки
2. Определить влияение внедрения новой методики e-mail рассылки на
предмет исследования
3. Выбрать экономически наиболее эффективные варианты построения
методики совершенствования e-mail рассылки.
80
В основе расчета экономической эффективности данной магистерской
диссертации лежит сравнение существующей и создаваемой методики e-mail
рассылки.
Первым показателем, который был рассчитан, является уровень конверсии
лида с рассылки.
3.2. Конверсия лида с рассылки
В программу тестирования уровня конверсии лида с рассылки учитывался
один показатель: конверсия лида (Conversion Rate).
Расчет уровня конверсии лида с рассылки производился по следующей
формуле:
????
????
Условные обозначения:
X – показатель Conversion Rate;
Y – Количество лидов;
Z – Количество посетителей сайта и звонков;
Приемлемый показатель уровня конверсии зависит от бизнес требований
для e – mail рассылки.
Первоначально мы оценим уровень конверсии лида с рассылки также при
помощи проведения А/В – тестирования. В таблице № 13, где отображена панель
управления №2 мы ориентируемся на колонку с показателем уровня конверсии (
УК,% ). Приложение №2
Итоги тестирования уровня конверсии лида с рассылки 1
Первичное тестирование уровня конверсии показало положительную
динамику в виде повышения уровня конвертации на 15,67% с первоначального
результата в 11,33% до 27,00%. Данное увеличение напрямую зависит от
предложенной нами методиками увеличения уровней доставляемости,
открываемости и кликабельности. Результат конверсии лида с рассылки № 1
является статистически верным, так как расположен в границах доверительного
81
интервала конверсии. Результаты отображены в графике на рисунке 31 и таблице
30.
Таблица 30
Результаты тестирования уровня конверсии лида с рассылки 1
Группа А
Группа В
Кол-во отправленных писем
1 500
1 500
Кол-во посетителей
170
405
Уровень конверсии
11,33%
27,00%
Границы доверительного
интервала конверсии (95%)
9,77% - 54,86%
24,77% - 59,71%
Конвертация лучше на
15,67%
Рисунок 31. График сравнение уровня конверсии лида с рассылки 1
Итоги тестирования уровня конверсии лида с рассылки 2
Второе тестирование показало, что предложенные нами методики
продолжают исправно работать. К третьей рассылке произошел прирос
показателя конверсии на 6,80% с 27,00% до 33,80%. Данный показатель
конверсии является статистически верным, так как находится в границах
доверительного интервала конверсии. Результаты отображены в графике на
рисунке 32 и таблице 31.