В статье, вышедшей на Sostav 10 февраля, был приведён краткий обзор большинства методик оценки эффективности радио, которые используются в разных странах. В России подобные исследования были проведены в 2016 году экспертами «Европейской медиагруппы».

Наш интерес к теме эффективности радиорекламы вызван тем обстоятельством, что практически все традиционные рекламодатели радио активно используют интернет-рекламу. Метрики для digital-рекламы клиенты хотят перенести и на традиционные медиа. И сегодня, чтобы получить долю в рекламном бюджете клиента, становится всё важнее понимать и доказывать конверсионность каждого медиаканала.

Реклама на радио тут оказывается практически в нулевой точке отсчёта. Индустриальные исследования эффективности радио не проводились, данные ad hoc исследований не публиковались. Таким образом, начинать измерения эффективности радио пришлось с чистого листа и в условиях экономии средств из-за продолжающихся кризисных явлений в экономике.

Depositphotos

При изучении международного опыта исследования эффективности традиционных медиа был поставлен целый комплекс задач:

• во-первых, исследование не должно быть дорогим;

• во-вторых, крайне желательно, чтобы выбранной методикой можно было с минимальными корректировками пользоваться для широкого ряда кейсов;

• в-третьих, методика должна давать максимально широкий набор данных для анализа, чтобы можно было составить разностороннее представление о результатах рекламной кампании;

• и, наконец, иметь возможность на основании полученных результатов строить прогноз эффективности следующих рекламных кампаний.

Также важно, чтобы получаемые результаты были настолько однородны по своей природе, что допускали бы сведение в группы и получение обобщающих итогов.

Всем перечисленным требованиям, пожалуй, могут соответствовать только две типовые методологии, уже опробованные коллегами за рубежом. Первая – фьюзинг данных, вторая–эконометрическое моделирование.

Использование фьюзинга в российских реалиях представляется маловозможным. Для начала надо купить данные потребительской панели, а это весьма затратно. И потом, в отличие, например, от США, где эта методика успешно используется, в России не так много рекламодателей FMCG используют радио. А большинство данных потребительской панели относится именно к FMCG. И, наконец, необходимо потратить время, силы и деньги на получение слитого массива данных для анализа. Не очень понятно, сколько времени займёт этот процесс и насколько удачно будет слияние данных. Получается, что на текущий момент фьюзинг не годится.

Второй способ получения данных об эффективности радио, который сможет покрыть большую часть возникших запросов, – это эконометрическое моделирование. Плюсы этой методики в том, что для анализа вполне можно взять уже имеющиеся данные клиента. Минусы – наличие довольно большого списка ограничений в использовании, а также некоторое недоверие массовой аудитории к математическим методам.

Развеять опасения и недоверие к эконометрике, кажется, не так уж сложно – достаточно вспомнить, сколько Нобелевских премий присуждено по этой дисциплине. Нобелевская премия по экономике была учреждена только в 1969 году, и первая премия по экономике была присуждена учёным, положившим начало эконометрике как отдельной научной дисциплине. Всего же за 38 лет существования Нобелевской премии по экономике, 7 раз она присуждалась именно за эконометрические модели.

Хочется верить, что эти факты способны побудить даже наиболее скептически настроенных экспертов, как минимум, познакомиться поближе с таким мощным инструментом.

Основа эконометрики – математические методы, чаще всего лежащие в области статистики и теории игр. Предмет изучения – наборы экономических данных, взятых из реальной жизни. Цель – объяснение зависимости в этих данных и построение прогнозов.

Именно это и требуется сделать, когда речь идет об эффективности радиорекламы:

• проанализировать имеющиеся данные;

• построить математическую модель, помогающую понять вклад каждого из использованных видов рекламы в конечный результат;

• получить инструмент, позволяющий прогнозировать эффект от рекламы в будущем.

В качестве предмета анализа для эконометрической модели можно взять данные, которые сегодня есть в распоряжении практически любого рекламодателя. Например, данные Google Analytics о посещении сайта. Или данные счётчиков посетителей торгового центра. Или данные коллтрекинговой компании о входящих звонках. Естественно, что для анализа этих данных необходимо тесное сотрудничество с рекламодателем – только при наличии доступа к сырым данным возможен их последующий корректный анализ.

Для пилотного исследования мы выбрали самую доступную из метрик – данные о посещении сайта рекламодателя. Информация там собирается заведомо аккуратно, допускает фильтры и обладает бесценным свойством единообразия и чёткого распределения, как минимум, по календарным датам.

Сформированный подход определили и базовый метод анализа – временные ряды. То есть задача ставится так: построить математическую функцию с набором аргументов, максимально приближенную к массиву реальных данных о посещении сайта. Поскольку изначально мы не знаем, насколько тесно и как именно связаны с выходами рекламы данные о трафике сайта, второй метод, который будет использован – регрессионный анализ. Он выявляет взаимосвязь изменения нескольких величин, но при этом никак не отражает причинно-следственные связи – просто констатирует факт.

В качестве аргументов непременно должны присутствовать все данные о рекламных активностях рекламодателя, какие удастся собрать. При этом, для построения максимально адекватной модели необходимо, чтобы данные о рекламе были также приписаны к конкретным датам. То есть необходимо в модель в качестве, как минимум, части аргументов искомой функции поместить медиапланы по всем использованным медиа.

К данным о рекламе следует добавить, например, данные о днях недели и праздниках, т.к. они тоже будут влиять на трафик. Если в спросе на рекламируемый продукт есть сезонность, то надо постараться её формально описать и также добавить в параметры модели.

Использование временных рядов для эконометрического моделирования имеет некоторые ограничения. Во-первых, промежуток времени для анализа должен быть достаточно длинным и включать хотя бы сотню-другую дней. То есть, отрезок времени для построения анализа рекламных активностей клиента должен быть не менее полугода, а лучше год. С другой стороны, временной ряд должен охватывать только относительно стабильный период, в течение которого предположительно сильных изменений в поведении целевой аудитории не наблюдалось.

Получается, что максимальный период для аналитики с помощью временных рядов в России на сегодня – не более двух лет. Дальше – начало кризиса и резкий перелом в потребительском поведении.

Если же такой перелом случился на уровне рекламодателя (например, резко изменился ассортимент), то временной ряд тоже можно будет построить только от начала этого изменения.

Если суммировать все перечисленные выше условия и ограничения, то получается следующее:

1. Аналитика вклада рекламы в разных медиа строится на основе метода анализа временных рядов.

2. Временной промежуток для анализа должен быть не менее полугода и не более двух лет.

3. На выбранном отрезке времени деятельность рекламодателя не может иметь значительных изменений типа смены ассортимента, смены местоположения магазина и пр.

4. На протяжении всего анализируемого отрезка времени данные о рекламе и трафике сайта должны быть представлены одинаково – по дням. Для этого необходима привязка каждого выхода рекламы к конкретной дате.

5. Для адекватного отражения реальности в параметрах модели необходимо внести также данные о днях недели, праздничных днях и, возможно, сезонности потребления рекламируемых продуктов.

6. Всё, что не вошло в параметры искомой функции, будет анализироваться единым массивом. К сожалению, после построения временного ряда разделить этот массив данных уже невозможно.

Теперь в ход идёт специализированное программное обеспечение, которое строит временной ряд. Это процесс итерационный, который заканчивается либо тогда, когда достигается требуемая точность, либо тогда, когда точность с итерациями перестает возрастать.

В результате получается примерно такая картинка, если представить графически:

Самый важный здесь показатель– коэффициент детерминации R2. Его значение как раз и показывает близость построенного временного ряда с реальными данными. Если не вдаваться в математические подробности, значение этого коэффициента показывает, насколько полно построенная модель объясняет исходные данные. И чем ближе по модулю к единице значениеR2, тем точнее модель. В нашем случае (см. график) только 13% данных остаётся «за пределами понимания» модели. И это – очень хороший показатель.

После того, как модель создана и точность её измерена, можно провести декомпозицию. То есть надо вытащить из построенной функции вклад каждого параметра. Графически это будет выглядеть примерно так:

На этом графике видно, как в каждой точке, каждом дне суммируются вклады разных рекламных активностей и других влияющих факторов, заложенных в модель на входе.

Серый фон снизу – это не разобранные по параметрам данные, которые мы никак не описали. Как правило, это тот фоновый поток посетителей сайта, который будет какое-то время держаться и без рекламы.

Поскольку все методы, которые были применены в ходе анализа, относятся к математической статистике, полученный результат тоже будет статистическим. То есть мы можем говорить о нём только в терминах временных интервалов и вероятностей.

Например, сможем отметить, что с вероятностью 87% двухнедельный флайт на радио принёс 12% трафика на сайт за тот месяц, когда транслировалась реклама. Говорить же о том, что во вторник у сайта это было, например, сто посетителей, а в среду – 85, уже будет не корректно. Статистические данные не подлежат такой мелкой детализации.

Именно эта методика и была использована в пилотном исследовании ЕМГ по вкладу радио в генерацию трафика сайта рекламодателя.

Теперь непосредственно о методике: что конкретно было сделано и какие получились выводы?

В 2016 году было проведено только пилотное исследование. Мы выбрали четырёх рекламодателей из разных товарных категорий, для которых и были построены модели.

Доля радио в медиамиксе во всех кейсах была высокой, значительно выше средних по рынку рекламы 4%. Такой выбор был абсолютно осознан, поскольку высокая доля радио гарантирует, что полученные значения не являются значениями на уровне погрешности построенной модели.

Стоит сразу сказать, то у всех четырёх рекламодателей была размещена также баннерная и контекстная реклама в интернете. Но её эффект был отфильтрован в самом начале – инструментами Google Analytics для анализа был выделен только органический и поисковый трафик региональности «Москва + область», что соответствует региональности рекламных кампаний в кейсах.

Самый важный вывод, который мы можем сделать, завершив пилот – это то, что выбранный метод анализа эффективности работает. Только в одном случае коэффициент детерминации оказался ниже 0,8. Аутлет, временной отрезок для анализа – больше года. Пилот был завершён для всех рекламодателей в июне-июле 2016 года. А старт временного промежутка в 15 месяцев попадает на начало 2015 года, когда только начали устанавливаться новые, кризисные, привычки потребителей.

В остальных случаях построенная модель объясняет динамику органического и поискового трафика сайта клиентов не менее, чем на 85%.

Конечно же, анализ этих пилотных случаев показывает и то, что радиореклама приводит посетителей на сайт, причём даже тогда, когда сайт в ролике не упоминается.

В исследованных кейсах радиореклама, согласно построенной модели, обеспечила всплеск объёма органического и поискового трафика на величины от 7,5% до 53%. Без медиавесов и долей бюджета эти цифры нельзя считать ни плохими, ни хорошими. А эти данные в рамках первого этапа остались закрытыми для публикации.

Но, тем не менее, уже на стартовом этапе можно сделать интересные выводы:

1. Завершённые кейсы доказывают, что эконометрическое моделирование является вполне рабочим инструментом для изучения вклада радио в генерацию органического и поискового трафика на сайт рекламодателя.

2. Методику вполне реально использовать для рекламодателей разных товарных групп.

3. Точность построенной модели такова, что вклад радио в рекламные кампании исключает сведение его к погрешности или ошибки вычислений.

Итак, пилотные исследования, проведённые в 2016 году, показали, что выбранная методика является вполне рабочим инструментом с широким спектром применения.

Но самое интересное у нас впереди. Как уже упоминалось выше, эконометрические модели, если они демонстрируют достаточную точность, можно использовать не только для объяснения прошлых событий, но и для краткосрочного прогнозирования.

И в качестве следующего этапа исследовательской программы ЕМГ по изучению эффективности радио мы планируем переход уже к прогнозированию эффекта от радио на основании ретро-данных. Естественно, что это будет возможно только в тесном сотрудничестве с рекламодателями и рекламными агентствами.

Текст: Екатерина Ерошкина, директор департамента коммерческого маркетинга ЕМГ

Источник: Sostav.ru