Сравнение измерений Пиплы и Recall
|
Введение |
 |
Москва — наиболее представленный город по числу установленных пипл-метров (~224 шт.). Обычно в городах-миллионниках медиапотребление ТВ снимается по показаниям 77-80 пиплметров. В этой связи данные измерений по альтернативной методике интересно сравнивать именно с Московской панелью. На сегодняшний день единственный измеритель и владелец развернутой в России пипл-метрической панели является компания TNS Gallup Media.
В теории, следуя эргодическому принципу: среднее по времени (непрерывный опрос) равно среднему по ансамблю (панель) — результаты измерений постоянной панели (пиплметры) и непрерывного телефонного опроса по случайной выборке должны быть тождественны.
В Москве постоянно действующая панель из 224 пиплметров, установленных в домохозяйствах, охватывает примерно ~ 600 чел. Эти 224 домохозяйств подобранны таким особым способом, что их телесмотрение репрезентует все население Москвы. Любой перекос в этой выборке по представленности по какому-либо признаку может привести к существенному искажению результатов измерения. Перекосы выборки устраняются путем проведения установочного измерения, однако постоянно проводимая обязательная ротация панели на 15-25% в год также может привести к нежелательным искажениям.
В настоящее время аппаратный метод измерения с использованием пиплметров считается наиболее надежным способом измерения медиапотребления ТВ.
| |
Разработанный еще в 60-хх прошлого века социологический метод опроса вспоминания телесмотрения вчерашнего дня (Day after Recall) помимо недостатков, связанных с возможным перекосом выборки, имеет серьезные ограничения, связанные с физиологией вспоминания человека. И что особенно важно для рекламодателей, при этом методе измерения невозможно определить, было ли переключение на другой канал во время демонстрации рекламного ролика.
При всех недостатках Recall, не следует забывать, что всегда при планировании опираются на прогнозные рейтинги, а поскольку технологически данные опросов агрегируются по будням и выходным, то получаемые данные - есть средние значения рейтингов, измеренных за период времени, которые с успехом могут быть использованы для разработки медиаплана. Следует также помнить, что кроме ТВ, есть и другие медиа - Пресса, Радио, которые еще долгое время будут измеряться по методу Day after Recall. Поэтому важно иметь адекватную и проверенную временем методику измерения.
По заказу Экспертного Агентства "MEDIAPLAN.RU", Call-центр компании Экском (Екатеринбург) с начала 2004 г. проводит измерение ТВ, Радио и Прессы в Екатеринбурге и Москве.
Как уже отмечалось выше, выбор Москвы продиктован главным образом тем, что это единственный город в России, представленный значительной выборкой. Нам было очень важно постоянно оценивать качество наших измерений по Екатеринбургу, сравнивая параллельно наши измерения Day after Recall по Москве с открытыми данными панели, постоянно публикуемыми на сайте TNS Gallup Media. Нам неизвестны публикации в открытом доступе, где бы приводилось сравнение этих двух методов. Ниже мы без купюр приводим сравнительные данные по телесмотрению в Москве более чем за два года, и надеемся, что это будет интересным для многих региональных измерителей пользующихся методом Day after Recall. |
|
Сведения по сбору данных |
Объект исследования — домохозяйства Москвы.
Цель исследования — медиапотребление ТВ, Радио и Прессы
Генеральная совокупность:
- выборка репрезентирует население в возрасте 12 лет и старше.
Построение выборки:
- выборка случайная, бесповторная. Выбор респондентов осуществляется путем случайного выбора телефона респондента из телефонной базы.
- отбор интервьюируемого респондента в домохозяйстве проводится по принципу "ближайшего дня рождения в году", если такого респондента в данный момент нет, уточняется время для повторного звонка.
- репрезентативность достигается благодаря специальной процедуре "взвешивания" в соответствии с реальными половозрастными характеристиками Москвы по данным Госкомстата.
Объем выборки:
- в рамках исследования проводится не мене 500 интервью в месяц
Метод исследования:
- телефонный опрос по методу Day after Recall
- используется компьютерная система телефонных опросов (CATI), совместимая с программой SPSS, данные опросов ежедневно выкладываются на интернет-сервер с возможностью их просмотра и анализа пользователем с помощью специально разработанного для этих целей софта "Media Monitor"
Важное дополнение.
- На этапе проведения установочных исследований в 2003 г. и сравнения их с результатами измерений панели (пиплметры) и поквартирными опросами (face to face) выяснилось, что "лобовым" телефонным опросом невозможно получить сравнимые данные. Очень хорошее согласие получилось лишь тогда, когда в технологию Тф-опроса, а именно, непосредственно в "окно" CATI интервьюера была встроенная реальная ТВ программа. Таким образом, Тф-диалог с респондентом стал максимально продуктивен в части напоминания ему о прошедшем дне телесмотрения.
- Также программным способом была решена процедура перекрестного смотрения респондентом сразу нескольких каналов. |
|
Сравнение данных по телесмотрению Москвы |
| Сразу же отметим, что методика измерения (вопросы анкеты, способ формирования выборки) на протяжении всего периода измерений Тф-опроса была неизменна. Тф-опрос Москвы (здесь представленный) и Екатеринбурга проводились параллельно. И наверное будет уместно проводить некие параллели о достоверности измерения Екатеринбургских телеканалов, вытекающие из сравнения с достаточно надежным источником по Москве (TNS Gallup Media). |
Рис.1 Сравнение данных "Среднесуточной доли телеканалов" за 1 кв.06г. |
На Рис.1 представлены самые свежие данные (на момент написания статьи) по среднесуточной доле телеканалов измеренных разными методами.
Среди измерителей существует мнение, что метод Day after Recall и в особенности его реализация при телефонном опросе завышает рейтинги и соответственно телесмотрение крупных каналов и дает занижение малых и средних. Анализ приведенных здесь сравнительных данных по телесмотрению в Москве, методом телефонного опроса (Call-центр Экском) и панели TNS показывает, что в общем случае это правило не подтверждается.
В соответствии с требованиями публикации данных исследования "ТВ-индекс" компании TNS Gallup Media ниже приводятся данные по "Среднесуточной доли телеканалов (6:00-02:00)" в регионе Москва по ГС4+ :
Данные агрегированы из "понедельных" в скользящее среднее за 3-х месячный период.
Это сделано лишь для удобства и корректного сравнения измерений по двум методикам, поскольку данные измерений по медиапотреблению Экском публикует в виде 3-х месячного среза. В силу небольшой выборки (всего 500 интервью в мес.) такой подход (трекинговый или непрерывная волна) — обычная практика. Таким образом, каждый раз с панелью TNS сравниваются "волны" Тф-опросов с 1500 интервью каждая.
Таким образом, каждая точка на графике есть скользящие 3-х месячные среднесуточные доли телеканалов:
- TNS (пиплметры): среднее за 12 недель, при следующем месяце в среднее агрегируются новые 4 недели и отбрасываются последние 4 недели.
- Экском (1500 Тф-интервью): среднее за 3 месяца, при следующем месяце в среднее включается новый месяц и отбрасывается последний. |
| Каналы "Большой четверки" |
 
Рис.2 Рис.3 |
Тезис о завышении рейтингов крупных каналов при использовании метода Day after Recall наиболее ярко должен проявится на самом крупном Первом канале. Фактически это мы наблюдаем почти 1,5 года (до сен.05). Данные же измерений в1кв.06, пусть и не значительно, но показывают, что метод Тф-опроса может давать Долю даже ниже, чем прямые измерения панели. Рис. 2 показывает, что наметившаяся тенденция в начале 2005 по снижению доли "Первого канала" на телефоннике реализовалась в более существенном снижении Доли, чем это дает панель TNS.
Канал Россия дает нам почти идеальную картину корреляции измеренных результатов по столь разным методикам. |
 
Рис.4 Рис.5 |
| В 2004 метод Тф-опроса дает более высокую позицию в рейтинге для НТВ, чем для канала Россия. Такие результаты измерений Экскома, возможно, следует относить на высочайшую популярность команды Е.Киселева и ее последующий уход летом 2004г (см. Рис.4). Зафиксированное снижение доли телеканала у Экскома значительно более выражено, чем у TNS. Кстати говоря, после известных событий на НТВ данные TNS панели и телефонника Экском практически совпадают, начиная с 2005 года.
Пожалуй, единственный канал из "Большой четверки", у которого наблюдается очень хорошее согласие Долей — это СТС (см. Рис.5) |
| В заключении приведем характерные рейтинги "Большой четверки": |
Фото 1. Окно софта Excom Media Planer (Рейтинги Москвы ГС12+) |
| Средние каналы (Ren-ТВ, ТВЦ, ТНТ, Культура, Спорт) |
Как и следовало ожидать, для средних и малых каналов, в связи низкой валидностью малых рейтингов наблюдается уже более значительные различия в телесмотрения по двум методам.
Во-первых, у средних и малых каналов существенно более высокая чувствительность к перекосам выборки. Идеальных измерений в условиях ограниченной выборки просто не существует.
Во-вторых, при Тф-опросе вспоминания смотрения так же возможны перекосы, но они связанны уже с трудностями другого характера. Выдержать условие репрезентативности выборки по половозрастному составу чрезвычайно трудно в условиях сезонной миграции населения (период отпусков, каникулы, длинные праздники и т.д.). |
 
Рис.6 Рис.7 |
Рис.8 |
| И тем не менее, доли каналов ТНТ, РенТВ и Культура в общем достаточно хорошо согласуются с данными TNS. (см. Рис. 6-8). Особенно хорошее согласие наблюдается, начиная с лета 2005. |
 
Рис.9 Рис.10 |
Канал ТВЦ, на наш взгляд TNS значительно переоценен. На протяжении всего периода измерения кривые доли телесмотрения идут практически параллельно и наблюдается неплохая корреляция пиков роста/падения. И конечно, вполне возможно, что ошибается телефонник. Легко оценить, насколько различаются и средние рейтинги. В прайм тайм у Экскома средний рейтинг канала ТВЦ ~1% (см. фото 2). А доля у TNS выше ~ на 70% (3,5% и 6% см. Рис. 9). Таким образом, средний рейтинг в прайм у TNS будет ~1.7%. Следовательно, Тф-опрос дает рейтинги примерно на 0,7% ниже панели TNS.
Канал "Спорт" по нашему мнению наоборот, недооценен в выборке TNS. Однако идет очень медленная тенденция к сближению (см. Рис. 10). Возможно текущая ротация выборки в будущем еще более сблизит измерения. С другой стороны, вполне возможно, что Тф-опрос завышает "Спорт". Если провести оценку среднего рейтинга, аналогично проведенной выше для ТВЦ, получим, что Тф-опрос завышает средине рейтинги канала Спорт на ~ 1,2%! А это довольно значительная величина.
Важно также отметить, что у телефонника в летнюю олимпиаду (авг.04) пик телесмотрения у канала Спорт был гораздо выше, чем у панели TNS. В зимнюю же олимпиаду, мы намеренно перенесли основной объем Тф-опросов не на олимпиадное время, поскольку старались по возможности избежать наложения этого "яркого" пика смотрения на последующие периоды при прогнозе рейтингов этого телеканала. И кажущееся сближение измерений в фев.05-март.05 (см. рис.10), скорее всего, не подтвердится в следующих периодах.
Ниже приводятся характерные рейтинги 2005г. для "средних" телеканалов: |
Фото 2. Окно софта Excom Media Planer (Рейтинги Москвы ГС12+) |
| Примечание: Характерный пик ТНТ в 21:00-22:00 — реалити шоу "Дом2", а пик на РенТВ — сериал "Солдаты" и "Студенты". |
| Малые каналы (Домашний(М1), ТВ3, МТV, Муз ТВ, Столица, ДТВ, 7ТВ) |
Как уже отмечалось выше, в секторе малых каналов (малого телесмотрения) относительные различия в измерении доли могут быть еще более значительными.
Для лучшего понимания ситуации приведем простые цифры.
Панель (пиплы): постоянная выборка ~600 человек с ротацией 15-25% в год. Таким образом, за ~2 года телесмотрение строится по совокупной выборке ~850чел.
Тф-опрос: переменная случайная выборка 500 чел. в мес., и за 2 года совокупная выборка составляет 12000 чел.
И пусть читателей не смущают столь разительное количество людей в выборке за период. Сравнительно небольшая численность панели вовсе не говорит, что ошибка в ней больше чем у телефонника. Дело в том, что если с ошибкой телефонника (простая случайная выборка) все понятно, то ошибку панели, строго говоря, вычислить просто невозможно (нет таких формул!!!).
Во всем этом деле сравнения важно оценивать не столько конкретные значения долей отдельных точек (волн) на графике, столько средний уровень доли за весь период измерения (доля выше/ниже) и общий тренд (рост/падение). И наверное приведенные здесь данные по телефоннику будут полезны TNS, поскольку в известном смысле могут служить в качестве альтернативного ориентира при текущей ротации выборки.
Прежде чем перейти к анализу сравнения малых каналов, приведем для них измеренные телефонником характерные рейтинги: |
Фото 3. Окно софта Excom Media Planer (Рейтинги Москвы ГС12+) |
Хорошо видно, что в сегменте "малых" каналов, более значимые рейтинги у MTV и МузТВ. Средние рейтинги в прайм тайм составляют ~0,5%. Как мы увидим на графиках ниже, панель TNS измеряет долю для этих 2-х музыкальных каналов ~2%, а Тф-опрос ~3%. Фактически это означает буквально следующее:
- измеренные панелью средние рейтинги этих каналов должны быть на ~30% ниже, чем у телефонника, т.е. вместо ~0,5% у Экскома, получаем ~0,35% TNS
К сравниванию каналов с еще меньшей долей смотрения, нужно относится еще более спокойно. Средние рейтинги у них еще меньше ~0.2%!!! (см. фото). Поэтому различие в доле в 2-3 раза будет лишь означать, что рейтинги измерителей отличаются от среднего всего на (0,1-0,15)%!
И тем не менее, далее, приведем результаты сравнения без купюр. |
 
Рис.11 Рис.12 |
На канале М1 в 2005 начал вещание телеканал "Домашний". Телефонник Экскома фиксирует изменение доли от первоначально (М1) в ~2раза. Тренд к началу 2006г. - растущий. И наоборот, у TNS наблюдается падение от первоначальной доли с запуском "Домашний", с переходом тренда - на стабильный. В конечном итоге данные измерений в 1кв. 06г. значительно сблизились.
ТВ3 демонстрирует отрицательную корреляцию. Там где Экском дает рост, TNS, наоборот, дает падение. Хотя общий тренд по обоим измерениям - растущий и время от времени измеренные доли вообще совпадают. В общем и целом, на наш взгляд, согласие вполне удовлетворительное с учетом того, что канал занимает долю всего ~2% в общем телесмотрении. |
 
Рис.13 Рис.14 |
| Сравнение долей однотипных по формату каналов MTV и МузТВ в целом демонстрирует неплохую корреляцию. Конечно, бросается в глаза, что лабильность Доли Тф-опроса значительно выше, чем дает панель. Нам трудно комментировать, с чем связанны значительные пики в телесмотрении этих каналов. Пока вывод такой, что данные Тф-опроса дают чуть более высокие значения суточной доли телесмотрения на музыкальных каналах. |
 
Рис.15 Рис.16 |
Канал "Столица" на протяжении почти 1,5 лет измерений Экскома очень слабо идентифицировался при телефонном опросе. И пока не понятно (для нас из Екатеринбурга), с чем связано увеличение его доли в телесмотрении начиная с ~июля 2005. Фактически оба способа измерения последние полгода дает очень близкие результаты.
Для канала ДТВ наблюдается хорошая корреляция данных измерений. Причем к 2006 доли измерителей практически совпадают. |
Рис.17 |
Для канала 7ТВ данные измерителей очень схожи. Однако, телефонник последние полгода показывает положительную динамику роста канала, пусть не такую значительную динамику в поведении доли, но и TNS также демонстрирует вогнутость кривой доли суточного смотрения (0,3% -0,2% -0,4%).
Напоминаем, что сравнение измерений у столь малых каналов, носит скорее умозрительный характер, поскольку речь идет о средних рейтингах в прайм уровня ~0,2%. |
|
Заключение |
Проведенное в настоящей статье сравнение данных измерений по различным методикам (Тф-опрос и пипл-панель), пожалуй, первое масштабное исследование, опубликованное в открытом доступе. Период сравнения составляет 27 месяцев (2,3 года), по Москве проведено более 14 000 Тф-интервью, что составило ~ 140 000 минут междугороднего трафика Екатеринбург — Москва.
Мы в полной мере удовлетворены сравнением данных. Наиболее явные и существенные нестыковки при сравнении результатов измерения выявлены на 2 каналах:
1. ТВЦ: TNS дает долю (~6%) почти вдвое большую, чем Экском (3,5%)
2. Спорт: TNS дает долю (~3,5%), почти вдвое меньшую, чем Экском (6,5%)
Сравнение наших измерений с общепризнанными и надёжными измерениями TNS Gallup Media показало явную тенденцию по сближению данных. Этот факт позволяет нам говорить, что проводимые параллельно измерения ТВ в Екатеринбурге имеют вполне удовлетворительный уровень качества, а для целей медиапланирования (прогнозных рейтингов) — тем более.
|
| Экспертное Агентство "MEDIAPLAN.RU" |
| http://www.mediaplan.ru/publish.php?id=24 | |
|
| |
| Реклама |
|
|
|
|
