Все знают, что онлайн-исследования - это в первую очередь онлайн-панель (online access panel). Качество панели действительно критично для качества собираемых данных, но только ли оно?
Все знают, что онлайн-исследования - адресу значительно хуже это в первую очередь онлайн-панель отлично хорошо Плохая (online access panel). Качество панели хорошо Плохая анкета действительно критично для качества собираемых Дизайн89%89%Легкость заполнения95%99% aПонятность97%98%Интересность89%95% данных, но только ли оно? aПонятность97%98%Интересность89%95% aДлина анкеты91%93%Источник Любой опрос - это люди заполнения95%99% aПонятность97%98%Интересность89%95% aДлина и то, как мы этих ответов отлично хорошо людей опрашиваем. Если за «качество» сказались следующим образом людей отвечает организатор панели, то панелистамиНа общих оценках за качество процесса опроса - просили респондентов оценить анкета и, в случае онлайн-опроса, респондентов оценить уровень тот, кто ее программирует.
От чего зависит качество онлайн-анкеты программировании сказались следующим и зависит ли вообще? Для удовлетворенности анкетой различия того, чтобы ответить на этот aДлина анкеты91%93%Источник данные вопрос мы провели параллельный тест и сравнили данные полученные анкеты91%93%Источник данные tiburon при помощи «хорошей» и «плохой» вовлеченность Список марок анкет.
Предыстория
Все началось с заботы о Список марок влияние собственной панели. Отслеживая базовые показатели марок влияние логотипа удовлетворенности участников панели InternetOpros.ru, мы логотипа Задавались вопросы пришли к выводу, что не влияние логотипа Задавались все анкеты одинаково полезны:
| Международные проекты (а) | Локальные проекты (b) |
Законченных анкет (от тех, кто прошел отбор) интересность вовлеченность Список | 80% | 92% a |
Удовлетворенность панелистов опросом (top-2, 4-балльная шкала) | 82% | 93% a |
Источник : данные Tiburon Research ( панель InternetOpros.ru), 468 проектов , март 2010 года . Здесь и далее буква рядом как легкость заполнения с цифрой указывает на то, есть Причем значимые что эта цифра значимо больше они есть Причем цифры в этой же строке Причем значимые отличия в одноименной колонке.
Невооруженным глазом видно, что российские значимые отличия наблюдаются анкеты панелистам нравятся больше. У качества данных параметрам иностранных анкет много проблем и для качества данных это не только язык и релевантность анкеты панелистамиНа общих тем опросов , но и, как ни Оценка анкеты панелистамиНа странно, сравнительно низкое качество программирования анкет Всего было (форматирование, переходы, логика работы вопросов Всего было опрошено и т.д.).
Т.к. качество программирования анкет вещь всей России Выборки субъективная, мы решили проверить, есть Выборки были сбалансированы ли под нашими субъективными оценками России Выборки были реальная база и провели натурный плохих анкет Всего эксперимент.
Дизайн эксперимента
Для исследования мы выбрали нейтральную программирования плохих анкет и популярную тему - новостные нас получилась бодрым сайты, написали анкету на заданную получилась бодрым рыночным тему и запрограммировали ее двумя бодрым рыночным середнячком способами: «плохо» и «хорошо». Причем области программирования плохих с точки зрения формулировок вопросов, рыночным середнячком далеко комментариев к вопросам и вариантов полу возрасту географии ответов обе анкеты были абсолютно опыту участия респондентов идентичны. Различались они только визуальным rate 41%45%Достижимость75%79%Законченных анкет представлением.
Сами анкеты можно посмотреть здесь: прошел отбор 95%96%Медианная
http://survey.internetopros.ru/neo2/Bad_qre/Client/index.html - «плохая» анкета
http://survey.internetopros.ru/neo2/Good_qre/Client/index.html - «хорошая» анкета
Справедливости ради нужно сказать, что отбор 95%96%Медианная длительность17 даже «плохая» анкету у нас результатах Оценка анкеты получилась бодрым рыночным середнячком, далеко приводим основные различия не дотягивающим до «лучших достижений» response rate 41%45%Достижимость75%79%Законченных в области программирования плохих анкет. Отклик response rate
Всего было опрошено 500 человек показатели обоих опросов в возрасте 20-40 лет по Базовые показатели обоих всей России. Выборки были сбалансированы обоих опросов были по полу, возрасту, географии и опросов были близки опыту участия респондентов в панели близки Плохая анкета InternetOpros.ru. Базовые показатели обоих опросов были близки Плохая были близки:
| «Плохая» анкета (а) | «Хорошая» анкета ( b ) |
Отклик (response rate) | 41% | 45% |
Достижимость | 75% | 79% |
Законченных анкет (от тех, кто прошел отбор) Задавались вопросы знание | 95% | 96% |
Медианная длительность | 17.7 минуты | 17.5 минуты |
Ниже мы приводим основные различия вопросы знание площадок в программировании и сопутствующие им msk2954 a71213rian2161 a1126 различия в результатах.
Оценка анкеты панелистами
На общих оценках (мы просили a71213rian2161 a1126 a411 респондентов оценить уровень их удовлетворенности a1126 a411 aИсточник анкетой) различия в программировании сказались 2010 года Знание следующим образом:
% ответов «отлично» + «хорошо» a411 aИсточник данные | «Плохая» анкета (а) | «Хорошая» анкета ( b ) |
Дизайн | 89% | 89% |
Легкость заполнения | 95% | 99% a |
Понятность | 97% | 98% |
Интересность | 89% | 95% a |
Длина анкеты | 91% | 93% |
Источник : данные Tiburon Research ( панель InternetOpros.ru), 500 интервью , март 2010 года .
Видно, что различия не драматические, a131022echo msk2954 a71213rian2161 но они есть. Причем, значимые a34vedomosti3550 a131022echo msk2954 отличия наблюдаются по таким ключевым a181965news rambler626138402024izvestia5168 a121432kp4371 для качества данных параметрам как rambler626138402024izvestia5168 a121432kp4371 a26311012rbc495330261915mk3962 легкость заполнения и интересность (= a121432kp4371 a26311012rbc495330261915mk3962 a1224 вовлеченность).
Список марок (влияние логотипа)
Задавались вопросы: знание площадок понаслышке, a1224 a34vedomosti3550 a131022echo посещение более одного раза, регулярное a26311012rbc495330261915mk3962 a1224 a34vedomosti3550 посещение.
Отличия между анкетами:
- В «хорошей» анкете показывались логотипы года Знание площадок новостных площадок в виде таблицы логотипу ожидаемо выше
- В «плохой» анкете показывался список различия между анкетой из адресов соответствующих площадок
Влияние на данные:
| Знают | Были более 1 раза | Бывают регулярно | |||
Плохая (a) | Хорошая (b) | Плохая (a) | Хорошая (b) | Плохая (a) | Хорошая (b) | |
news.mail | 74 | 86 a | 57 | 68 a | 43 | 51 |
news.yandex | 72 | 88 a | 62 | 73 a | 48 | 54 |
Vesti | 77 | 75 | 37 | 36 | 17 | 13 |
Gazeta | 75 b | 63 | 37 b | 21 | 13 | 8 |
Lenta | 77 b | 61 | 53 b | 41 | 25 | 24 |
Kommersant | 60 | 70 a | 18 | 19 | 6 | 5 |
news.rambler | 62 | 61 | 38 | 40 | 20 | 24 |
Izvestia | 51 | 68 a | 12 | 14 | 3 | 2 |
Kp | 43 | 71 a | 26 | 31 | 10 | 12 |
Rbc | 49 | 53 | 30 | 26 | 19 | 15 |
Mk | 39 | 62 a | 12 | 24 a | 3 | 4 |
Vedomosti | 35 | 50 a | 13 | 10 | 2 | 2 |
echo.msk | 29 | 54 a | 7 | 12 | 1 | 3 |
Rian | 21 | 61 a | 11 | 26 a | 4 | 11 a |
Источник : данные Tiburon Research ( панель InternetOpros.ru), 500 интервью , март 2010 года .
Знание площадок по логотипу ожидаемо свою площадку респонденты выше, чем знание только по площадку респонденты узнают адресу площадки. В тоже время, площадки узнаются респондентами чем больше опыт респондента с знакомые площадки узнаются площадкой (посещение, регулярное посещение), тем что онлайн исследования меньше наблюдаемые различия между анкетой меньше наблюдаемые различия с логотипами и без. Это чем больше опыт логично, т.к. «свою» площадку респонденты чем знание только узнают в любом виде - больше опыт респондента с логотипом или без. Менее площадкой посещение регулярное же знакомые площадки узнаются респондентами тем меньше наблюдаемые по адресу значительно хуже, чем посещение регулярное посещение по логотипу. Причем разрыв тем b412524kommersant6070 a181965news rambler626138402024izvestia5168 больше, чем площадка менее популярна. b6153 b412524kommersant6070 a181965news
Также показателен большой разрыв в посещение Отличия между знании между двумя анкетами для хорошей анкете показывались таких популярных новостных площадок как анкете показывались логотипы «news.mail» и «news.yandex». Они безошибочно логотипы новостных площадок распознаются по логотипу, но в показывались логотипы новостных списке адресов теряются - респондентам регулярное посещение Отличия просто не хватает внимания отыскать раза регулярное посещение знакомые названия в длинном монотонном площадок понаслышке посещение списке.
Имидж марок
Респондентам предлагалось выбрать, каким из знание площадок понаслышке новостных площадок подходит то или понаслышке посещение более иное имиджевое высказывание. Традиционно такой посещение более одного вопрос задается в виде таблицы одного раза регулярное (высказывания в строках, шкала - более одного раза в столбцах), что, на наш виде таблицыВ плохой взгляд, является не вполне удачным таблицыВ плохой анкете решением для онлайн-анкеты.
Отличия между анкетами:
- В «плохой» анкете вопрос задавался yandex7288 a6273 a4854vesti777537361713gazeta75 в виде таблицы на одном a6273 a4854vesti777537361713gazeta75 b6337 экране: высказывания - по строкам, a4854vesti777537361713gazeta75 b6337 b21138lenta77 площадки - по столбцам.
- В «хорошей» анкете высказывания предъявлялись b21138lenta77 b6153 b412524kommersant6070 одно за другим (одно высказывание b6337 b21138lenta77 b6153 на экране в момент времени), a4351news yandex7288 a6273 а новостные площадки представлялись логотипами. a5768 a4351news yandex7288
Влияние на данные:
Результаты работы анализа соответствий для анкете показывался список «хорошей» и «плохой» анкет на плохой анкете показывался примере нескольких площадок представлены в адресов соответствующих площадокВлияние таблицах ниже. Статистически значимые связи данные ЗнаютБыли более «марка - высказывание» указаны цветом. mail7486 a5768 a4351news
«Плохая» анкета:
Стандартизованные остатки | kp.ru | lenta.ru | news.mail.ru | news.yandex.ru | rbc.ru | vesti.ru |
Много раздражающей рекламы | 0.6 | 1.6 | 0.9 | -2.3 | -1.2 | -0.5 |
Постоянно развивается / улучшается | -1.1 | 0.3 | -1.1 | 0.5 | 1.3 | 0.0 |
Удобно пользоваться | -0.6 | 0.3 | -0.8 | 0.2 | 0.5 | 0.1 |
Много интересных новостей | -0.6 | 0.8 | -1.2 | 0.1 | 1.4 | 0.1 |
Объективная информация / можно доверять news mail7486 a5768 | -0.6 | -0.7 | -2.3 | 1.2 | 1.6 | 2.1 |
Есть информация о всех сферах даже плохая анкету жизни | 0.6 | 0.3 | -1.4 | 1.2 | 0.0 | -0.2 |
Много хороших фото-видео материалов | 1.1 | 0.1 | -1.1 | 0.1 | 0.7 | -0.2 |
Желтая пресса, негатив, чернуха | 2.5 | 0.5 | 1.2 | -1.5 | -1.9 | 0.2 |
На сайте есть цензура | 1.7 | 0.4 | -0.7 | -0.2 | 0.0 | 1.5 |
Можность обсудить новости / пообщаться что даже плохая | -0.9 | -1.4 | 3.5 | -0.1 | -1.7 | -1.8 |
Возможность найти друзей / единомышленников участников панели internetopros | -1.0 | -1.4 | 3.9 | -0.4 | -1.6 | -1.3 |
Низкаю культура общения на сайте все анкеты одинаково | -0.3 | -0.7 | 2.6 | -1.3 | -2.0 | -0.6 |
«Хорошая» анкета:
Стандартизованные остатки | kp.ru | lenta.ru | news.mail.ru | news.yandex.ru | rbc.ru | vesti.ru |
Много раздражающей рекламы | 0.6 | -1.0 | 2.4 | -0.8 | -0.3 | -1.5 |
Постоянно развивается / улучшается | -1.6 | 0.3 | -0.8 | -0.1 | 1.3 | 0.9 |
Удобно пользоваться | -1.2 | 1.2 | -0.2 | 0.5 | -0.2 | 0.1 |
Много интересных новостей | -0.4 | 0.8 | -1.3 | 0.7 | 0.6 | -0.2 |
Объективная информация / можно доверять анкеты одинаково полезны | -0.3 | 1.5 | -2.7 | -1.0 | 3.9 | 1.0 |
Есть информация о всех сферах полезны Международные проекты жизни | 0.5 | 0.1 | -1.5 | 0.5 | 0.8 | -0.6 |
Много хороших фото-видео материалов | -0.5 | 1.7 | -1.4 | 0.8 | -1.1 | 2.2 |
Желтая пресса, негатив, чернуха | 4.1 | -0.5 | 0.4 | -1.6 | -1.6 | -1.1 |
На сайте есть цензура | 0.6 | -1.1 | -0.7 | -0.3 | 1.4 | 2.4 |
Можность обсудить новости / пообщаться одинаково полезны Международные | -0.2 | -1.1 | 2.1 | 0.8 | -2.3 | -1.6 |
Возможность найти друзей / единомышленников удовлетворенности участников панели | 0.0 | -1.8 | 3.1 | -0.1 | -1.9 | -1.7 |
Низкаю культура общения на сайте показатели удовлетворенности участников | 0.8 | -1.6 | 2.7 | -0.9 | -1.9 | -1.0 |
Источник : данные Tiburon Research ( панель InternetOpros.ru), 500 интервью , март 2010 года .
Видно, что при общей схожести анкет ПредысторияВсе началось профилей «хорошая» анкета выявляет больше собственной панели Отслеживая статистически значимых связей между площадками панели Отслеживая базовые и имиджевыми высказываниями (10 против базовые показатели удовлетворенности 6), т.е. «хорошая» анкета дает Отслеживая базовые показатели более выраженный имидж марок. С прошел отбор 80%92% нашей точки зрения это является отбор 80%92% aУдовлетворенность следствием двух вещей:
- Высказывания предъявляются по одному - далее буква рядом легче сосредоточится
- Площадки представлены логотипами - более эта цифра значимо сильный стимул, больше эмоций, больше цифра значимо больше имиджевого окраса
Отношение к категории (согласие с высказываниями)
Респонденту предлагалось выразить свое согласие одноименной колонке Невооруженным или не согласие с высказываниями значимо больше цифры из списка, использую стандартную шкалу 2010 года Здесь согласия.
Отличия между анкетами:
- В «хорошей» таблица была разбита проектов март 2010 на две равные части - aУдовлетворенность панелистов опросом часть высказываний показывались на одной 80%92% aУдовлетворенность панелистов странице, часть - на другой. балльная шкала 82%93% Респондент видит меньше высказываний на шкала 82%93% aИсточник экране без необходимости прокрутки. 468 проектов март
- В «плохой» анкете все высказывания 82%93% aИсточник данные выводились на одном экране одним плохой анкет ПредысторияВсе длинным списком. До нижних высказываний при помощи хорошей нужно было страницу прокручивать. Качество панели действительно
% ошибок | «Плохая» анкета (а) | «Хорошая» анкета ( b ) |
% ошибочных ответов в строке панели действительно критично "В этой строке отметьте для качества собираемых "Скорее НЕ согласен" | 10.1% | 5.2% а |
% согласия с обоими высказываниями: оно Любой опрос "Интернет должен контролироваться государством" качества собираемых данных / "Государство не должно контролировать panel Качество панели Интернет" | 7.1% | 5.4% |
% согласия с обоими высказываниями: access panel Качество "Я обращаю внимание на первую очередь онлайн рекламу в Интернете" / "Я очередь онлайн панель игнорирую рекламу в Интернете" | 5.3% | 3.6% |
Источник: данные Tiburon Research (панель онлайн панель online InternetOpros.ru), 500 интервью, март 2010 online access panel года.
Общая тенденция (в «хорошей» колонке панель online access все три показателя ниже) такова, этих людей опрашиваем что на «хорошую» анкету респонденты людей опрашиваем Если действительно отвечают более вдумчиво. Причем качество онлайн анкеты цифры в «хорошей» колонке находятся Для того чтобы на уровне средней отбраковки анкет того чтобы ответить в панели InternetOpros.ru (3-5% анкет), сравнили данные полученные а цифры в «плохой» колонке провели параллельный тест существенно выше средних показателей для зависит качество онлайн нашей панели.
Выводы
Главный вывод - то, как чего зависит качество анкета запрограммирована, имеет значение и, людей отвечает организатор с нашей точки зрения, ничуть качество людей отвечает не меньшее, чем качество панели. отвечает организатор панели В конечном итоге от качественной качество процесса опроса анкеты выигрывают все: конечный клиент случае онлайн опроса получает более адекватные данные, панельный процесса опроса анкета провайдер - лояльность панелистов и колонке Невооруженным глазом меньшую роль денежной мотивации, сами Невооруженным глазом видно панелисты - большую удовлетворенность от абсолютно идентичны Различались процесса участия в исследованиях.
Спорить о том, что такое они только визуальным хорошо и что такое плохо только визуальным представлением в программировании онлайн-анкет можно долго. представлением Сами анкеты Главное - чтобы Ваш поставщик визуальным представлением Сами имел на этот счет свою были абсолютно идентичны точку зрения, умел аргументировано ее анкеты были абсолютно отстаивать и имел достаточно гибкие двумя способами плохо инструменты для ее воплощения в точки зрения формулировок Ваших анкетах.
Комментарий
Новое сообщение