Оценка валидности самоотчетов об использовании смартфона: сравнение субъективных и объективных данных

Обложка

Цитировать

Полный текст

Аннотация

В настоящее время смартфоны являются главным источником для доступа к онлайн-платформам и сервисам, а также основным драйвером проникновения Интернета как в России, так и за рубежом. Расширение функционала смартфонов и регистрация статистики их использования создает для исследователей новый и важный источник цифровых данных о поведении пользователей. Однако получение данных такого типа требует разработки новых методологических подходов и решения ряда технологических, юридических и этических вопросов. Значимым элементом в этом процессе является и сравнительная оценка опросных данных, основанных на ретроспективных самоотчетах, традиционно используемых для исследований онлайн-активности пользователей, и объективных данных о поведении, основанных на цифровых следах онлайн-активности. В рамках настоящей статьи представлены результаты эксперимента по кросс-валидации данных самоотчета об использовании смартфона и цифровых поведенческих данных (N = 80). Данные для эксперимента были собраны в рамках методического подхода «пожертвование данных» (data donation), который заключается в том, что участники опроса делятся с исследователями информацией, которую уже собрали их мобильные устройства. Результаты эксперимента позволяют сделать вывод об умеренной позитивной корреляции между ретроспективным самоотчетом и цифровыми поведенческими данными об использовании смартфонов. Статистически значимого эффекта «временно́го окна» для оценки объема использования смартфона за короткий (день) и более длительный (текущую неделю) период выявлено не было, что позволяет говорить о сравнительной устойчивой валидности самоотчета и, следовательно, его надежности/воспроизводимости в рамках недельного интервала. Таким образом, в условиях невозможности сбора и интеграции в исследование цифровых поведенческих следов респондентов использование ретроспективного самоотчета может быть целесообразным.

Об авторах

Анастасия Владимировна Сапонова

Национальный исследовательский университет «Высшая школа экономики»

Email: asaponova@hse.ru
ORCID iD: 0000-0002-9393-3509
SPIN-код: 9286-6830
ResearcherId: AAD-1892-2021
аспирант, преподаватель, кафедра анализа социальных институтов, департамент социологии Москва, Россия

Список литературы

  1. Девятко И.Ф. Диагностическая процедура в социологии. Очерк истории и теории. М.: Наука, 1993. — 175 с.
  2. Девятко И.Ф. Инструментарий онлайн-исследований: попытка каталогизации // Онлайн исследования в России 3.0 / Отв. ред.: И.Ф. Девятко, А.В. Шашкин, С.Г. Давыдов; науч. ред. И.Ф. Девятко. М.: Online market intelligence, 2012. С. 17–30. EDN: XFYLBZ
  3. Мягков А.Ю. Социально-демографические переменные в социологическом исследовании: Проблемы достоверности самоотчетов респондентов. М.: Флинта: Наука, 2002. — 474 с. EDN: MHTBUC
  4. Ним Е.Г. «Вы есть ваши данные»: селф-трекинг как феномен глубокой медиатизации // Вестник Московского университета. Серия 10: Журналистика. 2020. № 5. C. 29–53. doi: 10.30547/vestnik.journ.5.2020.2953 EDN: LEECMI
  5. Araujo T., Wonneberger A., Neijens P., de Vreese C. How Much Time Do You Spend Online? Understanding and Improving the Accuracy of Self-Reported Measures of Internet Use. Communication Methods and Measures. 2017. Vol. 11. No. 3. P. 173–190. doi: 10.1080/19312458.2017.1317337
  6. Baranowski T. Validity and Reliability of Self Report Measures of Physical Activity: An Information-Processing Perspective. Research Quarterly for Exercise and Sport. 1988. Vol. 59. No. 4. P. 314–327. doi: 10.1080/02701367.1988.10609379
  7. Baumgartner S.E., Sumter S.R., Petkevič V., Wiradhany W. A Novel iOS Data Donation Approach: Automatic Processing, Compliance, and Reactivity in a Longitudinal Study. Social Science Computer Review. 2023. Vol. 41. No. 4. P. 1456–1472. doi: 10.1177/08944393211071068
  8. Beuthner C., Weiss B., Silber H., Keusch F., et al. Consent to Data Linkage for Different Data Domains — the Role of Question Order, Question Wording, and Incentives. International Journal of Social Research Methodology. 2023. Vol. 27. No. 4. P. 1–14. doi: 10.1080/13645579.2023.2173847
  9. Boase J., Ling R. Measuring Mobile Phone Use: Self-Report Versus Log Data. Journal of Computer-Mediated Communication. 2013. Vol. 18. No. 4. P. 508–519. doi: 10.1111/jcc4.12021
  10. Cahalan D. Correlates of Respondent Accuracy in the Denver Validity Survey. Public Opinion Quarterly. 1968. Vol. 32. No. 4. P. 607–621. doi: 10.1086/267649
  11. Cannell C.F., Miller P.V., Oksenberg L. Research on Interviewing Techniques. Sociological Methodology. 1981. Vol. 12. P. 389–437. doi: 10.2307/270748
  12. Cohen A.A., Lemish D. Real Time and Recall Measures of Mobile Phone Use: Some Methodological Concerns and Empirical Applications. New Media & Society. 2003. Vol. 5. No. 2. P. 167–183. doi: 10.1177/1461444803005002002
  13. Del Boca F.K., Darkes J. The Validity of Self-Reports of Alcohol Consumption: State of the Science and Challenges for Research. Addiction. 2003. Vol. 98. P. 1–12. doi: 10.1046/j.1359-6357.2003.00586.x
  14. Deng T., Kanthawala S., Meng J., Peng W., et al. Measuring Smartphone Usage and Task Switching with Log Tracking and Self-reports. Mobile Media & Communication. 2019. Vol. 7. No. 1. P. 3–23. doi: 10.1177/2050157918761491
  15. Everitt B.S., Howell D.C. Encyclopedia of Statistics in Behavioral Science. Hoboken: John Wiley & Sons, 2021. 2368 p.
  16. Ezzati M., Martin H., Skjold S., Hoorn S.V., et al. Trends in National and State-Level Obesity in the USA after Correction for Self-Report Bias: Analysis of Health Surveys. Journal of the Royal Society of Medicine. 2006. Vol. 99. No. 5. P. 250–257. doi: 10.1177/014107680609900517
  17. Fitzgerald J.L., Mulford H.A. Self-report Validity Issues. Journal of Studies on Alcohol. 1987. Vol. 48. No. 3. P. 207–211. doi: 10.15288/jsa.1987.48.207
  18. Gower A.D., Moreno M.A. A Novel Approach to Evaluating Mobile Smartphone Screen Time for iPhones: Feasibility and Preliminary Findings. JMIR mHealth and uHealth. 2018. Vol. 6. No. 11. doi: 10.2196/11012
  19. Greenberg B.S., Eastin M.S., Skalski P., Cooper L., et al. Comparing Survey and Diary Measures of Internet and Traditional Media Use. Communication Reports. 2005. Vol. 18. No. 1–2. P. 1–8. doi: 10.1080/08934210500084164
  20. Haeffel G.J., Howard G.S. Self-Report: Psychology’s Four-Letter Word. The American Journal of Psychology. 2010. Vol. 123. No. 2. P. 181–188. doi: 10.5406/amerjpsyc.123.2.0181
  21. Hafferty J.D., Campbell A.I., Navrady L.B., Adams M.J., et al. Selfreported Medication Use Validated through Record Linkage to National Prescribing Data. Journal of Clinical Epidemiology. 2018. Vol. 94. P. 132–142. doi: 10.1016/j.jclinepi.2017.10.013
  22. Humphreys L. Cellphones in Public: Social Interactions in a Wireless Era. New Media & Society. 2005. Vol. 7. No. 6. P. 810–833. doi: 10.1177/1461444805058164
  23. Ignatow G. Sociological Theory in the Digital Age. 1st ed. N.-Y.: Routledge, 2020. 132 p.
  24. Keusch F., Struminskaya B., Antoun C., Couper M.P., et al. Willingness to Participate in Passive Mobile Data Collection. Public Opinion Quarterly. 2019. Vol. 83. Iss. 1. P. 210–235. doi: 10.1093/poq/nfz007
  25. Kobayashi T., Boase J. No Such Effect? The Implications of Measurement Error in Self-Report Measures of Mobile Communication Use. Communication Methods and Measures. 2012. Vol. 6. No. 2. P. 126–143. doi: 10.1080/19312458.2012.679243
  26. Kormos C., Gifford R. The Validity of Self-Report Measures of Proenvironmental Behavior: A Meta-Analytic Review. Journal of Environmental Psychology. 2014. Vol. 40. P. 359–371. doi: 10.1016/j.jenvp.2014.09.003
  27. Maxfield M.G., Weiler B.L., Widom C.S. Comparing Self-Reports and Official Records of Arrests. Journal of Quantitative Criminology. 2000. Vol. 16. No. 1. P. 87–110. doi: 10.1023/A:1007577512038
  28. Ohme J., Araujo T., de Vreese C.H., Piotrowski J.T. Mobile Data Donations: Assessing Self-Report Accuracy and Sample Biases with the iOS Screen Time Function. Mobile Media & Communication. 2021. Vol. 9. No. 2. P. 293–313. doi: 10.1177/2050157920959106
  29. Oulasvirta A., Rattenbury T., Ma L., Raita E. Habits Make Smartphone Use More Pervasive. Personal and Ubiquitous Computing. 2012. Vol. 16. No. 1. 105–114. doi: 10.1007/s00779-011-0412-2
  30. Parry H.J., Crossley H.M. Validity of Responses to Survey Questions. Public Opinion Quarterly. 1950. Vol. 14. No. 1. P. 61–80. doi: 10.1086/266150
  31. Paulhus D.L., Vazire S. The Self-Report Method. Handbook of Research Methods in Personality Psychology. Ed. by R.W. Robins, R.C. Fraley, R.F. Krueger. N.-Y.: Guilford Pres, 2007. P. 224–239.
  32. Peterson R.A., Kerin R.A. The Quality of Self-Report Data: Review and Synthesis. Annual Review of Marketing. Ed. by B.M. Emis, K.J. Roering. Chicago: American Marketing Association, 1981. P. 5–20.
  33. Prior M. The Immensely Inflated News Audience: Assessing Bias in SelfReported News Exposure. Public Opinion Quarterly. 2009. Vol. 73. No. 1. P. 130–143. doi: 10.1093/poq/nfp002
  34. Revilla M., Ochoa C., Loewe G. Using Passive Data from a Meter to Complement Survey Data in Order to Study Online Behavior. Social Science Computer Review. 2017. Vol. 35. No. 4. P. 521–536. doi: 10.1177/0894439316638457
  35. Scharkow M. The Accuracy of Self-Reported Internet Use — A Validation Study Using Client Log Data. Communication Methods and Measures. 2016. Vol. 10. No. 1. P. 13–27. doi: 10.1080/19312458.2015.1118446
  36. Schwarz N., Oyserman D. Asking Questions About Behavior: Cognition, Communication, and Questionnaire Construction. American Journal of Evaluation. 2001. Vol. 22. No. 2. P. 127–160. doi: 10.1177/109821400102200202
  37. Strack F., Martin L.L. Thinking, Judging, and Communicating: A Process Account of Context Effects in Attitude Surveys. Social Information Processing and Survey Methodology. Ed. by H.J. Hippler, N. Schwarz, S. Sudman. N.-Y.: Springer New York, 1987. P. 123–148. doi: 10.1007/978-1-4612-4798-2_7
  38. Struminskaya B., Keusch F. From Web Surveys to Mobile Web to Apps, Sensors, and Digital Traces. Survey Methods: Insights from the Field. Special Issue: “Advancements in Online and Mobile Survey Methods”. 2020. doi: 10.13094/SMIF-2020-00015. Accessed 10.11.2024. URL: https://surveyinsights.org/?p=15106&print=pdf
  39. Thorson K., Cotter K., Medeiros M., Pak C. Algorithmic Inference, Political Interest, and Exposure to News and Politics on Facebook. Information, Communication & Society. 2021. Vol. 24. No. 2. P. 183–200. doi: 10.1080/1369118X.2019.1642934
  40. Thrift N. Knowing Capitalism. London: Sage Publications, 2005. 256 p. doi: 10.4135/9781446211458
  41. Tourangeau R. Cognitive Processes Underlying Context Effects in Attitude Measurement. Psychological Bulletin. 1988. Vol. 103. No. 3. P. 299–314. doi: 10.1037/0033-2909.103.3.299
  42. Tourangeau R., Rips L.J., Rasinski K. The Psychology of Survey Response. Cambridge: Cambridge University Press, 2000. 401 p. DOI: 1017/CBO9780511819322
  43. Van Driel I.I., Giachanou A., Pouwels J.L., Boeschoten L., et al. Promises and Pitfalls of Social Media Data Donations. Communication Methods and Measures. 2022. Vol. 16. No. 4. P. 266–282. doi: 10.1080/19312458.2022.2109608
  44. Vanden Abeele M., Beullens K., Roe K. Measuring Mobile Phone Use: Gender, Age and Real Usage Level in Relation to the Accuracy and Validity of Self-Reported Mobile Phone Use. Mobile Media & Communication. 2013. Vol. 1. No. 2. P. 213–236. doi: 10.1177/2050157913477095
  45. Verbeij T., Pouwels J.L., Beyens I., Valkenburg P.M. Experience Sampling Self-Reports of Social Media Use Have Comparable Predictive Validity to Digital Trace Measures. Scientific Reports. 2022. Vol. 12. No. 1. doi: 10.1038/s41598-022-11510-3
  46. Weaver C.N., Swanson C.L. Validity of Reported Date of Birth, Salary, and Seniority. Public Opinion Quarterly. 1974. Vol. 38. No. 1. P. 69–80. doi: 10.1086/268135
  47. Wenz A., Keusch F., Bach R.L. Measuring Smartphone Use: Survey Versus Digital Behavioral Data. Social Science Computer Review. January 2024. P. 1–20. doi: 10.1177/08944393231224540
  48. Zaller J., Feldman S. A Simple Theory of the Survey Response: Answering Questions versus Revealing Preferences. American Journal of Political Science. 1992. Vol. 36. No. 3. P. 579–616. doi: 10.2307/2111583

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».