Quality of Sociological Research Results in the System of Basic Scientific Concepts and Categories

全文:

ВВЕДЕНИЕ

Проблема научного анализа качества результатов социологических исследований не является надуманной или малосущественной. Чем в большей мере социальная практика основывается на выводах и рекомендациях социологических исследований, тем более высокие научные требования предъявляются к их выводам и рекомендациям.Впрочем, подобный вывод можно обоснованно применить ко всем научным исследованиям. Почему?

Прежде всего потому, что научные выводы социологических исследований непосредственно обогащают социологическую науку, теоретический уровень научных обобщений. С другой стороны, получаемые в результате социологических исследований прикладные рекомендации являются основой для принятия управленческих решений в социальных системах любого уровня от простейших групп и организаций до общества в целом. Это, во-первых. Во-вторых, качество социологического исследования как обобщающая характеристика определяется множеством параметров, которые можно объединить в три последовательные составляющих: качество подготовки, качество процесса, качество результата. В конечном итоге всех (общество, заказчика, автора) интересует качество полученных результатов. Более того, не имея четкого и однозначного определения основных

критериев результативности социологического исследования, теряются ориентиры для оценки качества предыдущих этапов и процедур. Даже качественно подготовив исследование, можно получить не совсем качественные его результаты.

В-третьих, общеизвестно, что основной результат любого исследования непосредственно связан с достижением цели, с решением поставленных задач. Является ли факт достижения цели исчерпывающей характеристикой полученного результата? Очевидно, нет. Важным критерием становится качество этого целедостижения. При этом понятие «качество результатов исследования» не имеет строгого сущностного и содержательного определения особенно в социальных и гуманитарных науках, очень вариативно интерпретируется исследователями и заказчиками. Попытка подменить оценку качества результатов социологического исследования как сложной, многогранной, интегральной характеристики отдельными его составляющими, например, оценкой надежности измерения или репрезентативности выборки, приводит к фрагментарности и субъективизму в такой оценке.

Как следствие этого, зачастую основное внимание исследователи сосредоточивают на методических и процессуальных сторонах достижения соответствующего качества результатов социологического исследования. И это, в-четвертых.

Отсюда и столь усердные попытки стандартизировать средства и процедуры достижения результата. Однако очевидно, что стандартизировать результаты исследования, а тем более качество реализации цели и задач практически невозможно, скорее, крайне затруднительно. Стандартизировать можно методики, процедуры, техники, действия, процесс, но не степень и качество целедостиже-ния. Поэтому проблема оценки качества результатов как бы «переносится» на оценку качества процесса исследования.

Все вышесказанное актуализирует проблему сущностного определения качества результатов социологического исследования», осмысления его структуры и содержания в системе основных понятий и категорий.

ПРОБЛЕМА КАЧЕСТВА РЕЗУЛЬТАТОВ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ В НАУЧНОМ ДИСКУРСЕ

Следует признать, что проблема обоснования, оценки и обеспечения качества социологического исследования и, соответственно, качества результатов, относительно неравномерно осмысливалась и разрабатывалась за последние несколько десятилетий развития отечественного социологического знания. После снятия всех запретов и ограничений с социологии и социологических исследований в стране в 1980-е годы проблема научного обоснования и систематизации качества социологических исследований стала одной из самых обсуждаемых. Социологи 70-90-х годов прошлого столетия, как и нынешнего, надеюсь, помнят работы В. И. Воло-вич, Г. И. Саганенко, В. И. Паниотто, В. А. Ядова [Волович, 1974; Саганенко, 1983; Паниотто, 1986] и некоторых других. (А если забыли, то нет причин не напомнить.) Хочется отметить, что в них шла речь о качестве социологических исследований не просто среди прочих, а непосредственно и системно. Например, монография В. И. Паниотто так и называлась: «Качество социологической информации» [Паниотто 1986]. Показательно, что в книге исследовалась не только сама проблема качества, но и осуществлялся ее структурный и содержательный анализ, систематизация, обосновывались способы оценки и процедуры обеспечения.

Вынуждены отметить, что в последующем интерес к проблеме определения и оценки качества результатов социологических исследований несколько снизился. По нашему мнению, это связано не столько с тем, что проблема решена в социологии. Различные методические аспекты оценки качества активно исследовались

и исследуются сегодня многими учеными. Формат статьи позволяет назвать только некоторых из них: Г С. Батыгин, М. К. Горшков, И. Ф. Девятко, Г С. Осипов, Г. Г. Татарова, Ю. Н. Толстова и многие другие. Однако (акцентируем внимание на этом особенно) большинство работ посвящено методологическим, процессуальным оценкам качества используемых социологических методов и методик, а не оценке качества результатов социологических исследований. Что очень взаимосвязано, но не одно и тоже.

Нередко в профессиональной среде раздаются призывы к поиску кодекса, который, помимо прочего, включал бы основания оценки качества социологических исследований. В итоге такие призывы сводятся к необходимости стандартизации определенных процедур исследовательской деятельности [Епархина, 2022].

Следует отметить, что сегодня существует целый ряд документов, определяющих различные параметры качества социологических исследований. Среди них отечественные: Профессиональный кодекс социолога, Кодекс социолога РОС, Стандарты ОИРОМ, а также западные: Стандарты AAPOR, Кодекс ESOMAR1 и некоторые другие. Остается добавить, что наиболее продвинутой в оценке качества социологических исследований является подборка определений и диспозицион-ные коды, составленные в соответствии со стандартом AAPOR [Standard Definitions, 2011]. Стоит ли говорить, что это нередко ведет к пересечениям, противоречиям и несоответствиям отечественным требованиям и ГОСТам. Однако в контексте рассматриваемой проблемы основное противоречие видится не в этом. При всей обоснованности и очевидной практической полезности этих кодексов и стандартов, они касаются, главным образом, проблем оценки качества процедур отбора, сбора, отчасти анализа социологической информации и практически не затрагивают оценку качества результатов социологического исследования.

Понятно, что результаты социологического исследования напрямую зависят от его подготовки и особенно реализации. Смеем предположить, что именно поэтому процедурно-методические вопросы обеспечения качества социологических исследований получили такое широкое распространение. Однако некоторые характеристики оценки, например надежности измерения [Ядов, 2001], или ошибок и репрезентативности выборки [Чуриков,

1Аббревиатуры организаций, используемые в перечислении: РОС -Российское общество социологов, ОИРОМ - Объединение исследователей рынка и общественного мнения; ААPOR - Американская ассоциация исследователей общественного мнения; ESOMAR -Европейское общество по опросам общественного мнения и маркетинговым исследованиям.

2020], а особенно использования математико-ста-тистического аппарата для анализа социологической информации достаточно хорошо описаны в отечественной науке. Особое внимание в отечественном научном дискурсе в предыдущие годы уделялось проблеме оценки качества реализации различных методик сбора данных, особенно опросных, причем с использованием западных стандартов. «Белых пятен» в оценке качества результатов социологического исследования остается немало. К сказанному остается добавить, что новые методики получения первичных эмпирических данных, например, с использованием технологий CATI, CAPI, в onLine-исследованиях либо в digital-research и других, только добавляют неопределенности уже в сам понятийно-категориальный аппарат, не говоря уже о какой-либо его оценке.

СИСТЕМА ОСНОВНЫХ ПОНЯТИЙ, ОПИСЫВАЮЩИХ КАЧЕСТВО РЕЗУЛЬТАТОВ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ

Ставя перед собой задачу не только дать сущностные определения, описывающие качество результатов социологического исследования, но и показать их систему, а значит, и взаимосвязь, мы сознательно отступили от общепринятого методологического подхода - начать с анализа различных ошибок, которые искажают результаты и влияют на их качество.

Мы предлагаем путь структурно-содержательного определения, т. е. исходить из логики того, чем определяется сущность того или иного понятия, какие составные элементы описывают и определяют его структуру и содержание. Это, во-первых. Во-вторых, формат научной статьи не дает возможности исчерпывающе проанализировать существующие подходы к определению сущности и содержания каждого понятия и обосновать его авторское понимание. Используемые в системе понятия опираются на принятый в современном отечественном научном тезаурусе понятийно-категориальный аппарат, изложенный в отечественных социологических словарях, справочниках, монографиях, и развиваются в авторской интерпретации и дополнениях. В-третьих, для системного их представления предлагаем опираться на схему (см. рис. 1).

Начнем с понятия «качество», под которым понимают существенную определенность предмета. В прикладной интерпретации качество есть оценка достоинства, ценности. Следовательно, качество социологического исследования целесообразно рассматривать как обобщающую интегральную

характеристику, определяемую достоинствами реализации всех этапов исследовательского процесса, действий, методов, процедур, а также ценностью получаемых выводов и результатов. В самом общем представлении социологическое исследование можно разделить на процедуры, связанные с подготовкой, с реализацией, а также с получением результата. Все они влияют на качество социологического исследования. Поэтому качество подготовки социологического исследования выступает характеристикой всесторонней обоснованности и обеспеченности исследования, от которой зависит качество реализуемого процесса. Качество процесса социологического исследования можно описать характеристиками результативности и эффективности используемых методов и средств. Именно эти характеристики выводят исследование на оценку качества его результатов.

Качество результатов социологического исследования нами понимается как характеристика степени достижения цели и ценности полученных результатов, опосредованные важностью и достоверностью полученных выводов.

Степень достижения цели социологического исследования как базовая характеристика качества достигнутых результатов может быть описана в категориях «соответствия» результата поставленной цели. Это соответствие имеет степенную оценку, зачастую критериально неопределенную. Но даже при ее наличии степень целедостижения не является непосредственной характеристикой качества. Важно отметить, что в базовой характеристике качества результатов исследования выделяют «внутреннюю» и «внешнюю» составляющие. Это понимание тонко подметил В. И. Паниотто, определяя степень целедостижения в качестве «внутренней», а ценность результатов в качестве «внешней» характеристики. Ценность результатов в представлении автора можно понимать как важность (для общества, заказчика, автора) полученных результатов [Паниотто, 1986].

Характеристикой, опосредующей итоговое качество и, прежде всего, ценность результатов, выступает важность (теоретическая и прикладная) результатов социологического исследования, под которой понимают значимость полученных выводов для науки и практики. Теоретическая значимость результатов социологического исследования определяется вкладом в социологическую науку, возможностью использовать полученные в результате исследования знания для ее дальнейшего развития. Прикладная значимость результатов социологического исследования определяется возможностью использования полученных выводов и рекомендаций на практике. Их критериальной основой является актуальность и первоочередность.

Теоретическая значимость и практическая отдача, ценность, эффект от реализации полученных результатов могут быть убедительно определены при условии достоверности результатов социологического исследования, под которой понимается соответствие сделанных выводов действительности, по сути, адекватность полученного знания изучаемому объекту. Традиционно, если не общепринято, достоверность интерпретируется посредством характеристик надежности, обоснованности, истинности. Так, понятие «надежности» относятся к характеристике качества

эмпирической социологической информации. С другой стороны, используя понятие «истинности», мы имеем в виду корректность и обоснованность социологической теории вывода или качество теории вывода. Таким образом, «для наиболее общей характеристики качества методов перехода от эмпирических данных к теоретическим выводам используется понятие "истинности теории", а для наиболее общей характеристики качества эмпирических данных - надежность социологической информации» [Социология: Словарь-справочник, 1991, с. 114].

Под качеством теории вывода мы понимаем обоснованность теоретических конструктов, используемых для описания, анализа и интерпретации социологической информации, получаемой в ходе исследования. Обобщающей характеристикой качества социологической теории вывода является ее истинность, научные критерии которой можно коротко выразить следующими категориями: объективность, обоснованность, непротиворечивость, типичность (повторяемость, неуникальность), верифицированное^ и др. Эта истинность опосредована качеством интерпретации результатов анализа.

Для оценки качества эмпирической социологической информации можно использовать характеристику ее надежности как свойства данных быть точными, полными, непротиворечивыми, т. е. не содержать ошибок. Такой подход к оценке достоверности результатов исследования со времен цитируемых изданий считается классическим. За всё время своего существования он практически не подвергался ревизии. Однако дальнейшая научная экспликация выделяемых понятий остается очень вариативной, появляются новые понятия и описывающие их категории.

Обобщая различные научные подходы, можно сделать вывод, что базовой характеристикой, определяющей качество эмпирической социологической информации, является качество методики, под которой понимается организационно-процедурная правильность, корректность применения соответствующих приемов и способов. Именно качество методики обеспечивает, прежде всего, получение надежной информации без относительных ошибок. Нередко качество методики интерпретируется как надежность, по аналогии с качеством информации. Однако надежность есть оценка качества информации, а не качества методики. Качество методики имеет другую содержательную плоскость осмысления - правильность, корректность осуществления организационно-процедурных действий. В свою очередь, качество методики исследования и, соответственно, надежность социологической информации в целом определяются важными детерминантами, именуемыми «валидность» и «релевантность» методики.

Валидность методики (от vaLeo - быть в состоянии сделать что-то) есть «мера пригодности методики для решения определенных исследовательских задач, для того, чему она предназначена» [Социологическая энциклопедия, 2003, с. 129]. Нередко между понятиями «валидность» и «обоснованность» ставят знак равенства, связывая их в оценке соответствия между целью, для которой предназначен методический инструмент, и исследуемым материалом. Поэтому валидность (обоснованность) -скорее проблема методологическая. В научном тезаурусе закрепилось понимание трех видов ва-лидности, характеризующих способы валидизации,

определения валидности методик: по критерию, по содержанию, по конструкту.

В последнее время в научный оборот, и не только социологический, активно вошло понятие «релевантности» и, соответственно, «релевантности методики», определяющей качество социологической информации. Релевантность методики (англ. relevant - существенный, уместный) - это степень смысловой адекватности, содержательного соответствия получаемых с помощью методики данных исследовательской задаче. Например, получить с помощью корреляционного анализа ответ о причинно-следственных связях нерелевантно, как, впрочем, и по субъективным оценкам и мнениям определять поведенческие особенности респондентов. Некоторые между «релевантностью» и «ва-лидностью» ставят знак равенства, что, на наш взгляд, не очень корректно.

Структурно-содержательно качество методики социологического исследования описывается целым набором характеристик, которые, в свою очередь, раскрываются через соответствующие параметры качества. Ключевой характеристикой здесь традиционно выступает качество реализации выборочной методики (если исследование выборочное), а базовый параметр связан с понятием «репрезентативность». Под репрезентативностью понимается способность выборочной совокупности воспроизводить (представлять) параметры генеральной совокупности с определенной и контролируемой погрешностью. В социологических исследованиях при использовании случайных методов отбора ошибка выборки, а значит, и репрезентативность, может быть проконтролирована и оценена с определенной точностью и доверительной вероятностью. При построении неслучайной выборки речь, как правило, идет о целенаправленности, т. е. о качестве воспроизведения в выборочной совокупности значимых элементов структуры и возможности наиболее полно представить необходимые целевые группы.

Еще одной важной характеристикой качества методики исследования выступает качество измерения, для оценки которого общепринято используется понятие «надежности». Надежность измерения социальных характеристик определяет способность измерительных шкал и процедур обоснованно и устойчиво фиксировать точную и правильную информацию о социальных объектах и явлениях без соответствующих ошибок. Среди ее параметров: обоснованность как характеристика того, что с ее помощью целенаправленно измеряют вполне определенное свойство или признак, не смешивая его с другими; устойчивость как характеристика однозначности информации, которая извлекается с помощью данной процедуры; точность и правильность измерения как достаточная чувствительность шкалы, дающая точное устойчивое измерение без систематических погрешностей [Саганенко, 1983; Ядов, 2001].

Не менее важной характеристикой качества методики является адекватность методов анализа данных, под которой следует понимать степень соответствия аналитической модели, предполагаемой методом, характеру изучаемого с его помощью социального явления, процесса. Эта характеристика относится как к формализованным моделям анализа (особенно), так и к неформализованным, содержательным.

Очень редко рассматривают в качестве характеристики качества реализуемой методики приемы и способы интерпретации результатов анализа данных социологического исследования, а правильнее, качество реализуемых интерпретационных процедур. Под качеством интерпретации результатов анализа эмпирических данных социологического исследования мы понимаем глубину и истинность процесса содержательного истолкования результатов анализа, описания и объяснения различных данных, полученных в ходе сбора и анализа эмпирической информации. Это качество напрямую определяет истинность теории вывода.

ЗАКЛЮЧЕНИЕ

Представленная система основных понятий качества результатов социологического исследования позволяет увидеть анализируемую характеристику в логической взаимосвязи всех базовых ее понятий и элементов, описать и понять ее содержательно и структурно целостно. Что само по себе важно в научно-теоретическом плане. Надеемся, что это только основные понятия, которые будут далее структурироваться и углубляться в осмыслении. Это, во-первых.

Во-вторых, наибольший эффект мы видим в научно-практическом использовании этой системы и отдельных сущностных определений в оценке качества конкретных научных социологических проектов, реализуемых не только начинающими исследователями, но опытными практикующими учеными. В-третьих, мы убеждены, что разговор о таких важных понятиях, непосредственно связанных с оценкой качества результатов социологического исследования, не закончен.

Эта статья может стать дополнительным триггером профессиональной дискуссии вокруг оценки качества результатов исследовательской работы не только для социологов, но и для ученых и практиков других научных направлений.

作者简介

Vyacheslav Primakov

编辑信件的主要联系方式.
Email: vprim2007@yandex.ru

Doctor of Sociology (Dr. habil.), Professor

Professor at the Department of Sociology of the Institute for International Relations and Social and Political Sciences Moscow State Linguistic University

参考

补充文件