Эксперимент в исследовании социально-экономических процессов

Многократно повторяющиеся опросы одних и тех же респондентов проводились П. Лазарсфельдом, Б. Берельсоном и У. Макфи в 1948 г. В этот раз панель велась в городке Эльмира неподалеку от границы, отделяющей штаты Нью-Йорк и Пенсильвания. Панель включала уже тысячу человек, а опросы проводились с июня по ноябрь 1948 г.6 .

При работе с панелью особую трудность представляет сохранение состава группы. Как правило, панель комплектуется из респондентов, проявивших заинтересованность в опросе. Это само по себе несет угрозу внутренней и внешней валидности, а с течением времени у многих респондентов первоначальный энтузиазм сменяется разочарованием. Отсев панели распределяется не равновероятно. Более высо­кие шансы на продолжение сотрудничества имеют те, кто хочет участвовать в массовом опросе. Что касается естественного отсева, обусловленного переменой места жительства, то и здесь содержится угроза валидности вывода. Данный фактор риска затрагивает преиму­щественно респондентов молодого возраста. Наконец, само панельное обследование обладает некоторым реактивным эффектом.

Результаты Лазарсфельда и соавторов не следует распространять на широкий круг переменных. Ясно, что респонденты, знающие, что находятся под наблюдением, могут значительно отличаться от «нор­мальных» людей. В «острых» вопросах, затрагивающих, например, криминогенные обстоятельства, панель обретает мощный «воспита­тельный» потенциал. Статистические органы России и других стран постоянно ведут наблюдения за бюджетом одних и тех же семей с целью учета динамики благосостояния. Даже если в этих семьях и не опасаются сообщать о своих доходах, сам факт тщательной регистра­ции доходов и расходов отличает бюджетную панель от генеральной совокупности. Внешняя валидность данных становится сомнитель­ной. Да и в обычных случаях панель создает повышенный риск. Скажем, респонденты могут демонстрировать устойчивые оценки и мнения, хотя на самом деле они думают совсем иначе — кому хочется показаться неверным своему слову? Все эти аргументы не означают методической слабости панельных опросов. Данные панелей оце­ниваются исключительно высоко.

В отличие от панели в трендовом квазиэкспериментальном плане формируются эквивалентные выборки, имеющие различающийся состав респондентов. Единственное требование к ним — репрезента­тивность относительно одной и той же генеральной совокупности. Трендовые обследования часто проводятся статистическими органами и службами общественного мнения. Если влияние экспериментальной переменной не контролируется, задача сводится к совокупности последовательных опросов по плану «исследования случая». Но если требуется проверить гипотезу о взаимосвязи, необходимо учитывать почти все факторы риска, за исключением отсева группы.

Трендовые наблюдения относятся к типу «естественных экс­периментов», и независимая переменная выбирается в качестве критерия выделения подмассивов. Например, можно выделить людей с высшим образованием и показать, что процент разводов в этой группе на протяжении длительного времени остается более высоким, чем в группе лиц со средним образованием. Однако связь этих переменных не контролируется и, следовательно, сомнительна с точки зрения внутренней валидности. С другой стороны, соотношение между образованием и вероятностью развода обладает высокой внешней валидностью.

Вообще социологические исследования оставляют желать лучшего с точки зрения внутренней валидности, зато их результаты могут быть распространены на обширный класс событий. Правда, остается неяс­ным, стоит ли обобщать столь сомнительные зависимости, которые устанавливаются в квазиэкспериментальных планах. «Чистые» лабора­торные эксперименты характеризуются высокой внутренней валид­ностью, а их внешняя валидность не поддается оцениванию. В равной степени сомнительны выводы, высокая валидность которых ограни­чена трудновоспроизводимыми лабораторными условиями. В таких случаях вступает в дело атеоретичный критерий оригинальности и правдоподобия вывода.

В середине 1950-х гг. Соломон Аш изучал условия, при которых индивид принимает либо отвергает групповое давление, когда оно противоречит фактам. Группа из шести—девяти человек (мужчины, студенты колледжа, 17 — 25 лет) получала задание на проверку визуального распознавания длины нарисованных на карточках отрез­ков. Такова была «легенда» эксперимента. Предъявлялась карточка с изображением отрезка прямой линии — стандарт, который надо было сравнить с тремя другими отрезками разной длины. Один из них был равен стандарту, два другие — отличались. Производилось 18 проб, в которых испытуемые открыто высказывали оценки длины отрезков. Говорили по очереди. Один из них — объект реального эксперимен­тирования — всегда отвечал последним или предпоследним и испы­тывал давление групповой оценки — изначально ложной. Таким образом, создавалась ситуация конфликта между группой и индиви­дом. В итоге было установлено, что групповая заведомо ложная позиция снижает число правильных ответов до 50 — 70% .

Трудно представить, чтобы в «реальном мире» происходил кон­фликт по поводу длины нарисованных на бумаге отрезков. Однако в данном случае действует умозаключение по аналогии: если в очевид­ных случаях каждый третий принимает заведомо ложную групповую позицию, то какова мера конформизма в идеологии, морали, право­судии и других неочевидных, но значимых вопросах?

План с эквивалентными выборками заключается в изучении преце­дентов, когда применяется экспериментальная переменная, и сравнении их с ситуациями, когда она не применяется. Например, В. Керр изучал таким образом влияние музыки на производительность труда: он сравнил 56 «музыкальных» рабочих дней с 51 днем «немузыкаль­ным». Факторы риска, снижающие внутреннюю валидность, особенно реактивный эффект, присущи этому квазиэкспериментальному пла­ну в полной мере. Вполне возможно, что в «музыкальные» дни работники старались проявить себя с лучшей стороны.

Экспериментирование на одном объекте с предварительным и итоговым замерами. План данного эксперимента заключается в осуществлении замера до применения экспериментальной пере­менной х и после этого. Полученное различие, как предполагается, — следствие x.

Часто такой вывод воспринимается как вполне правдоподобный, если известно, что за время между предварительным и итоговым замерами ничего существенного не произошло. В данном случае речь идет о влиянии на внутреннюю валидность факторов исторического фона, естественного развития («матурации») и особенно эффекта тестирования. Исследования показывают, что при тестировании интеллекта и контрольных проверках знаний результаты итогового замера выше, чем результаты предварительного. При исследовании предрассудков предъявление суждений, выражающих враждебность, изменяет установки испытуемых в сторону большей враждебности.

Значительные искажения в эксперимент такого типа вносит реактивность респондентов. Результат наблюдения часто возникает под влиянием самого исследования. Журналисты хорошо знают, что интервью с записью на диктофон значительно отличается от нормаль­ного разговора. Появление интервьюера с бланком опроса на сельской улице приводит население в состояние тревоги. Рецепт здесь прост:

наблюдение должно иметь по возможности характер пассивной регистрации.

Сравнение нерандомизированных экспериментальной и контрольной групп. В соответствии со схемой Милля предполагается, что при прочих равных условиях группа, испытавшая воздействие переменной х, обнаружит определенный признак О1, а группа, не испытавшая такого воздействия, обнаружит признак О2. Отсюда следует, что х есть причина.

Данный квазиэкспериментальный план представлен, например, в сравнении обществ, имеющих рыночную экономику, с обществами централизованного планирования. Первые обладают более высоким благосостоянием, которое рассматривается как следствие рыночной конкуренции. На самом деле различия в благосостоянии обществ могут быть объяснены и без экспериментальной переменной. Сла­бость рассматриваемой схемы заключается в отсутствии контроля за идентичностью групп.

Экспериментальный план с предварительным и итоговым замерами и контрольной группой. Сравнение результатов наблюдения за объек­тами до и после эксперимента становится контролируемым при условии выравнивания или рандомизации групп (R).

Из всех факторов риска здесь наибольшее значение имеют исторический фон, естественная внутригрупповая история объекта и отсев испытуемых (если эксперимент достаточно длительный). Мно­гие тщательно разработанные эксперименты подобного рода плохо воспроизводятся. Это наводит на мысль, что в их «истории» имели место какие-то специфические события, повлиявшие на различия между предварительным и итоговым замерами. Рекомендуется рандомизировать отдельные сеансы эксперимента с учетом личности экспериментатора, времени суток, дня недели, начала и конца семестра и т. п. Что касается отсева, то этому фактору риска больше подвержена контрольная группа, с которой не ведется эксперимен­тальная работа, например, учащиеся не посещают уроки совместного чтения. В таких случаях для лабораторных экспериментов рекомен­дуется плацебо-эффект, хотя признается, что он дает результаты не хуже, чем настоящее экспериментальное воздействие.

Эксперимент Р. Соломона для четырех групп. Модификация эксперимента с предварительным и итоговым замерами и конт­рольной группой была осуществлена путем формирования четырех рандомизированных групп.

В первой группе производится предварительный замер, затем вводится экспериментальная переменная, после чего осуществляется итоговое наблюдение. Во второй группе делается то же самое, но без экспериментального фактора. В третьей группе предварительного наблюдения вообще не производится, а сразу за экспериментальным фактором следует итоговое наблюдение. Четвертая группа на протя­жении всего эксперимента остается неприкосновенной, за исключе­нием проведения итогового наблюдения. Таким образом возможности контроля внутренней валидности значительно расширяются.

Причинная связь высоковероятна при условиях, что итоговое наблюдение будет существенно отличаться от предварительного после применения экспериментальной переменной (первая группа); что итоговое наблюдение после применения экспериментальной перемен­ной с предварительным наблюдением будет существенно отличаться от итогового наблюдения без применения экспериментальной пере­менной (вторая группа); что итоговое наблюдение после применения экспериментальной переменной без предварительного наблюдения (третья группа) будет существенно отличаться от итогового наблюде­ния в «неприкосновенной» четвертой группе; что итоговое наблюде­ние после применения экспериментальной переменной без предвари­тельного наблюдения (пятая группа) будет существенно отличаться от предварительного наблюдения в третьей группе.

Имеются и иные возможности контроля. Сравнение предва­рительных замеров в первой и второй группах должно показать их идентичность, иначе не обеспечивается условие рандомизации. Раз­личие между итоговым замером в первой группе, где производился предварительный замер, и итоговым замером в третьей группе, где итогового замера не было, свидетельствует о реактивном эффекте, угрожающем внутренней валидности.

Во второй и четвертой группах одинаково отсутствует экспе­риментальное воздействие, в то время как во второй группе про­изводилось предварительное наблюдение, а в четвертой нет. Поэтому различие между итоговыми наблюдениями также может означать реактивный эффект, т. е. воздействие на итоговый замер замера предварительного.

Экспериментальный план с контрольной группой без предвари­тельного замера. Если распределение экспериментальной и конт­рольной групп проведено без предварительного замера и группы хорошо рандомизированы, достаточно итогового замера, чтобы уве­ренно судить о влиянии независимой переменной на зависимую.

Схема данного плана напоминает сравнение нерандомизированных групп, однако обеспечивает значительно большие возможности кон­троля внутренней валидности. В отличие от плана Соломона она применяется в тех случаях, когда предварительное тестирование невозможно или нежелательно по причине реактивного эффекта. Предположим, в исследовании проверяется влияние расистских идей, пропагандируемых органами массовой информации, на националис­тические предрассудки. Отобраны две группы реципиентов. Одной продемонстрирована расистская радиопередача, а другой — нет. Затем проводится тестирование, и различия в величине индекса будут свидетельствовать о влиянии передачи на установки испытуемых. Предварительное тестирование изменило бы установки тех, кто не слушал расистскую радиопередачу.

Перекрестный квазиэкспериментальный план предусматривает при­менение экспериментальных воздействий одновременно ко всем группам испытуемых в случайном или квазислучайном порядке.

Результаты экспериментальных серий по каждой группе сумми­руются и сравниваются друг с другом. Можно также сопоставлять суммарные измерения по каждой серии отдельно. Подобная схема избавлена от существенных нарушений внутренней валидности, свя­занных с влиянием группы и порядком применения эксперименталь­ной переменной. Чем больше групп, тем выше надежность измерений. Обычно такого рода квазиэкспериментальные планы применяются в случаях, когда осуществляется работа с естественными нерандомизи­рованными группами (например, воинскими подразделениями, сту­денческими группами, бригадами).

В социологических исследованиях используется экспериментальный план с предварительным и итоговым замерами. Рандомизация здесь осуществляется ориентировочно, путем выделения эквивалентных групп.

Одна группа проходит предварительный замер, другая — итого­вый. Различия между результатами могут быть невалидными вслед­ствие влияния фоновых признаков. Обычно этот недостаток компен­сируется повторением эксперимента. Более серьезную опасность представляет влияние инструмента, в частности «эффект интервьюе­ра». Использовать в массовых опросах эквивалентные случайные выборки вряд ли возможно, хотя это решило бы проблему влияния интервьюера. В длительных экспериментальных наблюдениях состав респондентов обычно меняется. Поскольку исследования такого рода проводятся на больших «естественных» массивах, их внешняя валидность выше, чем в «чистых» лабораторных экспериментах.

Квазиэкспериментальный план с временной серией и контрольной группой пригоден при интерпретации реформ как экспериментальной переменной.

Если в учреждении или сообществе проводятся реформы, то в качестве контрольной группы надо найти аналогичные учреждение или сообщество. Разумеется, такая возможность случается очень редко. Экспериментаторы предпочитают иметь дело со школьными и студенческими группами. Внутренняя валидность эксперимента обес­печивается временными рядами, а внешняя — репрезентативностью обследованных «гнезд».

V.Примеры экспериментов:

1. Пример реактивного эффекта: эксперимент Э. Мэйо, Ф. Ретлисбергера и У. Диксона в Хоугорне

Исследования на заводе электрооборудования «Вестерн электрик компани» в Хоуторне — чикагском пригороде — проводились для того, чтобы установить воздействие производственного освещения на производительность труда рабочих. В 1924 г. администрация завода распорядилась усилить освещение рабочих мест, но прямой связи между освещением и производительностью труда выявлено не было. Оставалось неясным, какова производительность труда при всех одинаковых условиях, кроме освещения. Процедура эксперимента усложнилась: рабочих разделили на группы с примерно равной профессиональной подготовкой. В одной группе сохранялось посто­янное освещение, в другой параметры освещения изменялись. Ито­говые замеры показали, что производительность труда растет не только в экспериментальной, но и в контрольной группах. Не имея возможности объяснить данный эффект, экспериментаторы предполо­жили, что недостаточно точно контролируют интенсивность освеще­ния, и попробовали устранить влияние дневного света. Но и в этом случае производительность труда продолжала расти в обеих группах. Тогда был придуман весьма неординарный прием: исследователи имитировали повышение интенсивности освещения у двух девушек-работниц, в то время как мощность ламп осталась прежней. Просто электрик произвел их замену на точно такие же. Девушки очень обрадовались улучшению освещения и стали работать еще лучше. Так был открыт плацебо-эффект. Продуктивность работы не снижалась даже тогда, когда освещенность рабочего места снижалась. Все эти факты привели хоуторнских экспериментаторов к выводу, что осве­щенность является не первостепенным фактором, влияющим на продуктивность работы. Поэтому была поставлена задача контролировать другие переменные, влияющие на поведение испытуемых. Было решено локализовать эксперимент на малой группе работниц. На этом этапе в эксперимент включился факультет индустриальных исследований Гарвардского университета, и проект возглавили Фре­дерик Ретлисбергер, Элтон Мэйо и Уильям Диксон. Первые двое были из Гарварда, а Диксон руководил научно-исследовательским отделом в «Вестерн электрик компанию», занимавшимся взаимоотношениями служащих и рабочих фирмы. Опубликованная Ретлисбергером и Диксоном монография положила начало промышленной социо­логии7 .

Исследователи решили изолировать объект от внешних воз­действий и организовали экспериментальные работы в специальном помещении, где автоматически фиксировался темп сборки телефон­ных реле в меняющихся условиях. В частности, проверялось влияние на производительность труда продолжительности периодов работы и отдыха. Обнаружилось, что выработка на протяжении двух лет эксперимента возросла. Предлагались следующие объяснения этого эффекта: 1) улучшились материальные условия труда; 2) снизилась утомляемость вследствие создания более комфортабельной обстанов­ки в комнате отдыха; 3) работа стала менее монотонной; 4) повысились стимулы для заработка; 5) на производительность труда повлияли социальные факторы. Итог усилий экспериментаторов был достаточ­но неожиданным: на производительность труда оказывает влияние не столько «физическая» производственная среда, сколько установка рабочих. Появилась новая экспериментальная переменная — «челове­ческая ситуация», сопровождающая воздействие объективных факто­ров на производственное поведение. Э. Мэйо и его сотрудники провели интервьюирование работниц и выяснили «фиксированный уровень» производительности — групповую норму, нарушать которую не принято. Феномен группового воздействия на поведение индивида был разработан хоуторнскими экспериментаторами под влиянием чикагского антрополога Ллойда Уорнера. Уорнер посоветовал срав­нить формальную организацию труда и неофициальную, неформаль­ную структуру взаимодействия между работниками. Открытие хоуторнских исследователей заключалось в том, что сам процесс экспериментирования выступает в качестве значимой переменной и формирует групповые нормы деятельности. Впоследствии эффекты, аналогичные хоуторнскому, были установлены практически во всех областях социологических и психологических измерений. Об одной версии такого эффекта рассказывал в своих воспоминаниях П. Лазарсфельд. В конце 20-х гг. он работал в лаборатории прикладных исследований Венского университета и выполнял заказ по изучению сбыта одежды. В один прекрасный день в университет явился представитель фирмы и объявил, что получены потрясающие резуль­таты: объем сбыта резко возрос. Лазарсфельд не мог понять, в чем дело, поскольку исследование не было завершено и отчет о результатах не был подготовлен. Ситуация оказалась проще, чем он предполагал. Зная о том, что отдел оказался в центре внимания исследователей, его служащие активизировались и сумели получить неплохие результаты. Причина заключалась в том, что норма, неформально принятая группой в качестве стандарта, была повышена. Суть реактивного эффекта можно сформулировать следующим образом: контроль переменных в «человеческой ситуации» вводит в данную ситуацию новую, незапланированную переменную.

2. Эксперимент по формированию групповых норм Музафера Шерифа.

Исследование, проведенное в психологической лаборатории Ко­лумбийского университета М. Шерифом в 1935 г., развивало хоуторнскую программу, в частности, возобладавшую к тому времени антибихевиористскую идею спонтанности действия. Эта идея демон­стрируется экспериментатором просто и элегантно. Вопрос ставится следующим образом: как возникают нормы группового взаимодейст­вия при отсутствии внешних побудительных импульсов? Иными словами, что будет делать человек, попавший в объективно нестабиль­ную ситуацию, где отсутствуют какие бы то ни было ориентиры во внешнем поле действия? Если же в такую ситуацию попадает группа, то как влияет групповое взаимодействие на поведение индивида? Опираясь на концепцию гештальта, Шериф нашел способ поставить испытуемых в неструктурированную ситуацию и наблюдать за про­цессом формирования норм в процессе их совместной деятельности.


10-09-2015, 15:52