Валидность психологического эксперимента

К основным характеристикам психологического эксперимента относится его валидность. Начнем обсуждение понятия валидности применительно к психологическим измерениям.

На чем основывается уверенность ученых в оценке таких вещей, как время реакции, интеллект, восприятие людьми социальной поддержки и т.п.? Чтобы ответить на этот вопрос, необходимо обсудить два ключевых фактора: надежность и валидность измерений.

Измерение считаются надежным, если его результат повторяется при повторных измерениях. Хороший пример надежного измерения – измерение времени реакции: человек при первой попытке реагирующий на сигнал через 0.18 сек, в следующих попытках обычно дает результаты, близкие к этому, и условно истинным мы считаем среднее из получившихся близких значений.

Надежность – это функция от количества ошибок измерения. Ошибки есть всегда, и зависят они, в частности, от качества измерительного инструмента: чем более изменчивы результаты от измерения к измерению, тем менее надежен инструмент. Например, резиновая линейка будет явно менее надежным инструментом, чем стальная, поскольку по понятным причинам измерения с ее помощью будут давать большой разброс.

Уверенность в надежности измерений в большинстве случаев вырабатывается со временем в результате их повторения, формальное же вычисление надежности обычно применяется к тестам на стадии их стандартизации.

Измерение психологических характеристик считается валидным, если измерили именно то, что собирались. Тест на интеллект должен измерять интеллект, а не что-то другое. И если, тестируя интеллект, нам предлагают рассуждать и решать задачи, то это представляется разумным, а про тест говорят, что он имеет очевидную валидность. Однако обладание только очевидной валидностью – удел развлекательных тестов. Научные тесты помимо очевидной должны иметь еще критериальную валидность. Так тест на интеллект будет критериально валидным, если на его основе: а) можно предсказывать успеваемость и б) если его результаты сходны (коррелируют) с результатами других известных интеллектуальных тестов.

Еще один вид валидности научных инструментов, особенно важных для экспериментальных исследований – конструктная валидность. Аппарат психологии насыщен конструктами – переменными, которые невозможно наблюдать непосредственно (интеллект, тревожность, статус, объем памяти и т.п.). Наличие таких гипотетических конструктов может быть выведено только из специально проведенных измерений. Исследование, в котором определенным образом проводится измерение конструкта, и которое дает ранее предсказанные результаты, подтверждает и сам конструкт, и инструмент, использованный для его измерения.

Существуют и другие виды валидности, важнейшие из которых мы рассмотрим, а пока отметим важную вещь: измерение будет иметь ценность для исследования, если оно обладает одновременно и надежностью, и валидностью. При этом надежные измерения могут не быть валидными, валидные же должны быть надежными. Пример. Известно, что измерения френологов обладали высокой надежностью: например, расстояние между какими-то двумя точками черепа мало менялось от измерения к измерению. Но если утверждается, что на основании таких измерений определяется «деструктивная» способность человека, то мы имеем основания сомневаться в валидности такого утверждения: оно не кажется разумным (очевидная валидность), на его основании невозможно предсказать проявления агрессивноти (критериальная валидность), оно не согласуется с другими исследованиями конструктов, связанных с деструктивностью, например, импульсивности (конструктная валидность).

Валидными могут быть не только измерения психологических конструктов. В более общем смысле валидность характеризует исследование целиком и означает правильность проведения эксперимента: исследование считается валидным, если оно дает такое объяснение поведения, которое, как предполагалось, оно должно давать.

Проблему валидности удобно обсудить, используя прием Готтсданкера, который предложил рассматривать реально проводимые эксперименты через призму некоего мысленного образца - безупречногоэксперимента.

Существует три вида безупречного эксперимента: идеальный, бесконечный и эксперимент по иного соответствия

Идеальнымэксперимент был бы тогда, когда в нем удалось бы остановить физическое время. Выполнение этого условия означает, что I) ни испытуемые, ни условия не изменяются (то есть обеспечивается главное — неизменность всех побочных факторов), изменение допускается только для НП и 2) одному и тому же испытуемому в одно и то же время можно предъявлять разные УСЛОВИЯ независимой переменной (так ткачиха должна была бы работать в наушниках и без них в одно и то же время, студент заучивал бы пьесу одновременно целостным и частичным методами - примеры Готтсданкера)

Бесконечный, т. е. постоянно продолжающийся, эксперимент. Нужен, чтобы накопить достаточно большое количество данных, чтобы их усреднить и получить надежный результат (усреднить и колебания собственных оценок).

Эксперимент полного соответствия(ЭПС) - это точное воспроизведение реальной ситуации, то есть выводы эксперимента будут распространяться на точно такую же ситуацию, как и ситуация эксперимента (если студент Готтсданкера хочет выяснить способ более эффективного заучивания сонат, то экспериментировать он должен с сонатами, а не с более простыми для заучивания вальсами).

Понятно, что безупречный эксперимент – как и все безупречное нереален: идеальный является невозможным, эксперимент полного соответствия - бессмысленным (хотя и возможным), бесконечный – тем и другим. Зачем же нужно это понятие? Значение идеи безупречного эксперимента состоит в том, что он дает образец для оценки реальных экспериментов и точного определения их недостатков.

В любом реальном эксперименте мы должны стремиться к тому, чтобы получить результаты как можно более близкие к результатам безупречногоэксперимента. Чем ближе реальный эксперимент к безупречному, то есть безошибочному по плану и по процедурам, тем более он валиден.

Валидность– центральное понятие экспериментальной психологи и словаря экспериментатора. Различают несколько видоввалидности, среди которых важнейшими являются внутренняя и внешняя.

Внутренняявалидность. Высокая внутренняя валидность эксперимента означает, что в нем можно получить то же отношение между независимой и зависимой переменными, что и в идеальном или бесконечном экспериментах. То есть внутренняя валидность – мера влияния НП на ЗП. Иными словами, внутренняя валидность тем выше, чем больше вероятность того, что экспериментальный эффект (изменение ЗП) вызван изменением НП. Т. е. речь идет об устранении побочных влияний: чем больше влияют на зависимую переменную неконтролируемые нами условия, тем ниже внутренняя валидность эксперимента, тем, следовательно, больше вероятность того, что факты, обнаруженные в эксперименте, являются артефактами.

Внутренне невалилный эксперимент не позволяет убедиться в достоверности найденного отношения НП и ЗП Так мы не вправе считать результат эксперимента достоверным, если нам не ясно, почему ткачиха работала лучше: потому что носила наушники, или из-за хорошей погоды.

Если же эксперимент позволяет получить те же результаты, что и эксперимент полного соответствия, то есть полностью воспроизвести внешнюю реальность, то говорят, что он обладает внешнейвалидностыо.Характеристикой внешней валидности и является мера соответствия экспериментальной процедуры – реальности. Эксперимент, не обладающий внешней валидностьто, является неадекватным, т.е. не соответствующим проверяемой гипотезе (но он может сгодиться для проверки другой гипотезы). Так неадекватным будет разучивание легких вальсов вместо трудных сонат Но этот же эксперимент окажется нормальным, если целью будет поиск наиболее эффективного метода заучивания вальсов.

Термин «внешний» относится к определениютематики проводимого эксперимента: чему именно он посвящен (методу заучиванию сонат, вальсов или методу заучивания вообще. Отсюда эксперимент с заучиванием вальсов не обладает внешней валидностыо для определения эффективности метода заучивания вообще – результат нельзя обобщать на другие виды заучиваемого материала)

Резюмируем сказанное: 1) от внутренней валидности зависит достоверность экспериментальных результатов, от внешней – переносимость результатов из экспериментальных (в частности, лабораторных) условий на реальные процессы и обобщение их на другие сферы реальности (которым соответствуют экспериментальные переменные).

Однако, заметим, что так понимаемая внешняя валидность имеет особое значение лишь для эмпирических психологических исследований. Ведь в принципе возможны такие эксперименты, которые не соответствуют никаким реальным жизненным ситуациям, а служат лишь для проверки гипотез с «переднего края науки»: эксперименты по сенсорной депривации_л выработке классических условных рефлексов, дихотическому прослушиванию. Именно поэтому о внешней валидности эксперимента особо заботятся прикладники: клинические, педагогические и организационные психологии, поскольку для решения своих повседневных задач им приходится прибегать к постановке экспериментов, имитирующих реальность (дублирующих реальный мир, по Готгсданкеру). По сути, историческая дискуссия сторонников лабораторного эксперимента и «естественного эксперимента» была отражением разного методического подхода специалистов, занимавшихся фундаментальной или прикладной психологией.

Отсюда следует, что критерием классификации экспериментов на естественные (проводимые в «полевых» условиях) и лабораторные является соответствие НП либо реальным условиям жизни (Ест.Э), либо теоретическим понятиям, раскрываемым через операционализацию этих понятий (Лаб.Э).

Чтобы провести лабораторный эксперимент, нужно «очистить» его условия так, чтобы можно было изменять единичные НП.

Истинных лабораторных экспериментов существует немного, поскольку существует немного теоретических гипотез, для проверки которых удается четко операционализировать в конкретных методических процедурах теоретический конструкт с «переднего края науки». Примером такого конструкта является понятие о функциональной асимметрии мозга, операционализированное с помощью методики дихотического прослушивания Эта методика позволяет осуществить одновременное моноуральное восприятие двух сообщений, каждое из которых попадает в слуховой центр соответствующего полушария Такого не бывает в реальной жизни, где слуховое восприятие биноуралъно, т.е. каждое сообщение всегда попадает в оба уха, а значит и в оба слуховых центра Искусственно созданная ситуация дихотического прослушивания нужна для того, чтобы проверить гипотезу о разных способах переработки информации человеком, т.е. предполагает перенос результата на мир теории

Основная же масса экспериментов, осуществляемых в лаборатории – это так называемые искусственные эксперименты или, по Готтсданкеру, эксперименты, улучшающие реальный мир. От истинного лабораторного они отличаются тем, что перенос результата, полученного в лаборатории, осуществляется на реальную жизнь. Искусственные эксперименты планируются тогда, когда соответствующий естественный (дублирующий реальность) эксперимент не обеспечивает достаточной внутреннейвалидности (т.е. в нем невозможно защитить ЗП от влияния побочных факторов).

В искусственных экспериментах удается избежать систематических смешений, искусственно стабилизируя побочные факторы (в эксперименте с ночными посадками самолетов стабилизировались, т.е. делались одинаковыми, такие факторы как внешний вид аэродрома и города, условия видимости и т. п., с тем, чтобы быть уверенными, что различие в траектории посадки объясняется лишь изменением наклона поверхности). Различается и форма проведения лабораторного и искусственного эксперимента: последний проводится с помощью тренажеров, игровых ситуаций и проч. так, чтобы очищение условий не влияло на изучаемые процессы-аналоги тех, что имеют место в реальных ситуациях.

Выше мы говорили, что эксперимент, который не имеет внешней валидности, считается неадекватным, неверным. Теперь мы можем уточнить, что это справедливо только в том случае, если источником гипотезы является реальность, обыденное знание, а не теория. Если же источник гипотезы чисто теоретический, то эксперимент может не соответствовать никакой реальности, обладая при этом высокой внутренней и операциональной валидностью. Другое дело, что прямой перенос его результатов в реальность невозможен (без учета влияния на зависимую переменную дополнительных переменных).

Вспомним еще раз, что искусственные эксперименты нужны для того, чтобы обеспечить внутреннюю валидность. Но повышая внутреннюю валидность за счет «улучшения» реальности, мы, в принципе, рискуем потерять внешнюю валидность, ибо «улучшенный» мир эксперимента может стать неадекватным этой реальности. Отсюда возникает требование искать оптимальный способ улучшения реального мира, то есть искать баланс между внешней и внутренней валидностью.

Внутренняя и внешняя валидности – важнейшие, но не единственные показатели правильности организации эксперимента. Рассмотрим еще два вида валидности.

Операциональная валидностьопределяется как степень соответствия применяемых методик тем теоретическим понятиям, которые входят в экспериментальную гипотезу. Дело в том, что гипотеза, которую мы хотим проверить, формулируется, как правило, в довольно общих и абстрактных понятиях, и эти понятия должны быть адекватно переведены на язык конкретного эксперимента. Если такой перевод сомнителен, то говорят о слабой операциональной валидности эксперимента.

Пример сомнительного, по Готтсданкеру, перевода – эксперименты Левина с 10-летними мальчиками по влиянию на них авторитарного, демократического и анархического стилей руководства (сомнительность – в идентификации стилей. Гсттсданкер педпочел бы называть эти ситуации деспотией, либеральной монархией и демократией). Другой вопрос, связанный с ОпВ – насколько эти кратковременные эксперименты с детьми, живущими в очень разной домашней обстановке, вообще могут говорить о поведении людей, постоянно находящихся в соответствующих социальных условиях.

Момент, когда происходит оценка ОпВ – это момент перехода от уже сформулированных гипотез к процедурам их методического воплощения (от 3 к 4 этапу описанной выше схемы основных этапов экспериментального психологического исследования). В этот момент исследователь решает, какая именно методика лучше реализует мысленную модель эксперимента, то есть позволяет лучше варьировать НП и измерять ЗП. Этот выбор необходим еще и потому, что одна и та же ЗП может быть измерена с помощью разных методик.

Важнейшим условием достижения ОпВ является операционализация переменных,входящих в экспериментальную гипотезу. Операциональное определение (ОО) –это подробное указание операций, необходимых для представления и измерения понятий. Для некоторых переменных это сделать легко (интервалы между упражнениями, врожденная гиперплазия надпочечников и т.п.). Но если переменные выражаются через абстрактные понятия (тревожность, интеллект, побуждение и т.п.), то ОО, охватывающее всю сложность понятия и одновременно эмпирически обоснованное, дать труднее. Так каждый человек имеет представление о тревожности. Общим моментом словарных определений тревожности является то, что это эмоциональное состояние, наиболее характерным компонентом которого является ожидание. ОО тревожности давались с помощью «бумажно-карандашных» тестов, с помощью методов контроля потовыделения, регистрации КГР. ЧСС, движений глазного яблока. Каждое из этих ОО дает оценку определенной части состояния тревожности, но ни одно не оценивает всей его сложности. Психолог должен так формулировать ОО, чтобы оносоответствовало конкретной ситуации. Абсолютно необходимо, чтобы все используемые в эксперименте переменные имели операциональные определения.

В терминах безупречного эксперимента ОпВ означает, что конкретные экспериментальные операции (создание условий и получение ЗП) репрезентируют НП и ЗП из ЭПС.

Определение ОпВ по учебнику Корниловой: ОпВ – это оценка проведенного эксперимента с точки зрения соответствия методик задания и измерения переменных, которые использованы в исследовании (НП, ЗП и ВП) эмпирически нагруженным понятиям этих переменных. В лабораторном эксперименте может совпасть с конструктной валидностью.

Конструктнаявалидность(KB) экспериментального исследования означает, насколько адекватно определяются НП и ЗП (стоящие за ними конструкты), используемые в исследовании. Рассмотрим, что это означает на примере такого конструкта как тревожность.

За словом «тревожность» зачастую скрывается разное понимание этого конструкта, однозначная интерпретация его отсутствует. Это означает, что разные авторы, придумывая методики для измерения тревожности (операционализируя понятие «тревожность»), могут измерять на самом деле разные аспекты этого конструкта, а то и разные конструкты.

Если взять два популярных теста: шкалу тревожности Тейлор и тест Айзенка (EPI), одна из шкал которого, нейротизм, измеряет тревожность, то понять, что именно мы измерили, можно только зная авторские концепции тревожности, то есть теорию, лежащую в основе методики.

После того, как методика придумана, встает задача доказать, что полученный с ее помощью результат соответствует теоретическому конструкту (в нашем примере – на самом деле измеряет тревожность), т.е. обладает КВ. Это достигается путем постепенногонакопления информации об измеряемом конструкте, путем прослеживания связи с практическими формами деятельности, с мнением экспертов, с достоверностью прогноза реального поведения. То есть КВ вырабатывается по мере того, как накапливаются данные и появляется возможность их описания при помощи разных способов – но сводимых к единому основанию – конструкту.

Почему важно обосновать КВ? – Потому, что после ее обоснования исследователь может ввести измеряемое свойство в систему психологических категорий, с психологических позиций закономерно объяснять (интерпретировать) результаты экспериментов, прогнозировать поведение, то есть делать теоретические обобщения.Как уже говорилось, психологические конструкты могут конкретизироваться разными методиками (это называется концептуальными репликациями). При этом повышается обоснованность выводов относительно этого конструкта, расширяется диапазон обобщений

Подводя итог, можно сказать, что в понятии KBвыражается адекватность интерпретацииэкспериментальных данных - теории и определяется эта адекватность правильностью употребления терминов той или иной теории при интерпретации данных эксперимента.

По учебнику Корниловой KB - это оценка соответствия представленных в экспериментальной гипотезе переменных и отношения между ними - теоретическим конструктам и теоретической гипотезе, из которой в качестве следствия выводится экспериментальная гипотеза.

Для уяснения отношений между основными характеристиками экспериментального исследования полезно запомнить следующую схему:

Теория

Конструктная В. Операционная В.

(правильность интерпретации)

Идеальный эксперимент Внутр. (содержат.) В Эксперимент

Прогностическая (теор.) В. Внешняя В.

Реальность

Существует ряд факторов, затрудняющих достижение внутренней валидности.Эти факторы можно разделить на две группы.

1. Факторы, связанные с испытуемыми (с выборкой):

- у испытуемых с течением времени могут изменяться состояние (голод, усталость, болезнь и др.) и/или индивидные свойства (возрастные перемены, накопление опыта и др.),

- группы могут быть неэквивалентными по составу, что вызывает систематическую ошибку в результатах

2. Побочные переменные, влияние которых приводит к следующим эффектам:

- эффект истории или фон – конкретные события, происходящие в период между начальным и итоговым тестированием, помимо экспериментального воздействия.

- эффект тестирования – уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием тестирования. Так, предварительный контроль знаний учеников может повысить их интерес к новому учебному материалу.

- инструментальная погрешность – определяется надежностью метода фиксации поведения испытуемого, т.е. надежностью теста.

- взаимодействие факторов: отбора; естественного развития; истории (разные истории экспериментальных групп) и др.

Среди факторов, отрицательно влияющих на внешнюю валидностьэксперимента, важнейшими являются следующие:

- эффект тестирования – влияние предварительного тестирования на результат итогового. Поскольку генеральная совокупность предварительному тестированию не подвергается, то результаты для нее могут быть нерепрезентативными;

- фактор добровольности - принудительности участия в экспериментах.

- интерференция экспериментальных воздействий, проявляющаяся в сериальныхэкспериментах: поскольку испытуемые обладают памятью и обучаемостью, то первые воздействия сказываются на появлении эффектов от последующих воздействий.

Итак, мы обсудили четыре вида валидности эксперимента как степени соответствия его предполагаемым мысленным образцам. Внутренняя и операционная валидность оцениваются в любом эксперименте, внешняя – в основном в искусственном и в естественном (улучшающем и дублирующем реальный мир); конструктная – при проверке теоретических гипотез. Заметим, что в истинном лабораторном эксперименте оценка ОпВ может совпасть с оценкой КВ.

Экспериментальная выборка

Идеальным объектом психологического исследования может вы­ступать либо отдельный индивид, либо группа. В первом случае мы говорим об общепсихологическом эксперименте, во втором — о со­циально-психологическом.

Если бы все люди (или животные) были одинаковыми, то с объектом не возникло бы никаких проблем: эксперимент можно провести с участием одного испытуемого, а полученные результаты применить для объяснения поведения всех других людей. Но люди различаются по полу, возрасту, расе, нацио­нальности, принадлежности к той или иной культуре или религии, социальному и экономическому положению и т.д. Следовательно, простая генерализация (обобщение) данных, полученных при иссле­довании одного испытуемого, невозможна.

Иногда на практике, например в лабораторных экспериментах по исследованию сенсор­ных процессов, памяти, внимания и т.д., этими различиями прене­брегают, считая, что наш испытуемый может представлять любого индивида из Homo sapiens. В экспериментах по оперантному научению в качестве модели любого человека может выступить голубь или кры­са. Но это иная проблема. Здесь же важно заметить, что эксперимент может быть проведен с одним ис­пытуемым или группой (в социальной психологии это будет одна группа и множество групп — «группа групп»)

Эксперимент с одним испытуемым проводится тогда, когда: 1) индивидуальными различиями можно пренебречь, а исследование чрезвычайно велико по объему и включает множество эксперимен­тальных проб; 2) испытуемый — уникальный объект, например ге­ниальный музыкант или творчески одаренный шахматист; 3) от ис­пытуемого требуется особая компетентность при проведении иссле­дования (эксперименте обученными испытуемыми); 4) повторение данного эксперимента с участием других испытуемых невозможно.

Для экспериментов с одним испытуемым разработаны особые экс­периментальные планы, с которыми мы познакомимся далее.

Однако чаще исследование проводится с группой, в которой все испытуемые объективноразличны, но отобраны вгруппу спомощью той или иной стратегии. Стратегии формирования группы преследуют одну главную цель: создать репрезентативную (представительную) по отношению к популяции выборку. Требование репрезентативности означает, что совокупность испытуемых должна отражать качественно и пропорционально основные типы всех потенциальных испытуемых.

Напомним, что выборкой называют совокупность тех людей или животных, которые принимают реальное участие в эксперименте в роли испытуемых. А генеральная совокупность (или популяция) включает в себя всех возможных испытуемых, то есть тех, на кого с полным правом можно распространить полученные результаты.

Для достижения репрезентативности в психологической практике используют несколько способов.

1) Ключевым способом является техника рандомизации(случайного отбора). Суть ее заключается в том, что максимально доступному для исследователей количест­ву представителей популяции присваиваются индивидуальные номера. Выборка фор­мируется из них с помощью таблицы случайных чисел. Тем самым создаются равные возможности для индивидов быть представленными в экспериментальной группе (опи­сание хорошо зарекомендовавших себя на практике вариантов случайного отбора испытуемых см. в учебнике Солсо и др., гл. 6).

2) Более точным является стратометрический отбор (от греч. «слой»). Генераль­ная совокупность рассматривается как совокупность групп, обладающих определенны­ми характеристиками (чаще всего используются: пол, возраст, политические предпоч­тения, образование и уровень доходов). В экспериментальную выборку отбираются ис­пытуемые с соответствующими характеристиками - так, чтобы в ней были в равной мере лица из каждой страты. Иногда ее называют «рандомизацией с выделением страт». Эту стратегию применяют психодиагносты при разработке тестов, педагогические психологи, но в основном ею пользуются социологи и социальные психологи при опросах общественного мнения, исследовании социальных установок и т.д.

3) Попарный отборприменяется, когда чистоту эксперимента возможно обеспе­чить за счет уравнивания состава экспериментальной и контрольной групп: для каждо­го испытуемого подбирается эквивалентный (или похожий) ему, и они распределяются по разным группам. Соответственно контрольная и экспериментальная группы стано­вятся похожими по составу испытуемых.

4) Когда невозможно найти способ создания репрезентативной группы, использу­ется метод приближенного моделирования,при котором выборка лишь приблизи­тельно отражает характеристики популяции (исследование может проводиться при участии студентов 2-го курса университета, а данные приписываются всем людям, или «людям в возрасте от 17 до 21 года» и т.д.).

5) Привлечение к эксперименту реально существующих групп.При этом при­нимается допущение, что подобные группы (школьные классы, спортивные секции, трудовые коллективы и др.) по своему составу уже являются репрезентативными. Од­нако такое допущение далеко не всегда справедливо.

Итак, мы сформировали выборку. Существует несколько способов ее исследова­ния. Наиболее распространенный способ – формирование на ее основе эксперимен­тальной и контрольной групп, которые ставятся в разные условия.

Второй вариант – применяется, когда нет возможности сформировать контроль­ную группу – исследование одной группы. Ее поведение изучается и в эксперимен­тальных и в контрольных условиях.

Третий способ – образуется несколько групп и все они ставятся в разные условия. Способ применяется при факторном планировании эксперимента.

Как уже говорилось, любая из стратегий создания выборки преследует цель обеспечения ее репрезентативности. В связи с этим говорят о необходимости соблюдать критерий репрезентативности или критерий внешней валидности: выборка должна представлять популяцию качественно и количественно. Формирование репрезентатив­ной выборки по количественному признаку в идеале осуществляется по теореме Чебышевва о вероятности ошибки репрезентативности, которая гласит: «С вероятностью сколь угодно близкой к единице можно утверждать, что при достаточно большом числе независимых наблюдений выборочная средняя будет сколь угодно мало отличаться от генеральной средней». Размер минимальной репрезентативной выборки можно рассчи­тать по специальной формуле, которую мы здесь не приводим. Скажем только, что бы­тующее мнение «чем больше, тем лучше» не является верным.

Если целью исследования является сравнение групп (например эксперименталь­ной и контрольной по t-критерию), то в большинстве случаев для выявления различий на достаточно значимом уровне суммарный объем групп должен быть не менее 50 ис­пытуемых, при условии хотя бы приблизительного равенства испытуемых в группах..

При проведении корреляционных исследований существует эмпирическое прави­ло, вытекающее из статистических соображений: рекомендуется, чтобы численность сравниваемых групп была не менее 30-35 человек, поскольку при таком количестве испытуемых значимы на уровне а = 0,05 часто встречающиеся коэффициенты корреля­ции порядка 0,35 и выше.

Если же для обработки данных используется факторный анализ, то существует простое правило: надежные факторые решения можно получить лишь в том случае, ко­гда количество испытуемых не менее., чем в 3 раза, превышает число регистрируемых параметров. Кроме того, целесообразно увеличивать количество испытуемых, по край­ней мере, на 5—10% больше требуемого, поскольку часть из них будет «отбракована» в ходе эксперимента или при анализе экспериментальных протоколов (не поняли инст­рукцию, не приняли з021адачу, дали «девиантные» результаты и т.д.).

Что касается состава по полу и возрасту, то рекомендуется (кроме специальных случаев) разбивать общую группу на подгруппы мужчин и женщин и обрабатывать данные отдельно для каждой подгруппы. Возрастной состав определяется исходя из целей исследования.

Помимо критерия репрезентативности при формировании выборки необходимо помнить о:

содержательном критерии (= критерий операциональной валидности). Смысл: вы­борка должна соответствовать содержанию гипотезы (обучаемость надо исследовать на учащихся, дисциплину – на воинах, электоральные предпочтения – на лицах, имеющих право голоса и т.п.);

критерии эквивалентности испытуемых (= критерий внутренней валидности): ре­зультаты, полученные на выборке, должны распространяться на каждого члена выборки, а это возможно, когда ее члены не отличаются друг от друга по значимым характеристикам (эквивалентны). Какие характеристики значимы, решать надо заранее. Например, при исследовании тревожности среди значимых характеристик находится IQ, по­скольку уровень тревожности зависит от различий по этому параметру.

Лекция 11.

ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ

Предпосылки планирования эксперимента

Планирование эксперимента имеет две основные формы: содержательную и формальную.

Содержательное планирование включает решение вопросов конструктной и операциональной валидности, т.е. оно предполагает развертывание содержательных доводов как с точки зрения 1) обоснования экспериментальных гипотез, так и с точки зрения 2) соотнесения используемых психологических конструктов с методическими процедурами измерения переменных.

Содержательное планирование – это первый этап планирования эксперимента. Оно предпринимается на этапе конкретизации гипотез и переменных (см. тема 4.1. «Этапы экспериментально-психологического исследования»), с тем, чтобы не была утеряна специфика исследуемой «психологической реальности».

Как это делается? Психологическое объяснение, заданное в психологических конструктах (таких как стиль руководства, интроверсия, синдром школьной дезадаптации и т.п.), соотносится по содержанию с 1) видом устанавливаемой эмпирической зависимости и 2) условиями ее выявления, включая способы задания уровней НП и выбор методик регистрации ЗП. Например, исследователя интересуют причины школьной дезадаптации. Конструкт «школьная дезадаптация» описывает феномен, проявляющийся у первоклассников в виде невротических симптомов в результате неспособности справиться с требованиями школы. Возможная гипотеза, поясняющая причины дезадаптации, связывает ее с отсутствием достаточных коммуникативных навыков и выглядит следующим образом: если при поступлении в первый класс дети не обладают достаточными коммуникативными навыками (НП), то у них развивается синдром школьной дезадаптации (ЗП).

Вид устанавливаемой эмпирической зависимости – монотонно убывающая (см. рисунок): чем выше коммуникативные навыки, тем меньше дезадапрация. Уровни НП можно обозначить, например, как высокий, средний и низкий, измеряя дезадаптацию имеющимися или специально сконструированными методиками и относя результат каждого ребенка к одному из этих уровней. Какой результат к какому уровню отнести, исследователь решает, исходя из содержательных соображений – из наблюдений за поведением первоклассников, из опыта своего и своих коллег.

(Уровень или градация НП – это ее характеристика, показывающая «количество» воздействия. В простейшем случае, характерном для качественного эксперимента, имеется один уровень НП: «нет воздействия»-«нулевой» уровень - «есть воздействие»-«первый» уровень. Слабое-среднее-сильное воздействие – это три уровня НП; 15-ти и 20-летние учащиеся, решающие одну задачу – 2 уровня НП «возраст»)

уровень дезадаптации

ур-нь коммуникативных навыков

Рис. 1. Зависимость уровня школьной дезадаптации от развития коммуникативных навыков.

Формальное планирование направлено на выбор схемы, то есть плана организации воздействий, при котором гарантировано выделение исследуемого отношения между НП и ЗП. Заметим, что все существующие на сегодняшний день в психологии экспериментальные схемы описаны. Задача студента заключается в том, чтобы изучить их, после чего появляется возможность соотносить свои гипотезы с имеющимися в психологии способами экспериментальной проверки гипотез – планами экспериментов, выбрать подходящий и далее действовать по алгоритму.

На этапе формального планирования наряду с выбором схемы эксперимента принимается решение о 1) величине минимальногосдвига ЗП, который принимается как достаточный, чтобы считать, что воздействие достигло эффекта, 2) уровнях допустимых ошибок при проверке статистических гипотез (р<0,05, 0,01 или 0,001), 3) способе фиксации ЗП, 4) способе обработки данных (который, как правило, предусматривается выбранной схемой).

Итак, формальное планирование, то есть выбор схем экспериментального контроля позволяет сделать эксперимент внутренне валидным – таким, в котором гарантировано выделение исследуемого отношения между НП и ЗП.

Планы для одной независимой переменной

Классическим вариантом плана «истинного» (чистого) эксперимента является план для 2 независимых групп. Существуют три основные версии этого плана. При их описании используют символику Кемпбелла: (R – рандомизация, Х– воздействие, О₁ – тестирование первой группы, О_n – тестирование энной группы.)

1. План для двух рандомизированных групп с тестированием после воздей­ствия (разработан Р. Фишером). Необходимое условие применения – эквивалентность экспериментальной и контрольной групп, достигаемая (чаще) посредством рандомизации. Если рандомизация проведена качественно, то этот план является наилучшим, позволяет контролировать большинство источников артефактов; для него применимы различные варианты дисперсионного анализа. Используется без предварительного тестирования испытуемых. Структура плана 1. ЭГ: R Х О₁

2. КГ: R О₂

После уравнивания групп осуще­ствляется экспериментальное воздействие. В простейшем варианте используется лишь две градации НП: есть воздействие, нет воздействия.

Более сложные случаи: 1) Если экспериментальное воздействие имеет более 1 уровня, то количество экспериментальных групп берется по числу уровней (контрольных – по-прежнему одна); 2) Если есть возможность контролировать влияние дополнительных переменных, то применяют план с более чем одной контрольной группой и 1-й экспериментальной.

Измере­ние поведения дает материал для сравнения групп. Если измерение проводится интервальной шкалой, то для оценки различия в средних показателях групп обычно используют t-критерий Стьюдента. Оценивание разли­чий в вариации измеряемого параметра проводится с помощью F- критерия Фишера(для порядковых шкал применяются непараметрические критерии, хороший обзор которых дается в кн. Сидоренко Е. В. Методы математической обработки в психологии. С-Пб. 2000).

Этот план позволяет контролировать такие источники внутренней невалидности (как их определяет Кэмпбелл), как: эффект тестирования (поскольку предварительное тестирование отсут­ствует) и влияние состава групп (поскольку группы эквивалентны).

2. Однако при проведении большинства пе­дагогических и социально-психологических экспериментов необходимо жестко контролировать исходный уровень зависимой переменной, будь то интеллект, тревож­ность, знания, статус личности в группе и т.п.. Для этого чаще применяют план для двух рандомизированных групп с предварительным и итоговым тестированием (тест – воздействие - ретест).

Структура плана: 1. ЭГ: R О₁ Х О₂

2. КГ: R О₃ О₄

План с предварительным тестированием пользуется популярностью у психоло­гов. Биологи больше доверяют процедуре рандомизации. Психолог же зна­ет, что каждый человек своеобразен и отличен от других, и стре­мится уловить эти различия с помощью тестов, не доверяя механической процедуре рандомизации. Гипотеза большинства психологических исследований, осо­бенно в области психологии развития («формирующий эксперимент»), содержит прогноз определенного изменения свойства индивида под влиянием внешнего фак­тора. Поэтому план «тест – воздействие – ретест», дающий возможность сравнить то, что было «до» с тем, что стало «после» с применением рандомизации и контрольной группой очень распространен.

При обработке данных в интервальной шкале обычно используются параметрические критерии t и F. Вычисляются три значения t: сравнение 1) О₁ и О₂; 2) О₃ и О₄; 3) О₂ и О₄. Гипотезу о значимом влиянии НП на ЗП можно принять в том случае, если выполняются два условия: а) раз­личия между О₁ и О₂ – значимы, а между О₃ и О₄ – незначимы и б) различия между О₂ и О₄ –значимы.

Главный источникартефактов, нарушающих внешнюю валидность процеду­ры – эффект тестирования (напри­мер, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания). Однако, если О₃ и О₄ окажутся равными, то эффектом тестирования можно пренебречь.

3) Еще одним способом контроля эффекта тестирования, более надежным, но и более сложным, является план Соломона. План представляет собой объединение двух ранее рассмотренных планов: без предварительного тестирования и «тест-воздействие-ретест». Для проведении эксперимента по этому плану требуется четыре группы:

1. Эксперимент 1: R О₁ Х О₂

2. Контроль 1: R О₃ О₄

3. Эксперимент 2: R X O₅

4. Контроль 2: R O₆

С помощью первой части плана можно контролировать эффект тестирования (взаимодействия первого тестирования и экспериментального воздействия). Плана Соломона выявляет эффект экспериментального воздействия четырьмя разными способами, при сравнении: 1) О₂ – О₁; 2) О₂ – О₄; 3) О₅ – О₆; 4) О₅ – О₃

Если провести сравнение O₆ с О₁ и О₃ то можно выявить совместное влияние на зависимую переменную эффектов естественного развития и «истории» (фоновых воздействий).

Наконец, в некоторых случаях необходимо проверить сохранение эффекта воздействияво временинезависимой переменной на зависимую: например, выяснить, приводит ли новый метод обучения к долгосрочному запоминанию материала. Для этих целей применяют следующий план:

1. Эксперимент 1: R О₁ Х О₂

2. Контроль 1: R О₃ О₄

3. Эксперимент 2: R O₅ X O₆

4. Контроль 2: R О₇ O₈ (промежуток символизирует время)

Планы для одной независимой переменной и нескольких групп

Иногда сравнения двух групп недостаточно для подтверждения или опровержения экспериментальной гипотезы. Такая проблема возникает, в частности, при необходимости выявления количественных зависимостей между двумя переменными.

Необходимость установления количественной зависимости между двумя переменными возникает при проверке «точной» экспериментальной гипотезы. Действительно, в эксперименте с участием двух групп в лучшем случае можно установить факт причинной связи между независимой и зависимой переменными. Но между двумя точками можно провести бесконечное множество кривых. Для того чтобы убедиться в том, каков именно характер зависимости между двумя переменными, следует иметь хотя бы три точки, соответствующие трем уровням НП. Следовательно, экспериментатор должен выде­лить несколько рандомизированных групп и поставить их в различные эксперимен­тальные условия. Простейшим вариантом является план для трех групп и трех уровней независимой переменной:

Эксперимент 1: R Х₁ О₁

Эксперимент 2: R X₂ O₂

Контроль: R О₃

Контрольная группа в данном случае – это третья экспериментальная группа, для которой уровень переменной Х = 0. При реализации этого плана каждой группе предъявляется лишь один уровень независимой переменной. Возможно и увеличение числа экспериментальных групп соответственно числу уровней независимой переменной. Для обработки данных, по­лученных с помощью такого плана, применяются те же статистические методы, что были перечислены выше.

Пример. Пусть мы хотим оценить влияние тревожности на экзаменационную успешность. Если провести двухуровневый эксперимент, то есть взять две группы, например, с высокой и низкой тревожностью, то можно получить результат, изображенный на левом графике. Если же добавить третью группу со средним уровнем тревожности, то результат может оказаться таким, как на правом графике. Добавляя в эксперимент все новые уровни, мы можем делать все более точные выводы об истинной функциональной связи между НП и ЗП

Оценка Оценка

низкий высокий низкий средний высокий

Уровень тревожности

Факторные планы

Факторные эксперименты применяются тогда, когда необходимо проверить сложные гипотезы о взаимосвязях между переменными. Общий вид по­добной гипотезы: «Если А_1, А₂,..., А_n, то В». Такие гипотезы называются комплекс­ными, комбинированными и др. При этом между независимыми переменными могут быть различные отношения: конъюнкции, дизъюнкции, линейной независимости, аддитивные, мультипликативные и др.

Факторные эксперименты являются част­ным случаем многомерного исследования, в ходе проведения которого пытаются ус­тановить отношения между несколькими НП и ЗП. В факторном эксперименте проверяются одновременно, как пра­вило, два типа гипотез:

1) гипотезы о раздельном влиянии каждой из НП;

2) гипотезы о взаимодействии переменных, а именно - как присутствие одной из НП влияет на эффект воздействия другой.

Независимые переменные в подобном эксперименте и называются факторами.

Факторное планирова­ние эксперимента заключается в том, чтобывсе уровни независимых переменных сочетались друг с другом. Число экспериментальных групп равно числу сочетаний уровней всех независимых переменных.

Сегодня факторные планы наиболее распространены в психологии, поскольку простые зависимости между двумя переменными в ней практически не встречаются.

Существует множество вариантов факторных планов, но на практике применя­ются далеко не все. Чаще всего используются простейшие факторные планы, для двух незави­симых переменных и двух уровней типа 2х2 (число сомножителей показывает число уровней переменных, величина сомножителя - количество уровней (градаций) каждой из НП. Так в плане 2х2 участвует две НП и каждая из них представлена на двух уровнях: есть переменная – нет переменной). План 2х2 используется для выявления эффекта воздей­ствия двух НП на одну ЗП. Экспериментатор манипу­лирует возможными сочетаниями переменных и уровней. Данные фиксируются в простейшей таблице.

Для обра­ботки результатов применяется дисперсионный анализ по Фишеру.

Кемпбел предлагает использовать факторный план 2х2 для анализа результатов описанного выше плана Соломона. Будем, говорит он, считать предварительное тестирование не источником артефактов, а второй НП, и тогда результаты, полученные по плану Соломона можно занести в таблицу и проанализировать с помощью дисперсионного анализа.

Реже используются другие версии факторного плана. Пример плана 3х2 - эксперимент по выявлению воздействия внешнего наблюдения на успех решения интеллектуальных задач. Первая НП варьируется просто: есть наблюдатель, нет наблюдателя. Вторая НП - уровни трудно­сти задачи с тремя градациями.

Вариант плана 3х3 применяется в том случае, если обе независимые перемен­ные имеют несколько уровней и есть возможность выявить виды связи зависимой переменной от независимых. Этот план позволяет выявлять, например, влияние подкрепления на успешность выполнения заданий разной трудности:

В общем случае план для двух независимых переменных выглядит как NxM. Применимость таких планов ограничивается только необходимостью набора боль­шого числа рандомизированных групп. Объем экспериментальной работы чрезмер­но возрастает с добавлением каждого уровня любой независимой переменной.

Планы, используемые для исследования влияния более двух независимых пере­менных, применяются редко. Для трех переменных они имеют общий вид LxMx N. Чаще всего применяются планы 2х2х2: «три независимые переменные - два уровня».

Упрощениемполного плана с тремя независимыми переменными вида L х М х N является планирование по методу «латинского квадрата». «Латинский квадрат»применяют тогда, когда нужно исследовать одновременное влияние трех перемен­ных, имеющих два уровня или более. Принцип «латинского квадрата» состоит в том, что два уровня разных переменныхвстречаются в экспериментальном плане только один раз (такой же прием используется для контроля внешних переменных с помощью контрбалан­сировки). Схема плана для 3-х НП, организованного по методу латинского квадрата, представлена в таблице:

Нетрудно заметить, что уровни третьей переменной N (А, В, С,) встреча­ются в каждой строке и в каждой колонке по одному разу. Комбинируя результаты по строкам, столбцам и уровням, можно выявить влияние каждой из независимых переменных на зависимую, а также степень попарного взаимодействия переменных.

«Латинский квадрат» позволяет значительно сократить число групп. В частно­сти, план 2х2х2 превращается в простую таблицу

Применение латинских букв в клеточках для обозначения уровней 3-й перемен­ной (А — есть, В — нет) традиционно, поэтому метод назван «латинский квадрат».

Для обработки данных применяется метод дисперсионного анализа по Фишеру. Метод «латинского» квадрата пришел в психологию из агро­биологии, но большого распространения не получил. Исключением являются не­которые эксперименты в психофизике и психологии восприятия.

Лекция 12

ЭКСПЕРИМЕНТАЛЬНЫЕ ПЛАНЫ

(продолжение)

Проиллюстри­руем применение простого факторного плана примером из сравнительной психологии, в котором экспе­риментаторов интересовало, с какой скоростью крысы пробегают прямой отрезок пути в зависимости от лишения их пищи или поощ­рения пищей.

В качестве оборудования в эксперименте использовалась 5-футовая (примерно 160 см) прямая до­рожка со стартовой камерой в начале и целевой – в конце. Зависи­мой величиной была скорость, с которой крысы пробегали расстоя­ние от начала до конца дорожки. В эксперименте использовались 20 крыс. Половину из них содержали на таком рационе питания, чтобы их вес составлял 85% от веса при питании без ограничений, a другую половину – так, чтобы их вес составлял 95% от нормального. Для данного эксперимента были определены такие понятия, как «стро­гая депривация» для крыс, вес которых составлял 85% от обычного, и «нестрогая депривация» для крыс, вес которых составлял 95% от обычного.

Затем экспериментаторы клали 45-граммовую порцию пищи (сла­бое подкрепление) в целевую камеру лабиринта для половины крыс строгой депривации и 260-граммовую порцию (сильное подкрепле­ние) для другой половины крыс этой же группы. Аналогичным обра­зом, разделив группу крыс нестрогой депривации, получили четыре экспериментальных группы:

1) строгая депривация – сильное подкрепление;

2) строгая депривация – слабое подкрепление;

3) нестрогая депривация – сильное подкрепление;

4) нестрогая депривация – слабое подкрепление.

В каждой из этих групп в эксперименте участвовали по пять крыс. Активность крыс измерялась как скорость, с которой они пересе­кали 2-футовый отрезок среднего участка дорожки. Экспериментато­ры фиксировали скорость бега на этом отрезке в последних десяти испытаниях. Средние показатели для каждой из четырех групп пред­ставлены в табл.

Из таблицы ясно, что и депривация и подкрепление оказали влия­ние на скорость бега.

Таблица «Средняя скорость бега для групп»

Средняя скорость крыс из групп сильного под­крепления была выше скорости крыс из групп слабого для каждого из условий депривации. Более того, средние показатели обеих групп строгой депривации (тощих) были выше показателей групп нестрогой депривации

В приведенном примере использован факторный план 2х2. Два уровня одной переменной сочетаются с двумя уровнями второй пе­ременной, таким образом получается 2х2, то есть четыре отдель­ные процедуры. Каждый уровень первой переменной сочетается с каждым уровнем второй переменной, то есть строгий и нестрогий режимы депривации сочетаются с условиями сильного и слабого подкрепления.

Приводившиеся выше таблицы содержат усредненные данные. Откуда они берутся? Рассмотрим пример.

Четыре различные группы из четырех испытуемых получили списки из 10 слов. Первой группе предъявлялись короткие слова с большой скоростью, второй группе – короткие слова с медленной скорость, третьей группе – длинные слова с большой скоростью, и четвертой группе – длинные слова с медленной скоростью. Предсказывалось, что между факторами длины слов и скоростью их предъявления будет наблюдаться значимое взаимодействие: при большой скорости лучше будут запоминаться короткие слова, а при медленной скорости – длинные слова. Результаты экспериментов представлены в таблице.

Таблица «Количество воспроизведенных слов при разной

длине слов и разной скорости их предъявления»

Числа в клетках таблицы образуют двухфакторный дисперсионный комплекс по оценке влияния факторов (длины слов и скорости их предъявления) на количество воспроизведенных слов. А теперь преобразуем эту таблицу в уже известную нам форму:

На основании данных этой таблицы построим «График зависимости количества воспроизводимых слов от длины слов и скорости их предъявления»:

Кол-во

воспроизведенных

слов

10

7 малая скорость предъявления

6

5

4.

большая скорость предъявления

3

0 Длина слов

короткие длинные

Главная проблема, которую удается решить в факторном экспериментеи невоз­можно решить,применяя несколько обычных экспериментов с одной НП, – определение взаимодействия двух переменных. В последнем примере взаимодействие переменных выражается в том, что запоминание при большой скорости тем хуже, чем длиннее слова (кривая идет вниз), но при малой скорости с ростом длины слов запоминание улучшается (кривая идет вверх). То есть скорость влияет на запоминание, но по-разному – в зависимости от длины запоминаемых слов.

Рассмотрим еще один пример. Пусть мы хотим узнать, когда в группе быстрее достигается консенсус – с лидером или без? Для этого нужно определить, какие условия мы будем контролировать, а каким позволим свободно меняться: пол, характер коммуникации, трудность задачи? Пусть мы решили, что контролировать или рандомизировать эти переменные не надо, поскольку влияние лидера на эффективность зависит от численности группы. То есть независимыми переменными (факторами) являются лидерство и численность группы. Пусть фактор лидерства будет двухуровневый (есть лидер – нет лидера), а фактор численности четырехуровневый – 3, 6, 10 и 20 человек. Мы получили план 2х4, который в табличной форме выглядит следующим образом (в клетках таблицы приведены значения времени принятия решения в минутах):

Такое взаимодействие вскрывается только в факторном эксперименте. На первый взгляд может показаться, что можно просто сложить эффекты каждой НП и получить объяснение поведения. Но нет! Простое сложение игнорирует эффекты взаимодействия (если оно существует): если взаимодействие есть, то без факторного эксперимента мы его не обнаружим, а значит, сделаем ложное заключение. Чтобы этого не произошло, надо помнить, что вывод будет зависеть от обстоятельств: уменьшает ли наличие лидера время решения задачи? – ответ зависит от численности группы, а именно, чем группа больше, тем больше надо времени на решение (как с лидером, так и без лидера), но при наличии лидера любой группе (кроме n=3) нужно меньше времени, чем без него; зависит ли агрессивность детей от того, что они смотрят т