Нормы и интерпретация результатов теста

5a + 15b = 32;

15a + 55b = 112.

Члены первого уравнения умножаются на 3

15a + 45b = 96.

Из второго уравнения вычитается первое, получим значение b:

10b = 16; b = 1,6.

Из первого уравнения получаем значение а:

5a + 24 = 32;

5a = 8; a = 1,6.

Можно получить сглаженные показатели по дням упражнений у Толи. y ₁ = 1,6 + 1,6=3,2;

y ₂ = 1,6+3,2=4,8;

y ₃ = 1,6 + 4,8 = 6,4;

y ₄ = 1,6 + 6,4 = 8,0;

y ₅ = 1,6+ 8,0=9,6.

На рис. 6 показаны только результаты сглаживания. Следует обратить внимание на то, как различаются отрезки прямой по их наклону по отношению к оси абсцисс. Дан­ные Толи изображены пунктирной прямой.

Таковы способы обработки задач третьего типа.

Задачи, встающие перед психологом, который работает в области психологи­ческой диагностики, составляют четвер­тый тип задач.

Они относятся к конструированию диагностических методик, к их применению и обработке. Американская психологическая ассоциация (АПА) периодически издает «Стандартные требования к педагогическим и психологическим тестам», специальный кодекс требований к диагностическим методикам; это пособие полезно как для авторов методик, так и для тех, кто методиками пользуется.

Некоторые из этих требований могут считаться дискуссионными, но полезность кодекса в целом несомненна. Его выполнение, с одной сто­роны, обеспечивает объективность методик и их обоснованность, а с другой — препятствует проникновению в арсенал методик психологи­ческой диагностики дилетантских поделок, произвольных наборов все­возможных заданий, заимствованных из популярных журналов или со­чиненных самим автором. Самые общие и самые необходимые к испол­нению требования можно было бы свести всего к двум: диагностиче­ские методики должны быть надежными и валидными. Значение этих терминов было дано в предыдущих главах. Реализация этих требований осуществляется посредством прочно вошедших в психологическую ди­агностику статистических методов (Как было показано в гл. XI, при работе с критериально-ориентированными методиками при их конструировании и проверке возможны другие подходы).

Чтобы получить коэффициент надежности, характеризующий го­могенность методики, ее внутреннюю согласованность, прибегают к приему, называемому расщеплением. Эксперимент проводится с вы­боркой желательно порядка 100, но не менее 50 испытуемых. Полу­ченные от каждого участника выборки ответы на вопросы или ре­шения заданий делятся на четные и нечетные — по их нумерации в методике. По каждой половинке методики выписывается число пра­вильно выполненных каждым испытуемым заданий. Два эти ряда коррелируют между собой.

Допустим, что методика состоит из 24 заданий. Тогда максимальное число выполненных заданий в каждой половинке будет равно 12. Приводим результаты первых 16 испытуемых и технику вычисления коэффициента надежности (гомогенности) r (табл. 8).

Таблица 8

ВЫЧИСЛЕНИЕ КОЭФФИЦИЕНТА НАДЕЖНОСТИ МЕТОДИКИ А (ГОМОГЕННОСТЬ)

åd ² = 82,5

Проделана обычная ранговая корреляция. По таблице уровней значимости r_0,99 = 0,64; полученный коэффициент превышает эту величину. Принято считать, что коэффициент надежности не дол­жен быть ниже 0,8. Полученный коэффициент удовлетворяет этому требованию (Применение коэффициента корреляции для нахождения коэффициента на­дежности-гомогенности путем сопоставления числа правильных решений по четным заданиям и числа правильных решений по нечетным заданиям некото­рые авторы находят недостаточно корректным, поскольку порядок, в котором представлены коррелируемые ряды, может быть случайным, он может быть произвольно изменен. Однако никакого другого приема для установления этого вида надежности в «Стандартных требованиях к педагогическим и психологиче­ским тестам» не дается. Нахождение коэффициента надежности-стабильности указанной недостаточной корректностью не грешит).

Есть поправочная формула Спирмена—Брауна к коэффициенту на­дежности-гомогенности, получаемому путем расщепления. Поскольку при прочих равных условиях получаемый коэффициент будет тем вы­ше, чем больше заданий содержится в методике, следует принять во внимание, что прием расщепления уменьшает число заданий вдвое — на этом основывается данный прием. Поправочная формула

в нашем примере

где r _SB — коэффициент с учетом поправки, а — коэффициент, вычисленный при коррелировании двух половинок методики. Если этот последний равен 0,88, то после поправки Спирмена—Брауна коэффициент будет равен 0,94.

Поправочную формулу Спирмена—Брауна можно применять только в тех случаях, когда методика делится на половинки (расщепление). Если же в методике в процессе обработки не меня­ют число заданий, то поправочная формула не применяется.

Величина коэффициента надежности-гомогенности зависит от со­циально-психологических особенностей той выборки, по результа­там испытания которой этот коэффициент устанавливался. Поэтому при опубликовании методики, приводя ее основные характеристики, автору следует указать, на каком контингенте проводилась проверка надежности.

При вычислении коэффициента надежности методики, характери­зующего стабильность данных, получаемых с помощью этой мето­дики, первый коррелируемый ряд представляет собой результаты первого, а второй — повторного испытания: его рекомендуют про­водить примерно через шесть недель после первого. При необходи­мости этот срок может изменяться. Эти два ряда коррелируют меж­ду собой. Корреляция проводится по обычным правилам, о них со­общалось выше. Это прием «тест-ретест».

Для установления надежности методики существуют и некоторые другие приемы. Так, для получения коэффициента надежности практикуется прием параллельных форм. Авторы, конструирующие методику, создают две ее формы; условно назовем их формой А и формой Б. Обе формы должны быть однородны по психологической направленности, по доступности содержания заданий и по их труд­ности. В одном варианте формы Л и Б предъявляются испытуемым одна за другой, причем в одной половине выборки испытуемым сна­чала предлагается форма А, а за ней форма Б, а в другой половине выборки, наоборот, сначала форма Б, а затем А. Результаты, полу­ченные по той и другой форме, коррелируют между собой, и полу­ченный коэффициент трактуется как коэффициент надежности. Не­трудно заметить, что этот прием близок приему расщепления с той разницей, что методика как бы удвоена и сравниваются не четные и нечетные задания, а две половины этой удвоенной методики. Это дает право трактовать получаемый коэффициент скорее как коэффициент надежности-гомогенности, а не надежности-стабильности. Поскольку проверке подвергается набор заданий в целом, поправочную формулу Спирмена—Брауна применять не следует.

Другой вариант использования приема параллельных форм состо­ит- в том, что одна из форм предлагается испытуемым через какой-то интервал времени после другой, что сближает этот прием с приемом «тест-ретест». При проведении этого приема необходимо убедиться в том, что обе формы высоко коррелируют между собой, согласно только что изложенному приему по надежности-Гомоген­ности. Результаты обоих испытаний затем коррелируют. Получен­ный коэффициент может трактоваться как коэффициент надежно­сти-стабильности. Выше указывалось, что в приеме «тест-ретест» рекомендуется интервал между испытаниями шесть недель. Для этого варианта приема параллельных форм этот интервал может быть уменьшен, так как испытуемый при выполнении заданий не сможет опираться на память.

Из предшествующего изложения явствует, что в приемах уста­новления надежности главную роль играет статистический метод корреляций. Несколько по-иному обстоят дела при проверке валид­ности методики.

Если показатели того критерия, который взят для получения ко­эффициента внешней валидности, имеют примерно ту же меру рас­сеяния, меру вариативности, что и мера рассеяния показателей са­мой методики, то применение корреляции правомерно. Допустим, автор методики намерен установить ее валидность, сравнивая ус­пешность выполнения методики с учебной деятельностью. Валид­ность устанавливается на выборке школьников. В этом случае, как показывает практика, суммарные оценки за одну учебную четверть или за полугодие покажут примерно тот же размах колебаний, что и размах колебаний по методике; методика состоит из 20 заданий, и при ее выполнении показан размах колебаний от 3 до 20. Суммар­ные оценки успеваемости, после того как они подсчитаны за полго­да, имеют размах колебаний порядка от 14 до 36. Такие ряды впол­не возможно коррелировать.

Но в некоторых случаях для получения коэффициента валидно­сти приходится сравнивать успешность выполнения диагностиче­ской методики, допустим, в тех же пределах колебаний — от 3 до 20, и производственные достижения, которые имеют всего три сту­пени оценок: ниже средних, средние и выше средних. Корреляцией в этом случае воспользоваться нельзя, если иметь в виду линейную корреляцию, о которой идет речь в этой главе. Однако могут быть использованы некоторые другие статистические методы, показы­вающие существование или отсутствие связи между распределени­ем двух рядов численностей. Простейший способ получения коэф­фициента валидности в описываемом случае и в других подобных случаях — метод «хи-квадрат». Всех испытуемых, прошедших диагностический эксперимент, делят на три равные группы — их и со­поставляют с тремя группами, на которые были поделены испытуе­мые при оценке их профессиональной успеваемости.

В изучаемой выборке — 90 человек. Они делятся по профессио­нальным достижениям на три группы: первая — в ней 30 испытуе­мых — лица с профессиональными достижениями ниже среднего уровня; вторая — 40 испытуемых — это лица со средними дости­жениями, и третья — 20 испытуемых, их достижения выше средне­го уровня. Первая группа составляет 33,3% выборки, вторая — 44,4 и третья — 22,2%.

Приводим технику вычисления (табл. 9).

Таблица 9

Эксперимент, данные которого представлены в табл. 8, предпри­нимался, чтобы установить валидность психологической оценки. Нуль-гипотеза формулируется так: психологическая оценка не име­ет никакого значения для профессиональных достижений; поэтому она никак не скажется на распределении численностей в таблице-графике «хи-квадрат»;

Принятие нуль-гипотезы может произойти в том случае, если в каждой из групп по профессиональной успешности испытуемые бу­дут распределены независимо от их психологической оценки. Тогда испытуемые, получившие психологическую оценку «ниже среднего», распределятся по всем трем группам в тех же процентных отноше­ниях, в каких они распределились и по профессиональным дости­жениям. Напомним эти отношения: 33,3 — 44,4 — 22,2. Психоло­гическую оценку «ниже среднего» получили всего 30 испытуемых. 33,3% этого числа (10 человек) должны были бы попасть в группу с профессиональными достижениями ниже среднего уровня, с дос­тижениями среднего уровня — 44,4% (в среднем 13,3), с достиже­ниями выше среднего уровня — 22,2% (6,7).

Те же рассуждения повторяются и относительно испытуемых, имеющих психологические оценки «среднюю» и «выше среднего». Однако наблюдается иное распределение. Возникает вопрос: можно ли, учитывая фактическое распределение, отвергнуть нуль-гипотезу и признать, что психологическая оценка влияет на профессиональ­ные достижения? Это раскроет методика «хи-квадрат».

В клетках таблицы представлены как фактически наблюдаемые численности, так и предполагаемые согласно нуль-гипотезе; они за­ключены в скобки.

Как известно, формула хи-квадрат такова:

где f ₀ — фактически наблюденные численности, f _e — предполагае­мые численности.

Для получения значения хи-квадрат нужно суммировать по клет­кам:

Клетки

x ² = 10 + 5,2 + 0,4 + 2,5 + 0,2 + 1,6 + 2,5 + 3,7 + 0,4 = 26,5, fd — число степеней свободы.

В этом примереc = (к - 1)(с - 1) = (3 - 1)(3 - 1) = 4.

x² _0,99 при 4 степенях свободы равно 11,34.

Сравнивая полученную в эксперименте величину x² с величиной x² _0,99 , указанной в таблице значимостей, можно заключить: полу­ченная в эксперименте величина (x² = 26,5) свидетельствует о ва­лидности примененной психологической методики.

Величина хи-квадрат с указанием ее значимости служит в подоб­ных случаях показателем или коэффициентом валидности. Этот же метод применяется, если оценка дается не по трем ступеням, как в рассмотренном примере, а по пяти (значительно ниже средней, ни­же средней, средняя, выше средней, значительно выше средней и т.д.). Техника вычислений при такой дифференциации оценок ана­логична показанной выше.

Были изложены четыре типа задач и показаны статистические методы, применяемые для каждого типа. В современной диагности­ке применяются не только перечисленные в этой главе статистиче­ские методы, но и многие другие. Однако можно полагать, что, ог­раничив свою цель изложением простейших статистических мето­дов, нет необходимости обращаться к сложным и сложнейшим. Чи­татели, заинтересовавшиеся проблемами статистических методов в диагностике, могут обратиться к другим пособиям и источникам.

Элементы планирования в психологических исследова­ниях. Нельзя начинать исследование, не уяснив его цель. Это ак­сиома. Однако наблюдения показывают, что не все ее принимают. Нередко можно обнаружить смешение двух категорий целей: цель исследования и цель исследователя. Но полное доминирование цели исследователя и безразличное отношение к цели исследования не должны иметь места. Планирование должно исходить из цели ис­следования.

Есть два главных источника, стимулирующих возникновение ис­следований: либо они отвечают на запросы, выдвигаемые практи­кой, которую обслуживает данная наука, либо они возникают из нужд самой науки и имеют целью совершенствовать познание тех сфер жизни, которым посвящена данная наука. Стоит отметить, что детальное планирование необходимо и в том, и в другом случае. Мнение, будто практические исследования могут проводиться без за­ранее продуманного плана, безусловно, ошибочно; только правильно спланированное исследование может в своих выводах дать ответ на те вопросы, ради решения которых оно и задумывалось.

Различают планирование исследований, не нуждающихся в экс­перименте, и исследований, включающих эксперимент как необхо­димую часть. Что касается первых, то их планы в принципе не от­личаются от планов исследований в других науках. В вводной части (она будет примерно такой же и в экспериментальных исследовани­ях) очерчивается место данного исследования в потоке современной науки, кратко реферируются работы, затрагивающие ту же пробле­матику, указываются источники и формулируется замысел исследо­вания и его цель. Далее планируется само исследование. Все без исключения исследования вообще могут рассматриваться как сис­тема доказательств, обосновывающих выводы, в которых содержит­ся и цель, поставленная автором.

Этот план не должен рассматриваться как обязательный. Особенно­сти работы могут заставить автора в той или иной степени отойти от него, дополнить его или сократить. В исследованиях, включающих экс­перимент, во вводной части должно быть показано, зачем оказался нужным эксперимент и каковы принципы его построения.

Планирование эксперимента в психологическом исследовании пред­полагает предварительное обсуждение следующих пяти пунктов.

А. Каков планируемый объект эксперимента, другими словами, какова та выборка испытуемых, которых намерен привлечь автор? В зависимости от того, каких испытуемых возьмет автор, ему придет­ся обдумать и следующий пункт.

Б. Если необходимо работать со школьниками, то эксперимент должен быть согласован со школьными режимами — годовым, еже­недельным и ежедневным, с учетом умственной нагрузки школьни­ков. Необходимо считаться и с периодом подготовки к экзаменам и их сдачей. С первыми двумя пунктами тесно связан третий.

В. Нужны методики, которые, с одной стороны, учитывали бы особенности исследуемого контингента, а с другой — непосредст­венно вели бы к цели исследования. Когда намечены методики и время их проведения, возникает следующий пункт плана.

Г. Материалы эксперимента нуждаются в адекватной обработке и почти всегда в привлечении статистики. Планируются такие стати­стические методы, результаты которых непосредственно направлены на достижение цели исследования. Все перечисленные пункты под­готавливают планирование последнего пункта.

Д. Сколько и какой квалификации работников нужно для прове­дения эксперимента, какая понадобится аппаратура и каких средств потребует эксперимент?

Цель исследователя (а не исследования) должна подсказать, в каком виде нужно представить полученный материал: это может быть отчет, статья, часть книги или диссертация и т.д. Исследова­тель, обдумывая предстоящий эксперимент, должен иметь в виду, что полученные выводы будут относиться не только к выборке ис­пытуемых, непосредственно участвующих в эксперименте, но и к той совокупности, к которой принадлежит эта выборка. Чтобы этот расчет оправдался, нужно с достаточной определенностью предста­вить, что же это за совокупность. Поэтому важно вести экспери­мент не со случайным набором испытуемых, а с испытуемыми, об­разующими репрезентативную выборку, воспроизводящую все характерные психологические признаки совокупности. С этих же позиций репрезентативности нужно рассмотреть вопрос об объ­еме выборки. Не всегда целесообразно планировать участие боль­шой выборки в несколько сотен или тысяч испытуемых. В такой выборке почти неизбежно утратится репрезентативность, в ней, возможно, будет представлено несколько совокупностей, каждая из которых так или иначе повлияет на результаты эксперимента: их интерпретация потеряет ясность. Поэтому предпочтительнее рабо­тать с малыми и средними выборками, объемом до 30—100 испы­туемых. Чтобы решить, сколько же конкретно следует взять участ­ников эксперимента, придется провести пилотажный, или подгото­вительный, мини-эксперимент. Проведение такого эксперимента по­может выявить два необходимых момента: гомогенность выборки, ее сравнительно малую вариативность по тем признакам, которые, при прочих равных условиях, изучаются в эксперименте, и такой ее объем, который обеспечит получение всех показателей как внутри выборки, так и в ее сопоставлениях на должном уровне статистиче­ской значимости. О последнем моменте свидетельствует следующее наблюдение: допустим, что в пилотажном эксперименте на выборке 10 испытуемых получен коэффициент корреляции между двумя признаками, равный 0,55. Этот коэффициент свидетельствует о том, что коррелируемые ряды связаны между собой, однако он ниже уровня 0,95 значимости, который принят в психологических иссле­дованиях. При увеличении выборки до 12 человек коэффициент окажется на приемлемом уровне значимости — несколько выше ко­эффициента общепринятого уровня, а он равен 0,576. Вывод, кото­рый придется сделать исследователю: выборка должна состоять не из 10 испытуемых, а минимум из 12-15. Этот объем позволит по­лучить значимый коэффициент. Но определить объем выборки без пилотажного эксперимента не представляется возможным. Если ав­тор претендует на более высокий уровень значимости, то по табли­це уровней значимости он установит и объем выборки. Чем выше гомогенность выборки, тем яснее ее отнесенность к


9-09-2015, 17:43