Купер К. I индивидуальные различия/Пер, с англ. Т. М. Марютиной под ред. И. В. Равич-Щербо

Корреляции между каждым заданием и общей оценкой настоль­ко тесны, насколько мы можем приблизиться к оценке корреля­ции между каждым заданием и подлинной оценкой, следователь­но, кажется разумным изъять те задания, которые имеют неболь­шие корреляции с общей оценкой, еще раз тщательно проверив, что каждый аспект черты измеряется определенным заданием, и убедившись, что оставшиеся задания приблизительно поровну распределены по каждому из аспектов. Поэтому, хотя процедура анализа заданий включает удаление тех из них, которые имеют низкую корреляцию с общей оценкой на каждой стадии, это да­леко не всегда будет самое низкокоррелирующее задание.

Существует одна явная проблема, возникающая при корреля­ции заданий с общей оценкой. Она состоит в том, что каждое задание вносит свой вклад в общую оценку, и, значит, мы в изве­стной мере коррелируем его с самим собой. Чтобы обойти эту слож­ность, мы обычно основываем анализ заданий на «скорригиро-ванных корреляциях "задание х общая оценка"» или же на «от­корректированных по Гилфорду корреляциях "задание х общая

оценка"». В данном примере задание 1 будут коррелировать с сум­мой заданий 2, 3, 4 и 5, задание 2 будут коррелировать с суммой заданий 1, 3, 4 и 5 и т.д. Были предложены и другие методы для вычисления таких поправок, но они имеют психометрические про­блемы (Cooper, 1983).

Каждый раз, когда задание изымается, следует подсчитывать надежность теста (альфа). По мере того как убираются задания, имеющие низкие корреляции с общей оценкой, величина альфа будет расти. Если изымается все больше и больше заданий, вели­чина альфа в конце концов начнет падать, поскольку она зависит как от средней корреляции между заданиями, так и от числа зада­ний в тесте. Конечно, устранение «плохих» заданий увеличивает среднюю корреляцию между оставшимися заданиями, но это так­же делает тест короче. Задания последовательно удаляются (на ос­нове анализа их скорригированных корреляций в парах «задание х х общая оценка» и аспектов теста, с которыми они связаны по своему происхождению) до тех пор, пока тест не станет корот­ким, хорошо сбалансированным и высоконадежным.

Одна весьма неприятная особенность этого способа анализа состоит в том, что невозможно просто посмотреть на таблицу скор­ригированных корреляций заданий и общей оценки и исходя из этого точно решить, какие задания следует изъять. Это происходит потому, что общая оценка каждого человека будет неизбежно ме­няться каждый раз, когда удаляется задание. Следовательно, ре­шив, какое задание изымать, необходимо заново пересчитывать общие оценки, все корреляции оставшихся заданий с общей оцен­кой и на каждой стадии пересчитывать коэффициент альфа. Мягко говоря, это утомительно. Однако я написал компьютерную про­грамму на языке Бейсик (внесена в список в работе: Kline, 1986), которая осуществляет такой анализ автоматически. Модернизиро­ванную версию для компьютеров системы Эппл Макинтош мож­но найти с помощью моей страницы в Интернете, сервер Школы психологии в Королевском университете Белфаста (http:// www.psych.qub.ac.uk). С другой стороны, этот анализ может быть относительно свободно выполнен с помощью имеющейся в SPSS процедуры установления надежности.

Задание для самопроверки 18.2

(а) Что может факторный анализ, взятый изолированно, обнаружить в структуре теста?

(б) Почему в классическом анализе заданий необходимо после уда­ления задания заново пересчитывать все корреляции между каждым заданием и общей оценкой?

(в) Назовите четыре проблемы, связанные с конструированием тес­тов с помощью критериального принципа.

Следующие шаги

Когда анализ заданий закончен, задача того, кто конструирует тест, все еще далека от завершения. Инструкции (и возможно, бланки для ответов) должны быть отточенными. Примеры заданий должны быть разработаны и проверены; затем переработанный (бо­лее короткий и скорее всего более надежный) тест предъявляется другой выборке, состоящей приблизительно из 200 человек, для повторной проверки его надежности и факторной структуры. На этой стадии следует также установить его валидность (например, путем конструктной валидизации, как описано в главе 13). В случае тестов способностей должен быть отмечен объем времени, кото­рый требуется испытуемым для выполнения теста, и должно быть принято решение, какие временные ограничения (если они пре­дусмотрены) следует установить. В руководстве по применению теста следует представить результаты этих анализов, инструкции по предъявлению теста, схему обработки и как можно больше дока­зательств того, что тест надежен и валиден. •

Резюме

В этой главе дано представление о нескольких основополагающих принципах написания заданий как для тестов способностей, так и для личностных тестов. Анализ заданий предлагается рассматри­вать как процедуру для выделения и изъятия заданий, которые оказываются несоответствующими и которые снижают надежность и/или валидность теста. Обсуждены четыре метода проведения анализа заданий: критериальный подход, факторный анализ, тео­рия сложности заданий и классический анализ заданий. Существен­ные проблемы были выделены в широко распространенной мето­дике критериального подхода; теория сложности заданий требует специализированных компьютерных программ; поэтому для со-

здания коротких; надежных и потенциально валидных шкал реко­мендуются факторный анализ и классический анализ заданий.

Предложения

по дополнительному чтению

Книга Галликсена (Gulliksen, 1986) представляет обязательное чте­ние для любого, кто заинтересован в оценке способностей и достижений в обучении. Книга Клайна Руководство по конструированию теста (Kline, 1986) содержит множество хороших практических советов по поводу це­лостного процесса разработки и валидизации теста, так же как и книги Моше и Зейднера (Moshe, Zeidner, 1995), а также Спектора (Spector, 1992). Ссылки на специфические методы анализа ответов на задания теста можно найти в главах 14, 15 и 16.

Ответы на задания по самопроверке

18.2. (а) Факторный анализ может показать, сколько отдельных конст­руктов измеряется с помощью набора заданий; другие методы исходит из допущений, что измеряется только один конструкт. Иногда набор заданий может измерять две весьма высококор­релирующих, но различных способности, например, флюидный и кристаллический интеллекты, и действительно, Кэттелл (Cattell, 1971) утверждает, что эти два фактора обнаруживаются, когда используется факторный анализ для исследования тестов, скон­струированных с помощью классического анализа заданий.

(б) Каждый раз, когда удаляется задание, общая оценка каждого испытуемого меняется, и поэтому корреляции всех других зада­ний с общей оценкой также изменятся.

(в) Тест-будет иметь очень низкую (возможно, равную нулю) на­дежность, так как почти определенно будет измерять сочетание черт. Произвольный выбор критерия для измерения будет силь­но влиять на задания, которые образуют тест. Поскольку между заданиями теста и критерием вычисляется очень много корре­ляций, некоторые из них могут оказаться значимыми чисто слу­чайно. Аналогично этому, часть заданий, которые следуегвклю-чить, не будут включены. Он также практически не имеет теоре­тических оснований: сконструировав тест, мы не имеем реального понимания того, почему он работает и что он измеряет.

ИЗМЕРЕНИЕ

НАСТРОЕНИЯ

И МОТИВАЦИИ

Общая картина

Поскольку главы 13, 14, 15, 16 и 18 были посвящены оценке стабильных черт (таких, как общие способности или экстравер­сия), до сих пор не упоминалась оценка состояний — настроения и мотивации. Эта оценка оказывается значительно более сложной, чем, по-видимому, считает большинство создателей тестов, по­этому необходимо рассмотреть основные вопросы измерений, преж­де чем продолжать обсуждение теорий настроения и мотивации, описанных в главе 10.

Главы, рекомендуемые

для предварительного чтения

11, 14 и 15.

Эта глава всецело посвящена измерению состояний, В отличие от черт, состояния не являются стабильными, устойчивыми ха­рактеристиками индивидуумов — такими, например, как экстра­версия и вербальные способности. Напротив, состояния в высшей степени непостоянны, меняются от часа к часу или от минуты к минуте. Более полное обсуждение подлинной природы состояний дается в главе 10, но существенный момент, который надо иметь в виду, заключается в том, что они изменяются по интенсивности.

Выделяются два основных класса состояний: состояния настро­ения и мотивационные состояния. Настроения — это хорошо зна­комые подъемы эмоций, которые мы ощущаем утром перед эк-

заменом, или любуясь прекрасным закатом, при просмотре вол­нующего зрелища на сцене или экране или после посещения важ­ного матча, который наша команда выиграла. Некоторые теорети­ки проводят различия между настроениями и эмоциями, но, как я указывал в другой работе, это опасная практика (Cooper, 1997). Второй основной класс состояний — мотивационные состояния — внутренние ощущения, которые побуждают нас есть, когда мы голодны, проводить часы, занимаясь благотворительной деятель­ностью, выполняя бескорыстную, добровольную работу, тратить время и деньги в поисках партнера и т.д. В этой главе рассматрива­ется, как можно оценивать указанные два типа состояний и опре­делять шкалы, которые целенаправленно их измеряют.

Должно быть показано, что шкалы, измеряющие настроения, точно так же как и шкалы, измеряющие черты, являются надеж­ными и валидными. Как можно оценить надежность шкалы на­строения? Качество, которое совершенно определенно не должно обнаружиться, — это высокая временная стабильность (ретестовая надежность). Поскольку настроение меняется в течение времени, а черты остаются неизменными, в том случае, если обнаруживает­ся, что индивидуумы имеют высокосходные оценки в двух ситуа­циях, это дает серьезные основания считать, что шкала измеряет какую-либо черту, а не состояние. Однако можно вычислить на­дежность шкалы состояний по внутренней согласованности, и как должно быть понятно из главы 13, — это в любом случае теорети­чески более полезное измерение надежности. Таким образом, на­дежность шкаЯ настроения может быть установлена измерением их внутренней согласованности, так же как и для шкал, измеряю­щих черты.

Оценка валидности шкал, измеряющих настроение, несколько более проблематична, поскольку состояния (по определению) длятся только короткий период и чувствительны к средовым вли­яниям; необходимо измерять настроение (или мотивацию) и оце­нивать его по поведенческому критерию почти в одно и то же время. Не будет большого смысла в том, чтобы измерять настрое­ние (один раз) в понедельник, а затем коррелировать эти оценки с данными критерия, полученными в пятницу, поскольку уровень настроения/мотивации будет почти наверняка другим.

Конструктную валидность шкалы настроений можно было бы, разумеется, оценить, коррелируя оценки однократно измеренных настроения и мотивации с показателями по другим критериям,

29 - 989

По этой причине более продуктивным будет провести лонги-тюдное исследование и посмотреть, как настроение и мотиваци-онное состояние варьируют по отношению к собственному базис­ному уровню каждого индивидуума. Например, оценки по опрос­никам состояния и определенные поведенческие критерии (или ранги) можно получить у одного человека во многих ситуациях, по ним вычислить корреляции, чтобы определить, имеет ли чело­век склонность выглядеть более тревожным приблизительно в то же время, когда опросник показывает, что он и чувствует наи­большую тревогу, не слишком обращая внимание на привычный уровень его тревожности как черты.

Можно также установить валидность по содержанию для шкал настроения, поскольку некоторые настроения имеют клиническую окраску — тревога, депрессия и т.д. Например, трудно было бы ут­верждать, что шкала настроения, которая устанавливает симптомы депрессии в DSM-IV, не была бы валидна. Однако подобный подход значительно более труден для мотивационных состояний.

Несколько сложнее установить прогностическую валидность шкал, измеряющих настроение или мотивацию, так как прогноз предполагает оценку будущего поведения, в то время как по своей природе настроение и мотивы преходящи. Оценки индивидуумов по шкалам, которые измеряют мотивацию и настроение, вряд ли будут в состоянии предсказывать стабильные аспекты будущего по­ведения, такие, как профессиональный успех или физическое здоровье. Любые исследования прогностической валидности долж­ны выполняться в течение нескольких минут (или в лучшем случае часов), но не месяцев или лет, и об этом говорится в нескольких публикациях.

При просмотре любых публикаций Института Бьюроса обна­руживается, что было разработано весьма озадачивающее количе­ство разнообразных тестов, особенно для оценки настроения. Не­которые из них предназначены для оценки отдельных настроений (например, Опросник тревожности как черты и состояния и Кон­трольный список прилагательных для оценки депрессии), в то же время такие опросники, как Профиль состояния настроения (POMS) (Lorr, McNair, 1988), Контрольный список прилагатель­ных для оценки настроения (HMACL-4) (Howarth, 1988), Опрос­ник восьми состояний (8SQ) (Curran, Cattell, 1976), Шкала диф­ференциальных эмоций (DES-III) (Izard etal, 1982), Контрольный список прилагательных для оценки настроения, по Новлису (Nowlis, Nowlis, 1956), Контрольный список прилагательных для оценки настроений (UWIST) (Matthews et al, 1990) и Шкала на­строения, по Клайду (Clyde, 1963), претендуют на измерение не-которого числа отдельных состояний настроения. Как обсуждалось в главе 10, существуют надежные доказательства того, что все эти мультишкальные тесты измеряют два обобщенных показателя на­строения, известных как позитивный и негативный аффекты (Zevon, Tellegen, 1982; Watson, Tellegen, 1985; Lorr, Wunderlich, 1988; Watson et al, 1988; McConville, Cooper, 1992). Эти шкалы очень широко используются, особенно POMS, привлекающая к себе всеобщий интерес в области психологии спорта.

Четыре проблемы в измерении настроения

Большинство упоминавшихся выше шкал были сконструиро­ваны путем предъявления наборов прилагательных группам доб­ровольных испытуемых, к которым обращались с просьбой про-ранжировать, насколько точно каждое из них характеризовало их чувства или поведение в данный момент, а не то, как они обычно себя чувствуют или действуют. Сторонники такого под­хода к конструированию шкалы настроения считают, что это до­статочная гарантия того, что шкала измеряет состояние, а не чер­ту личности.

29*

В-третьих, этот метод конструирования шкал настроений (фак­торизация корреляций между заданиями на основе однократного предъявления теста большой группе людей) представляет собой совершенно такой же прием, который использовался при нахож­дении личностных черт. Поэтому можем ли мы когда-либо вообще быть уверены в том, что эти шкалы измеряют состояния настрое­ния? Наивное предположение, что измеряется «состояние», толь-

ко потому, что инструкция просит испытуемых описать свои чув­ства «в данный момент», не кажется особенно научным. Во всяком случае имеются лучшие способы конструирования шкал настрое­ний, и они будут обсуждаться в следующем разделе.

Последнее обстоятельство, вызывающее мое беспокойство, связано с условиями, при которых обычно предъявляются опрос­ники, и с влиянием продолжительности тестирования на характер выполнения заданий. Предполагается, что настроение исключи­тельно чувствительно к условиям среды, поэтому условия, в кото­рых испытуемые заполняют опросники, по-видимому, влияют на получаемые оценки, и это в свою очередь будет влиять на число и природу извлекаемых факторов настроения. Поэтому обращение к большой группе студентов с просьбой заполнить опросники на­строений кажется весьма недальновидным — трудно вообразить, что кто-либо мог чувствовать себя испуганным, жизнерадостным, оживленным или возбужденным, например, сидя в учебной ауди­тории, с трудом пробираясь через опросник, содержащий сотни заданий, ради получения зачета по курсу. Следовательно, в том, как отвечают на такие задания испытуемые, будет обнаружено лишь небольшое число индивидуальных различий, поэтому задания не будут формировать факторы. Однако, если тест предъявлялся в бо­лее естественных условиях, вполне возможно, что в ответах на задания такого типа индивидуальные различия будут обнаружены и выявятся факторы. Весьма вероятно, что предъявление опросни­ков в таких условиях не сможет обнаружить некоторые важные настроения, которые должны были выявиться, если бы тот же са­мый опросник заполнялся в случайно выбранных ситуациях по­вседневной жизни людей.

Задание для самопроверки 19-1

Опишите четыре проблемы традиционных шкал настроения.

Обнаружение основных параметров настроения, таким обра­зом, — запутанная проблема, и существует мало надежных дока­зательств, что мы приблизились к ее разрешению. Большинство попыток сделать это оказались безуспешными по любой из четы­рех причин, упоминавшихся выше, и при детальном исследова­нии этих шкал нередко возникают аномалии. Например, Опрос­ник восьми состояний, разработанный Каррэном и Кэттеллом,

предположительно, измеряет восемь совершенно разных настрое­ний, тем не менее корреляции между некоторыми шкалами со­ставляют приблизительно 0,7—0,8, если принимается в расчет их надежность (Matthews, 1983). То же самое справедливо для Шкалы Ховарта (Howa'rth, Young, 1986). Сказанное дает основание пола­гать, что конвергентная валидность некоторых из этих шкал весь­ма сомнительна. Здесь не место исследовать психометрические свой­ства всех этих шкал в деталях, но даже при самом внимательном прочтении тестовых руководств и опубликованной литературы ча­сто не удается обнаружить достаточно много убедительных доказа­тельств их валидности. Тем не менее в следующем разделе мы рас­смотрим метод конструирования шкалы, который гарантирует, что она будет измерять состояние настроения, а не черту, устраняя тем самым одну из главных проблем, очерченных выше.

Ключевая характеристика; которая отделяет настроение от лич­ностных черт, состоит в том, что настроение изменяется во време­ни, тогда как личностные черты остаются более или менее посто­янными. Это основополагающее различие может быть использова­но при конструировании шкал, в отношении которых можно показать, что они измеряют настроение, а не личность. Рассмот­рим, например, опросник, состоящий из пяти утверждений, пред­ставленный в табл. 19.1.

Предположим, что одного человека просят ответить на утвер­ждения, указанные в табл. 19.1, в нескольких ситуациях. Напри­мер, представим себе, что испытуемый заполнял этот опросник из четырех пунктов в одно и то же время суток последовательно в течение 20 дней. Рисуя графики, в значительной степени похожие на те, которые изображены на рис. 19.1, можно показать, как от­веты меняются день ото дня. (Я произвольно решил поместить ежедневные ответы на утверждения (а) и (Ь) на первый график, а ежедневные ответы на утверждения (с), (d) и (е) на второй гра­фик, поскольку нанесение всех пяти вариантов на один и тот же график мешало их восприятию.) Из графиков такого типа можно узнать довольно много о структуре настроений.

Например, ясно, что ответы на утверждения (а) и (Ь) обнару­живают тенденцию изменяться (возрастать и убывать) параллель-

Таблица 19.1 • Пять утверждений из гипотетического опросника

	Полностью согласен	Согла­сен	Нейтральное отношение	Не согласен	Полностью не согласен
			Ч	2	1
(а) В данный момент			J
я чувствую себя
достаточно бодрым
(Ь) Мне легко сосре-	5	4	3	2	1
доточиться
			•t	2	1
(с) Мое сердце силь-	5		j
но бьется
			7	2	1
(d) Я обеспокоен	5		J
больше чем обычно
(е) Как правило, я	5	4	3	2	1
предпочитаю одино-
чество обществу дру-
гих людей