Купер К. I индивидуальные различия/Пер, с англ. Т. М. Марютиной под ред. И. В. Равич-Щербо

Проблема заключается в том, что очень большое число показа­телей может быть подсчитано на основе данных, представленных в задании 16.1. Как решить, какой из показателей следует исполь­зовать? Один подход может заключаться в применении имеющей­ся математической модели, описывающей, что может происхо­дить, когда испытуемый отвечает на задания теста. Для простоты мы примем пока допущение, что имеем дело с тестом свободных ответов (тогда угадывание не составляет проблемы), каждое зада­ние которого может быть оценено как правильно или неправильно решенное.

Характеристическая

кривая задания

....

Три допущения, которые можно сделать с достаточной степе­нью надежности, таковы:

2) вероятность того, что кто-то справится с конкретным за­данием правильно, не зависит от правильности его ответов на любые другие задания, а является функцией способнос­тей человека (это известно как допущение «локальной не­зависимости»);

3) все задания шкалы оценивают только один конструкт.

Допущение локальной независимости, в сущности, означает, что каждое задание должно представлять совершенно новую про­блему и не должно быть переноса с одного задания на следую­щее — либо положительного (когда правильный ответ на один воп­рос или сам по себе необходим, или дает ключ к ответу на дру­гой), либо отрицательного (когда может быть необходимо отказаться от «приема», использованного в предыдущих вопросах, чтобы прий­ти к правильному ответу в следующем). Таким образом, допуще­ние локальной независимости не будет распространяться на такие задания, как задание 1: «Сколько будет 4 + 5?» и задание 2: «Чему будет равен корень квадратный из ответа на задание 1?», посколь­ку, если на задание 1 ответили неправильно, ответ на задание 2 также должен быть ошибочным. Ради простоты давайте рассмот­рим одиночное тестовое задание. Допущение (1), приведенное выше, говорит о том, что вероятность того, что кто-то правильно справится с заданием, зависит от его способностей и трудности этого задания. Итак, каков же наилучший способ смоделировать эту связь математически? Вы можете сначала подумать, что пря­мая линия, связывающая способности и успешность, обеспечит самую простую взаимосвязь. В конце концов, специалисты в обла­сти психометрики обычно допускают возможность линейных свя­зей между переменными, когда вычисляют корреляции и т.д. Та­ким образом, может быть, мы могли бы описать связь между спо­собностями и успешностью решения задания прямой линией? Один такой график представлен на рис. 16.1 (не обращайте пока внима­ния на буквы А, Си В).

На рис. 16.1 показано, что мы можем оценить вероятность того, что кто-то выполнит задание, используя уравнение прямой, т.е.

вероятность решения задания = а + b x способности, где а и b — константы (числа), которые могут быть установлены, например, с помощью регрессии. К сожалению, этот график, по-видимому, является в значительной степени ошибочным. Во-пер­вых, мы знаем, что вероятность правильного решения задания

Рис. 16.1. Возможная линейная связь между способностями и успешно­стью выполнения задания.

может колебаться только между 1 и 0. В отличие от тех случаев, когда линия не горизонтальна (что само указывает на то, что веро­ятность решения заданий совершенно не связана со способностя­ми), прямая линия обязывает предположить, что у студентов с очень низким или с очень высоким уровнем способностей вероят­ность решения задачи будет либо меньше нуля, либо больше еди­ницы, и это явно абсурдно. Здесь же возникает и вторая проблема. Положение линии на рис. 16.1 определяется двумя параметрами: ее наклоном и высотой (по оси Y), и, значит, оба параметра дол­жны быть установлены, когда оценивается взаимосвязь между спо­собностями и успешностью решения задания. Может быть, суще­ствует лучший способ описания этой связи — способ, который не допустит, чтобы вероятность оказалась меньше 0 или больше 1 и который основывается на одном параметре. Ради упрощения пред­положим, что мы имеем дело с тестом свободного ответа, в кото­ром респондентов просят дать один конкретный ответ (например: «Какой город является столицей Эквадора?») вместо нескольких альтернативных ответов, из которых нужно сделать выбор (напри­мер: «столица Эквадора — (а) Кито; (б) Богота; (в) Монтевидео»). При этом условии представляется разумным сделать следующие допущения.

• Вероятность того, что некто, имеющий крайне низкий уро­вень способностей, правильно ответит на тестовые задания умеренной сложности, должна быть достаточно близкой к

О, и тогда кривая должна пройти через точку А на рис. 16.1.

• Вероятность того, что некто, имеющий крайне высокий уро­вень способностей, правильно ответит на задания умерен­ной сложности, должна быть достаточно близка к 1,0, так что кривая должна пройти через точку В на рис. 16.1.

• Точка на кривой, в которой респондент имеет 50% вероят­ности правильно ответить на задания, может быть иденти­фицирована (как точка С на рис. 16.1). Эта точка соответству­ет уровню трудности задания.

• По обе стороны от этой точки существует диапазон способ­ностей, где вероятность правильно ответить на задание рав­номерно распределяется от 0 до 1,0.

• Пока будем считать, что этот разброс способностей одина­ков для каждого задания.

При наличии этих ограничений, в известной степени обуслов­ленных здравым смыслом, я предполагаю, что форма кривой, свя­зывающей способности с успешностью решения заданий, могла бы выглядеть приблизительно так, как это показано на рис. 16.2. Этот рисунок представляет "вероятность правильных ответов на за­дание для индивидуумов с различным уровнем способностей. Уро­вень трудности этого задания составляет 1,0, что соответствует точке на оси X, в которой индивидуум имеет 50% вероятности ответить на задание правильно. Графики такого типа известны как характе­ристические кривые задания (ХКЗ) (item characteristic curves (ICCs)) — это очень важный термин.

Вы могли заметить, что шкала способностей имеет как положи­тельные, так и отрицательные значения. Не беспокойтесь об этом.

Можно видеть, что шансы правильно ответить на это задание у человека, уровень способностей которого ниже —1,5, весьма не­значительны, а при уровне способностей выше 3,5 подавляющее большинство людей ответят на это задание правильно. Разные за­дания теста обычно будут иметь различные уровни трудности, и их можно удобно представить на одном и том же графике, как пока­зано на рис. 16.3, который представляет три задания с уровнями трудности 0, 2, 3.

Задание для самопроверки 16.2

Представьте себе, что некто, имеющий уровень способностей, рав­ный 1,0, ответил на три задания, характеристические кривые которых (ХКЗ) даны на рис. 16.3. Каковы приблизительно шансы, что он смо-

Рис. 16.2. Характеристическая кривая задания, уровень трудности кото­рого составляет 1,0.

Рис. 16.3. Три характеристических кривых заданий, уровень трудности которых составляет 0, 2, 3.

жет справиться с каждым заданием правильно? Какова была бы ве­роятность того, что человек, имеющий способности, равные 0, отве­тит на каждое из этих трех заданий правильно? Кривая для задания, уровень трудности которого равен 1,0, не дана, но можете ли вы, тем не менее, сказать, какова вероятность того, что испытуемый, имею­щий уровень способностей, равный 1,0, ответит на такое задание правильно?

В примерах, обсуждавшихся выше, мы приняли допущение, что задания варьируют только в аспекте их сложности. Благодаря этому характеристические кривые заданий проходят параллельно друг другу, причем наиболее трудные задания смещены вправо по шкале способностей. Поскольку трудность задания — единствен­ный параметр, который отличает одну ХКЗ от другой, разные ХКЗ, показанные на рис. 16.3, — примеры того, что называют «однопа-раметрической моделью».

Графики, изображенные на рис. 16.2 и 16.3, могут быть описа­ны довольно простым математическим уравнением, известным как «логистическая функция». Существует две главные причины для работы с логистической функцией. Во-первых, форма кривой (в отличие от линейной модели) выглядит заметно более соответ­ствующей критериям, выделенным выше, и она гарантирует, что вероятность правильного ответа на задание никогда не сможет выйти за границы диапазона от 0 до 1,0. Во-вторых, с ней легко работать, используя математические выражения, поскольку она не требует выполнения интегрирования и подобных запутанных методов. Она начинается с 0, двигается равномерно вверх по направлению к точке, характеризующей уровень сложности задания, и затем уп­лощается, по мере того как приближается к вероятности 1,0.

Представим себе, что мы имеем одно задание (задание /) и хотим вычислить вероятность, с которой личность с данным уров­нем способностейможет решить это задание правильно. Урав­нение для однопараметрической логистической функции будет иметь вид:

На самом деле оно не так страшно, как кажется на первый взгляд. Левая часть уравнения читается так: «вероятность того, что человек решит задание / правильно при условии, что он имеет

уровень способностей,' равный тЗ». В правой части уравнения е -это просто .число, приблизительное значение которого составляет 2,718; и — способности личности, а Ь. — это уровень трудности задания /'. В упражнении 16.1 вас просили, анализируя графики на рис. 16.3, установить вероятность того, что некто, имеющий спо­собности, равные 1,0, может решить задание, трудность которого равна 2,0. Теперь мы можем вычислить это непосредственно с по­мощью логистической функции.

Результат согласуется с рис. 16.3. Единственное, что может со­здать здесь для вас некоторые проблемы, — это оценка е~''7. Это число можно вычислить с помощью калькулятора или же можно обратиться к математическим таблицам значений ех.

Важный момент, который необходимо усвоить, состоит в том, что однопараметрическая логистическая функция позволяет нам вычислить вероятность решения любого задания любым челове­ком при условии, что мы знаем способности этого человека и труд­ность задания. Трудность задания определяется положением точки на шкале способностей, которая находится на полпути вдоль ХКЗ. Поскольку в эхом случае кривые начинаются при значении, рав­ном 0, и уплощаются при значении, равном 1, уровень трудности задания — это точка, где вероятность решения данного задания

составляет

До сих пор мы полагали, что каждое задание имеет равномер­ное «рассеивание» по обе стороны от уровня его трудности. На самом деле это довольно жесткое допущение. Кажется весьма ве­роятным, что ХКЗ могут иметь различные наклоны (или уровни «дискриминации»), как показано на рис. 16.4. Малая величина дис­криминации указывает на то, что индивидуумы с широким диа­пазоном способностей имеют обоснованные шансы ответить на задание правильно. Большая величина дискриминации говорит о том, что ХКЗ в значительно большей степени ориентирована вер­тикально. (Математически искушенный читатель может, вероят-

Рис. 16.4. Характеристические-кривые трех заданий.

но, рассматривать параметр дискриминации как точку перегиба на ХКЗ.)

Задание для самопроверки 16.3

Два задания на рис. 16.4 имеют уровни трудности, равные 0. Из них одно задание имеет показатель дискриминации, равный 0,5, а второе имеет показатель дискриминации, равный 1,0. Последнее задание имеет уровень трудности, равный 1,0, и показатель дискриминации, равный 2,0. Можете ли вы установить, какая из кривых связана с каж­дым из заданий?

Очень легко модифицировать уравнение 16.1 в однопараметри-ческое логистическое уравнение, чтобы принять в расчет второй параметр дискриминации, который обычно обозначается как а,. Модифицированная формула выглядит так:

Рi (правильно (уравнение 16.2),

и, таким образом, вероятность того, что человек, имеющий спо­собности (и), равные 3,0, ответит правильно на задание, имею-

щее трудность (Ц), равную 2,0, и показатель дискриминации (а), равный 0,5, будет составлять:

Pi (правильно

Не следует удивляться, узнав, что эта функция называется двух-параметрической логистической функцией, в которой два пара­метра определяют каждое задание — показатели дискриминации (аi) и трудности (bi).

Окончательный вариант логистической модели очень полезен в тех случаях, когда испытуемым предъявляется тест множествен­ного выбора. Представьте себе, что испытуемых попросили выб­рать правильный ответ из четырех возможных. Ясно, что испытуе-|мый, имеющий очень низкий уровень способностей, угадает пра­вильный ответ (при условии, что четыре альтернативы равно привлекательны) с вероятностью приблизительно 25%, и, таким образом, уровень ХКЗ не должен иметь вероятность, равную 0, а должен находиться на уровне, в большей степени соответствую­щем указанному выше. Проблема состоит в том, что мы не можем принять утверждение, согласно которому эта величина будет точ­но равна 0,25, поскольку на практике различные (неправильные) альтернативы не будут обладать абсолютно равной привлекатель­ностью для тех, кто проходит тестирование. Поэтому более пред­почтительным будет использование фиксированной величины типа 1/п (где п — число предлагаемых альтернатив), с ее помощью можно точнее установить для каждого задания лучшее положение точек перегиба. «Трехпараметрическая логистическая модель» позволяет нам, таким образом, принимать в расчет вероятность угадывания. Ее вид таков:

где, как и прежде, а. представляет показатель дискриминации за­дания, bt — его трудность, а с;. представляет вероятность, с кото­рой респондент, имеющий очень низкий уровень способностей, ответит на это задание правильно. На рис. 16.5 показаны три ХКЗ: одна с величинами д. = 1,0; Ъ. = 0,5 и с. = 0,2, другая с величинами

Рис. 16.5, Три характеристических кривых заданий для трехпараметри-ческой модели.

а.i ~ 0,5; bi — 1,0 и ct — 0,25 и третья — с величинами at = 2,0; bt = 0 к с, «0,125.

Вы можете видеть, как каждая кривая растягивается с левой стороны до значения с., которое, разумеется, допускает вероят­ность «везения в угадывании». Вам следует с осторожностью уста­навливать уровень трудности заданий при работе с трехпарамет-рической моделью, поскольку в этой модели начало ХКЗ не со­впадает с вероятностью, равной 0. Если кривая начинается на уровне 0,3 и уплощается при значении, равном 1,0, уровень труд­ности задания обозначается точкой, в которой вероятность реше-

1,0-0,3 ния задания 0,3 + ——— = 0,65.

Вы могли заметить, что каждая из формул, приведенных выше, представляет небольшое усовершенствование предшествующей. Так, если мы приравняем с. к 0 в уравнении 16.3, то получим уравнение 16.2. Если мы также примем показатель дискриминации задания я, равным 1,0, тогда мы получим уравнение 16.1.

В этом разделе были введены три математические модели, ко­торые, как можно обоснованно ожидать, описывают связи между способностями человека и его вероятной успешностью при реше­нии отдельных заданий теста. Двухпараметрическая модель, воз-

можно, является наиболее подходящей для данных, полученных в тестах свободных ответов, в то время как трехпараметрическая модель может быть полезна в случаях, когда предъявляются тесты множественного выбора. Мы показали, что довольно просто уста­новить вероятность правильного ответа на любое задание при ус­ловии, что известны параметры задания и способности человека. Основная цель теории сложности заданий состоит в том, чтобы реализовать эту логику в обратном порядке. Получив ответы инди­видуумов на задания теста, теория заданий пытается установить наиболее вероятные значения:

• одного, двух или трех параметров, связанных с каждым за­данием, и

• способностей каждого человека.

Определение способностей и параметров задания

Как упоминалось выше, основная цель теории сложности за­даний — установить уровень трудности каждого задания в тесте и (одновременно) оценить способности каждого человека, прохо­дящего тестирование. Таким образом, если тест состоит из 20 зада­ний и анализируются ответы 100 детей, нам необходимо установить 20 показателей трудности заданий, 100 показателей способностей по однопараметрической модели плюс 20 показателей дискримина­ции, если мы применяем двухпараметрическую модель, и дальше плюс 20 индексов угадывания, если мы выбираем трехпараметри-ческую модель. Каким образом мы должны все это выполнить?

Одна возможность заключается в том, чтобы просто взглянуть на данные. В табл. 16.1 представлены ответы восьми испытуемых на пять заданий теста. «Правильный» ответ обозначается 1, а непра­вильный — 0.

Упражнение

Потратьте около 5 минут, рассматривая данные в табл. 16.1. Постарайтесь выделить самое трудное и самое легкое задания, а также наиболее способного и наименее способного из испы­туемых.

Таблица 16.1 Оценки восьми испытуемых по пяти заданиям теста

Теперь рассмотрим способности людей, принимавших учас­тие в решении теста. Оба — и Шэрон, и Брайан — имеют общую оценку 4, и, согласно классической теории тестов, следует счи­тать, что они имеют равные способности. Однако вы можете ви­деть в табл. 16.1, что это допущение излишне упрощает ситуацию, поскольку мы утверждали раньше, что задание 5 несколько слож­нее, чем задание 4. Брайан, таким образом, справился с ответом на более сложное задание правильно, но не смог решить более простое. Шэрон ответила на более легкий тест правильно, но не смогла решить более сложный. Поэтому кажется оправданным счи­тать, что Брайан должен иметь более высокую оценку по этой черте, чем Шэрон.

Сравните оценки, полученные Джеймсом и Фионой. Как вы думаете, кто'из них более способный и почему?

Критический пункт, который необходимо иметь в виду в этом случае, состоит в том, что, когда мы оцениваем уровень трудно­сти заданий, мы пытаемся учитывать способности респондентов, и наоборот. Приблизительным и неформализованным способом мы пытаемся установить (разумеется, разобравшись в сути дела) -будет ли оценка способностей человека независимой от уровня трудности заданий теста, которые предъявлялись. Подобным обра­зом мы пытаемся установить трудность каждого задания, прини­мая в расчет различия в способностях респондентов.

Принципиально важно помнить следующее положение: тео­рия сложности заданий ставит целью измерять способности неза­висимо от трудности конкретных заданий, которые предъявлялись. Она также стремится установить параметры задания — трудность/ дискриминацию/угадывание — способом, который совершенно не зависит от особенностей выборки индивидуумов, которым при­шлось проходить тестирование. Это значительно контрастирует с классической теорией тестирования, в которой оценка человека рассматривается как показатель его способностей, и это полнос­тью смешивается с различиями в трудности заданий теста. Один и тот же показатель может быть получен высокоспособным студен­том, которому предъявлялись трудные задания теста, или студен­том с низким уровнем способностей, которому предъявлялись лег­кие задания.

Выше я доказывал, что характеристическая кривая задания (ХКЗ) показывает вероятность выполнения определенного зада­ния теста индивидуумами с различными уровнями способностей. По-видимому, можно написать компьютерную программу, кото­рая проводила бы грубую прикидочную оценку способностей раз­личных людей (возможно, на основе количества правильно вы­полненных заданий) и затем, зная эти способности, устанавлива­ла бы уровни трудности каждого задания. Тот же процесс можно было бы в последующем повторить в обратном порядке, когда способности студентов устанавливаются на основе статистических данных о трудности заданий. Этот процесс можно было бы повто­рять раз за разом, добиваясь лучших оценок способностей и пара­метров задания на каждой стадии до тех пор, пока оценки спо-