Купер К. I индивидуальные различия/Пер, с англ. Т. М. Марютиной под ред. И. В. Равич-Щербо

собностей студентов и трудности заданий дальше уже нельзя будет улучшить. Другими словами, такая программа могла бы попытать­ся найти наиболее подходящие величины для всех параметров за­дания и способностей. Сваминатан ч Гилфорд (Swaminathan, Clifford, 1983) показали, что, когда количество заданий и испы­туемых достаточно велико, оценки параметров, получаемых та­ким способом, весьма близки к их подлинным значениям в одно-и двухпараметрической моделях, но в трехпараметрической моде­ли это весьма проблематично.

Представленная подобным образом, эта процедура выглядит довольно просто, хотя статистическое и численное установление этих параметров может быть чрезвычайно сложным процессом. Вам не следует слишком беспокоиться по поводу деталей. Для выпол­нения подобного анализа было написано несколько компьютер­ных программ. LOGIST (Wingersky et al.t 1982), RASCAL, RSP, XCalibre ASCAL (Assessment Systems Corporation, 1989) являются программами, которые пытаются установить эти личностные па­раметры и параметры заданий с помощью разнообразных методов. Важным моментом, который необходимо усвоить, является то, что эти программы могут одновременно оценивать и способности индивидуумов, и параметры различных заданий. Они также обес­печивают статистику, которая показывает, насколько близко оп­ределенная модель соответствует полученным данным, например, они позволяют определить, будет ли адекватной двухпараметри-ческая логистическая модель или необходимо также вычислить параметры угадывания для каждого задания.

Продемонстрировать, что эти программы действуют в значи­тельной степени так же, как и анализ, основанный на нашем здра­вом смысле, можно, обратившись к табл. 16.2. Она представляет оценки способностей и трудности заданий, которые были получе­ны при анализе данных, взятых из табл. 16.1, с использованием двухпараметрической логистической модели. ХКЗ, соответствую­щие данным табл. 16.2, представлены на рис. 16.6. Не принимайте эти результаты слишком серьезно — обычно считается необходи­мым основывать такой анализ на выборках из нескольких сотен человек и на тестах, включающих более пяти заданий.

Однако из табл. 16.2 действительно следует, что программы, по-видимому, дают результаты, которые в широком плане соот­ветствуют нашим предшествующим ожиданиям. Вам следует са­мим убедиться, что результаты таблицы совпадают с нашим более ранним «визуальным» анализом данных.

Рис. 16.6. Характеристические кривые заданий, данных в табл. 16.2.

Таблица 16.2

Оценки трудности заданий и способностей по данным,

представленным в табл. 16.1, базирующиеся на

двухпараметрической логистической модели

ответы, и среди пользователей существует сильно выраженная тен­денция просто сообщать эти ответы, не слишком заботясь о том, насколько выбранная модель (т.е. одно-, двух- или трехпараметри-ческая логистическая модель) действительно соответствует полу­ченным данным. Если такого соответствия нет, тогда все, что мы говорили выше об инвариантности (независимости) способнос­тей относительно параметров задания, просто оказывается непри­менимым и задания теста будут непригодны. Хэмблтон с соавтора­ми (Hambleton et а/., 1991, ch. 4) представляет хорошее обсужде­ние этого принципиально важного вопроса.

Преимущества

теории сложности заданий

Замечательной особенностью теории сложности заданий явля­ется то, что оценки способностей индивидуумов отделены от ха­рактеристик (сложности, дискриминации и угадываемости) кон­кретного набора заданий, который предъявлялся. Мы ожидаем по­лучить совершенно те же оценки способностей, независимо от того, какие именно наборы заданий предъявлялись испытуемым. Это очень непохоже на традиционное тестирование, в котором тестовые оцен­ки можно интерпретировать только по сравнению с нормами, получение которых является дорогостоящей процедурой, кроме того, трудность задания и т.п. также зависит от характеристик вы­борки, которой предъявляется тест.

Например, представим себе, что задание словарного теста предъявлялось случайной выборке людей. Мы можем обнаружить, что правильно отвечают на задание 50% выборки. Теперь вообра­зите себе, что мы присоединили к выборке довольно большое количество студентов университета — людей с высоким уровнем способностей, большинство из которых смогут ответить на зада­ние правильно. Поскольку выборка включает непропорционально большое количество испытуемых с высоким уровнем развития вер­бальных навыков, мы можем теперь обнаружить, что во второй выборке правильно ответят на задание 80% испытуемых. Таким образом, традиционные показатели трудности задания (р-значе-ния) могут изменяться соответственно составу выборки. С теори­ей сложности заданий такого не случается. При условии, что в выборке существует хорошее распределение способностей, оцен-

ки трудности задания совсем не будут зависеть от того, сколько испытуемых приходится на каждый уровень способностей. Имен­но это и означает — оценить трудность задания независимо от способностей. Точно такая же логика сохраняется и для других показателей задания — дискриминации (а) и угадывания (с.). Это делает весь процесс конструирования теста намного более лег­ким, поскольку исчезает необходимость тратить время на просле­живание случайных выборок испытуемых, в которых производит­ся оценка параметров задания. Любая удобная группа людей по­дойдет при условии, что в ней имеется необходимый разброс способностей. Количество же людей, находящихся на каждом уров­не способностей, не будет влиять на оценки параметров задания.

Что можно сказать о процессе оценивания способностей ин­дивидуумов на основе заданий теста? В значительной степени то же самое. Используя теорию сложности заданий, мы можем предъявлять любой подходящий набор заданий, чтобы получить оценки способностей респондентов, при условии, что все харак­теристические кривые заданий не собираются в пучок в одной точке, т.е. при условии, что некоторые из заданий различаются на каждом уровне способностей. Если дело обстоит так (как оно обыч­но и бывает при условии, что задания значительно варьируют по трудности и имеют низкие или умеренные параметры дискри­минации), можно оценить способности респондентов, совсем не беспокоясь по поводу количества заданий на каждом уровне труд­ностей.

Когда оценка способностей проводится с помощью традици­онного теста, где количество заданий, на которые были получе­ны правильные ответы, определяет оценку способностей респон­дентов, очевидно, что количество легких и трудных заданий в тесте будет влиять на оценки способностей. Респонденты, выпол­няющие тест, в котором большинство заданий легкие, будут по­лучать более высокие общие оценки," чем респонденты, выполня­ющие тест, в котором большинство заданий трудные. Это не со­ставляет проблему для показателей способностей, получаемых в теории сложности заданий. Поскольку эти показатели способнос­тей статистически отделены от показателей трудности заданий теста, число вопросов на каждом уровне трудности реально не имеет значения.

Тем не менее некоторые задания оказываются более полезны­ми по сравнению с другими для сбора информации о способно-

стях конкретного человека. Рассмотрим рис. 16.7. Представьте себе, что кто-то не выполнил задания С и D, но справился с задания­ми А и В. Кажется закономерным предположить, что способности испытуемого находятся где-то между 0 и 1, но будет трудно ус­тановить точно, где именно, поскольку в этом диапазоне способ­ностей вероятность правильного ответа испытуемого на любые задания в каждом случае очень близко приближается либо к 1, либо к 0. Следовательно, должна быть значительная по величине ошибка измерения, связанная с оценкой способностей в этом диапазоне.

Можно показать, что задания теста, уровни трудности кото­рых более всего соответствуют способностям человека, задания, которые имеют крутые наклоны (т.е. высокие параметры дискри­минации) и у которых параметр угадывания оказывается наиболее низким, обеспечивают наиболее полную и точную информацию о способностях респондента. Лорд и Новик (Lord, Novick, 1968) показали, что можно вычислить «информационную функцию за­дания», статистическую характеристику, описывающую диапазон способностей, для которого каждое задание обеспечивает полез­ную информацию. Если вы когда-либо захотите вычислить ее, то формула такова:

где левая часть уравнения читается; «информация, полученная с помощью задания i (имеющего показатели дискриминации, труд­ности и угадывания аi, bi, и сi)при уровне способности г?». Таким образом, если мы установили три параметра задания, мы можем теперь выяснить, насколько вероятно получить какую-либо полез­ную информацию об определенном уровне способностей. Более того, достаточно легко установить уровень способностей, при ко­тором определенное задание выдает наибольшую информацию о способностях.

Следовательно, если бы мы вычислили информационную фун­кцию для четырех заданий, представленных на рис. 16.7, это пока­зало бы, что ни одно из них не способно дать существенную ин­формацию в интервале от 0 до 1. Таким образом, информацион­ные функции заданий являются удобным способом вычисления

Рис. 16.7. Четыре ХКЗ, дающие мало информации о способностях в ди­апазоне между 0 и 1.

того, что очевидно из рис. 16.7: чтобы получить точные оценки способностей, требуются сильно различающиеся задания с уров­нями сложности, близкими к подлинному уровню способностей человека, проходящего тестирование. Установление уровня спо­собностей человека включает определение того, какие задания (известной трудности и т.д.) он может обычно выполнить пра­вильно и какие ему точно не удастся выполнить. Уровень его спо­собностей находится где-то между показателями трудности этих двух наборов заданий. Отсюда следует, что как очень трудные, так и очень легкие задания скажут нам о подлинных способностях че­ловека немного. Но задания, которые подвергают человека испы­танию на пределе возможностей, позволяют нам точно устано­вить, каковы его способности.

Адаптивное тестирование

Традиционные тесты способностей обычно адресуются отно­сительно узкому диапазону оценок способностей, чтобы избежать возникновения у респондентов чувства подавленности, когда предъявляется много очень трудных заданий, или скуки при стол­кновении с большим количеством слишком легких заданий. Бла-

годаря этому пользователи традиционных тестов оказываются в парадоксальной ситуации, когда им необходимо угадать способ­ности своих респондентов заранее, чтобы иметь возможность выб­рать тест соответствующей трудности! Даже в этом случае менее способные респонденты, по-видимому, постоянно сталкиваясь с чередой заданий, которые они не смогут решить, утрачивают мо­тивацию, в то время как высокоспособные респонденты могут испытывать чувство раздражения из-за того, что им задают вопро­сы, которые (с их точки зрения) являются раздражающе легкими. Теория заданий предлагает намного лучшую альтернативу, извес­тную как «адаптивное тестирование».

Представим себе, что большое количество заданий предъяв­ляется большой выборке испытуемых с широко варьирующим уровнем способностей — это не должна быть случайная выборка. Параметры заданий устанавливаются с помощью одной из про­грамм, упоминавшихся выше, возможно, использующих двухпа-раметрическую или трехпаhаметрическую логистическую модель. Предположим также, что выбранные модели обеспечивают хоро­шее общее соответствие данным. Теперь мы располагаем больши­ми возможностями, поскольку сравнительно просто перевести за­дания теста в компьютер и написать компьютерную программу, которая будет предъявлять испытуемому по одному заданию теста за один раз.

Сначала мы можем предъявить задание небольшой или уме­ренной трудности. Если конкретный респондент окажется не в со­стоянии выполнить его правильно, можно выбрать другое, более легкое. Если испытуемый ответит на него правильно, программа может идентифицировать более трудную задачу, используя инфор­мационную функцию задания, чтобы определить, какие задания будут давать максимальную информацию о способностях челове­ка, — и это будет продолжаться до тех пор, пока программа, нако­нец, точно не определит, какие задания испытуемый может вы­полнить правильно, а какие (более трудные) ему просто не по силам. По мере того как будет собираться все больше и больше данных, компьютерная программа сможет предугадывать с возра­стающей точностью, какие из еще не использованных заданий испытуемый будет способен выполнить правильно, а какие вы­полнить не удастся. Такая процедура позволяет установить способ­ности человека очень быстро. Опыт проведения такого рода тестов показывает, что задания обычно должны быть близки к пределу

возможностей испытуемого, но не невыполнимы, и поскольку никого не .принуждают «продираться» через слишком большое число заданий (чересчур трудных либо чересчур легких), чтобы получить информацию о способностях, вся процедура тестирова­ния может быть резко сокращена.

Имеются другие преимущества. Поскольку каждый испытуе­мый, вероятно, будет получать совершенно разный набор заданий теста (так как выбор задания, предъявляемого на каждой стадии, зависит от правильности ответов респондентов на предыдущей стадии), проблема сохранения конфиденциальности тестирования становится значительно менее актуальной, особенно если перво­начальное задание было выбрано более или менее случайно. Каж­дый человек будет проходить свой собственный, сформированный именно для него тест. Из того, что вы уже знаете об оценке спо­собностей на основе параметров теста, должно быть ясно, что не имеет значения нестандартизованность теста, т.е. тот факт, что различные респонденты будут выполнять весьма различающиеся задания теста, поскольку суждение о способностях может быть вынесено на основе выполнения любого набора заданий.

Резюме

Существует два основных подхода, которые могут быть просле­жены при конструировании психологических тестов. Один из них использует довольно простую и ясную модель — это классическая теория тестирования. В ней общий балл берется как показатель способностей, и проблемы, которые возникают благодаря этому, усугубляемые различиями в трудности заданий, в значительной сте­пени устраняются использованием норм при интерпретации оце­нок теста. Это простая модель, которая хорошо служила в тече­ние последних пятидесяти лет, хотя мне всегда казалось в высшей степени странным, что классическая модель конструирования тес­та не уделяет какого бы то ни было внимания природе трудностей задания, установлению различий между заданиями или попыткам респондентов угадать правильный ответ в тестах множественного выбора. Трудности заданий никогда явно не выделялись в тесте, который конструировался на основе классической теории. Задания крайней трудности не будут обнаруживать тенденцию коррелиро­вать с другими заданиями и, следовательно, будут элиминированы

в процессе анализа заданий. Однако существует почти святая вера в то, что распределение трудности заданий и показатели дискри­минации для остальной части заданий окажутся пригодными для всей популяции.

Теория сложности заданий адресуется другому полюсу. Она де­лает несколько довольно сильных допущений по поводу связей между способностями и успешностью выполнения заданий теста индивидуумом, и (если эти допущения действительно обоснован­ны) оказывается возможным отделить способности респондентов от трудностей выполнения заданий. Это имеет всевозможные пре­имущества для компьютеризованного адаптивного тестирования, а методика может также оказаться полезной в других вариантах приложения, таких, как идентификация искажений в заданиях тес­та. Однако что будет, если одно (или более) задание окажется не соответствующим тестируемой модели? Следует ли удалять такие задания или нужно попытаться разработать альтернативу логисти­ческим моделям, которая может лучше соответствовать таким заданиям?

Существует несколько практических трудностей, связанных с кон­струированием теста с помощью теории сложности заданий. Мощ­ные компьютеры, необходимые для того, чтобы установить пара­метры задания и личности для наборов данных ощутимых разме­ров, стали свободно доступными только в последние десять лет или около того, и это могло затормозить развитие таких измере­ний. Могут существовать и юридические проблемы, такие, как недавний проект законодательства США, в соответствии с кото­рым любой индивидуум, проходящий тестирование, должен быть в состоянии вычислить свою собственную оценку при условии, что он знает свои ответы. На практике люди, не являющиеся специа­листами, сочтут это трудным. Более того, поскольку лежащая в основе теория намного сложнее, чем классическая теория тести­рования, прикладные психологи могут с неохотой тратить время и усилия на овладение ее принципами и (если мой опыт типичен) могут откровенно скептически относиться к возможности теории заданий устанавливать способности, независимо от характеристик отдельных заданий теста. Психодиагносты также выражают бес­покойство по этому поводу. Насколько я могу судить, не суще­ствует убедительных математических доказательств того, что экс­периментально установленные оценки задания и характеристики испытуемого в полной мере соответствуют оценкам их истинных

значений. Эмпирические доказательства дают основание предпо­лагать, что при определенных условиях это возможно, но доста­точно ли этого на самом деле? И как адекватность выбора модели определяет способность теории заданий отделить характеристики личности от характеристик задания? Будет интересно увидеть, ста­нет ли психологическое тестирование XXI в. синонимом предъяв­ления адаптивных тестов на портативных микрокомпьютерах?

Предложения по дополнительному чтению

Очевидной рекомендацией здесь служит работа Хэмблтона с соавто­рами (Hambleton et ol, 1991). Она представляет собой введение в теорию сложности заданий и адаптивного тестирования, которое в более полном объеме дает все положения, представленные выше. Хэмблтон и Свамина-тан (Hambleton, Swaminathan, 1985) значительно большее внимание уде­ляют деталям, а Лорд и Новик (Lord, Novick, 1968) представляют стан­дартный текст для математически подготовленных читателей. Журнал при­кладных психологических измерений (Applied Psychological Measurement) публикует множество статей по теории сложности заданий и ее практи­ческому применению.

Ответы на задания по самопроверке

16.1. (а) 2; f - 0,8 = 0,2; 1 - 0,7 - 0,3; 1-----~- = °'15-

(б) Поскольку оценка способностей будет зависеть от ответа толь­ко на одно задание, удачный выбор содержания задания будет оказывать влияние на обе оценки. Если тест использует задания множественного выбора, правильное угадывание также будет вли­ять на оценку способностей, определяемую «по самому трудно­му из решенных заданий».

16.2. Они могут быть определены по длине перпендикуляра, восста­новленного из точки на оси X, где способности равняются 1,0, до точки его пересечения с характеристической кривой зада­ния. Существует вероятность, равная приблизительно 0,85, что кто-либо, имеющий такие способности, будет правильно выпол­нять задание, уровень трудности которого равен 0, вероятность 0,15, что он будет правильно выполнять задание, уровень труд­ности которого 2,0, и вероятность, равная 0,03, что он правиль-

16.3."

Задание Дискриминация Трудность

0,5 1,0 2,0

О

О 1,0

ПРОБЛЕМЫ ТЕСТОВ

>бщая картина

В этой главе рассматриваются некоторые проблемы, связанные с тем, что может оказывать воздействие на оценки, получаемые по тестам способностей и личности: общая ситуация, установки по отношению к тестированию и т.д. Особенное внимание уделя­ется утверждению, что психологические тесты искажают данные не в пользу различных меньшинств. В начале главы дается пред­ставление о природе ошибок теста и методах их выявления.

Главы, рекомендуемые для предварительного чтения

11, 13 и 16.

ведение

Не вызывает сомнения, что психологические тесты представ­ляют общественно значимую проблему, поскольку и в популяр­ных изданиях, и в психологических журналах выражались серьез­ные сомнения по поводу «беспристрастности» различных психо­логических тестов. Например, Кэмин (Kamin, 1974) привлекает наше внимание к способу использования некоторых ранних тестов способностей, применявшихся в США в 1920-е гг. для выявления «слабоумных» иммигрантов. Вместо того чтобы тестировать абст­рактное мышление, эти тесты включали задания, оценивающие фактические знания в области американской культуры (например, надо было назвать бывших президентов США). Неудивительно, что иммигранты (многие из которых не могли даже читать или гово-

Когда тесты систематически недооценивают или переоценивают подлинные оценки групп индивидуумов, про них говорят, что они вносят искажения против (или в пользу) определенных групп. Тесты интеллекта, о которых говорит Кэмин, вне сомнения, занижали показатели интеллекта всех тех, кто не говорил по-английски бегло и/или имел мало знаний об американском образе жизни. Члены этих групп получали оценки по тестам, которые не отражали их полного потенциала. Отметьте, однако, что искажение было обнаружено в этом случае благодаря способу использования теста: кто-то где-то отобрал тест, не подходящий для данной задачи. Тест, используе­мый в этом примере, мог оказаться совершенно адекватным в других случаях, например, для применения в школе или в психологии труда, где языковые различия не составляют проблему. Следова­тельно, важно подчеркнуть, что смещение оценок может возник­нуть из-за неправильного выбора в других условиях вполне адек­ватного теста, хотя и сами тесты могут также иметь недостатки.