Прогностическая валидность психодиагностической методики «профориентатор» (по материалам отсроченного анкетирования) Предыстория и краткое описание методики



Скачать 395.21 Kb.
страница1/3
Дата17.05.2016
Размер395.21 Kb.
  1   2   3

Серебряков А.Г., Кононова В.Н., Алтухов В.В., Иванова О.Н., Шмелев А.Г.


ПРОГНОСТИЧЕСКАЯ ВАЛИДНОСТЬ ПСИХОДИАГНОСТИЧЕСКОЙ МЕТОДИКИ «ПРОФОРИЕНТАТОР» (по материалам отсроченного анкетирования)

Предыстория и краткое описание методики

Психологическая компьютеризированная методика «Профориентатор» разработана коллективом научных сотрудников под руководством профессора А.Г.Шмелева. Первоначальный вариант компьютерной программы-методики под названием «Тест профессиональных склонностей» был разработан еще в системе тестирования MAINTEST-DOS в 1997 году (программа MAINTEST разработана А.Г.Шмелевым - см. Shmelyov. 1996). В соответствии с решением Ученого совета Московского Государственного Университета им. М.В.Ломоносова об открытии центра профориентационного и психологического тестирования, цель методики была сформулирована ясно и очень конкретно: спрогнозировать, насколько подходит или не подходит вчерашнему школьнику та или иная профессия согласно перечню из 16-ти факультетов МГУ. С того времени методика видоизменилась, хотя принципы построения методики остались прежними - гетерогенный тест с заданиями на выбор ответа, раздельным контролем времени по субтестам на способности и автоматизированным ранжированием профилей профессии по близости к профилю тестируемого. История разработки и подробное описание данного теста опубликовано в отдельной статье (Иванова, Одинцова, 2006).

Дата выпуска версии программы-методики для ОС Windows, разработанной О.Н.Кононовым, под названием «Профориентатор» - 16 июля 2002 года. Расширились задачи, которые обслуживает методика, расширился перечень рекомендуемых направлений профессионального образования. В 2003 году компьютерный диагностический комплекс «Профориентатор» получил официальное признание на уровне Министерства Образования Российской Федерации 1.

Современная версия «Профориентатор» состоит из трех больших блоков тестовых заданий: на структуру интересов (восемь шкал), способностей (семь шкал) и личности (четыре шкалы).

Результаты тестирования включают:

1) шкальный профиль – с баллами в стенах по каждой шкале;

2) словесные интерпретации, подробно по каждой шкале;

3) списки наиболее подходящих тестируемому профессий, по каждому блоку и с учетом всех блоков (на основании степени сходства полученного профиля с полученными экспертным путем идеальными профилями успешных представителей более 90 профессий);

4) рекомендованные школьнику развивающие тренинги;

5) профиль рекомендуемого тестируемому дальнейшего профильного обучения (на шестилучевой диаграмме-мишени, в стенах, на основании показателей интегральных S-шкал). Подробное описание направлений профильного обучения и примеры конкретных профессий описаны ниже.

При этом научная лаборатория, возглавляемая А.Г.Шмелевым, постоянно контролировала психометрические свойства данного теста, такие как надежность, внутренняя валидность, репрезентативность.

ПСИХОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ ТЕСТА

Репрезентативность Комплекс стандартизирован на выборке подростков от 13 до 18 лет, прошедших профориентационную консультацию на факультете психологии МГУ и в Центре тестирования и развития "Гуманитарные Технологии". Расчет норм для версии "ПРОФОРИЕНТАТОР-4.2" проведен на выборке около 1000 испытуемых (клиенты Московского Центра).

Нормы для Москвы и регионов разные. Для региональных центров используются нормы, рассчитанные более чем на 1000 протоколов испытуемых из различных регионов России.



Нормы для разных возрастов тоже отличаются, в каждой возрастной группе по несколько сотен человек.
Надежность-согласованность (коэф. Альфа Кронбаха) Данный коэффициент представляет собой оценку надежности, базирующуюся на гомогенности шкалы или сумме корреляций между ответами испытуемых на вопросы внутри одной и той же тестовой формы.




Шкала теста

Коэффициент

Техника

0,78

Наука

0,71

Искусство

0,83

Общение

0,77

Бизнес

0,63

Знак

0,6

Природа

0,72

Риск

0,76

Вычисления

0,55

Лексика

0,55

Эрудиция

0,56

Зрительная логика

0,48

Абстрактная логика

0,57

Внимание

0,52

Активность

0,71

Согласие

0,62

Самоконтроль

0,71

Эмоциональная стабильность

0,71




Внутренняя валидность Внутренняя валидность тестовых шкал устанавливалась с помощью конфирматорного факторного анализа: ключи присваивались только тем пунктам, которые дают значимые и интерпретируемые корреляции с суммарными баллами по заранее заданным субшкалам теста. Все ключевые пункты теста значимо коррелируют со «своими» шкалами со средним коэффициентом корреляции равным 0,31. Показатели внутренней валидности теста:

Шкала теста

Среднее значение корреляции

вопросов со шкалой






Техника

Наука


Искусство

Общение


Бизнес

Знак


Природа

Риск


Вычисления

Лексика


Эрудиция

Зрит.логика

Абс.логика

Внимание


Активность

Согласие

Самоконтроль

Эмоц.стабильность




0,45

0,36


0,47

0,41


0,29

0,26


0,37

0,40


0,21

0,21


0,22

0,19


0,22

0,22


0,33

0,28


0,33

0,40





При данном объеме выборки (946 испытуемых) значимым на уровне значимости p>0,001 является коэффициент корреляции больше 0,11. Следовательно, можно увидеть, что вопросы из всех шкал теста обладают необходимыми параметрами внутренней валидности.


Актуальность изучения прогностической валидности теста

Однако до недавнего времени масштабно и всерьез не изучалась внешняя прогностическая валидность методики «Профориентатор» - этот ключевой показатель практической ценности методики, важнейший вид обоснованности, который указывает на пригодность психодиагностической методики для выдвижения прогноза. Отчасти это объясняется спецификой самого качества прогностической валидности (Predictive validity). Дело в том, что она определяется по внешнему критерию, информация по которому собирается не сразу при проведении психодиагностического тестирования, а спустя некоторое время. В нашем случае для оценки прогностической валидности важно было подождать несколько лет, чтобы прошедшие тестирование вчерашние школьники уже стали студентами вузов.

В недавнее время к исследованию прогностической валидности «Профориентатора» позволил приступить накопленный богатый материал диагностики и консультирования школьников: только в Московском Центре (а в стране сейчас действует 200 центров, использующих данную методику) за последние 10 лет более 20 тысяч школьников получили профессиональную помощь при выборе специальности, вуза, с использованием результатов компьютеризированного теста «Профориентатор».

Пришло время проанализировать ценность данной методики с точки зрения практической цели прогнозирования будущего реального профессионального выбора, субъективной удовлетворенности и объективной успешности обучения в вузе по определенному направлению.



Процедура исследования

Из общего массива 12000 записей (по базе клиентов профориентации Московского центра за 4 года) были отобраны для телефонного опроса более 1500 бывших старшеклассников с сохранившимися контактными телефонами и протоколами тестирования за 2005-2006 гг. По специально разработанной анкете было организовано телефонное интервью, которым были охвачены более 500 человек.

Затем были отфильтрованы и закодированы для статистики материалы, удовлетворяющие всем условиям: в выборку были включены испытуемые, если ФИО, возраст и дата тестирования школьника в протоколе тестирования и в компьютерной базе телефонных данных полностью совпадают; человек в настоящий момент учится в вузе; интервьюер получил четкие ответы на все вопросы анкеты. Так были отобраны 457 случаев.

Для дальнейшего статистического анализа была создана специальная компьютерная программа перевода тестовых баллов шкал из старых протоколов в показатели S-шкал. Напомним, что S-шкалы - это вторичные (secondary) интегральные шкалы по направлениям профильного обучения, появившиеся лишь в последней версии методики «Профориентатор».



Направления профильного обучения (S-шкалы)

  1. Физико-математическое направление: предполагает у школьников выраженный интерес и способности к прикладной математике, инженерным профессиям, в сфере информационных технологий - к «харду». Типичные профессии: инженер-механик, инженер-физик, архитектор, инженер-специалист по низким температурам.

  2. Социально-экономическое направление: связано с выраженным интересом старшеклассников к общественной сфере – к экономике, праву, менеджменту, социологии. Типичные профессии: экономист-аналитик, юрист, маркетолог, менеджер организации, биржевик, трейдер.

  3. Естественно-научное направление: круг профессий, предполагающих деятельность, связанную с природными качествами и объектами – в области химической промышленности, медицины, биологии, геологии, географии. Типичные профессии: эколог, стоматолог, педиатр, специалист по генетике, специалист контроля качества химических соединений, ландшафтный дизайнер.

  4. Лингвистическое направление: круг профессий для активных гуманитариев с практической направленностью и, как правило, с отличным владением иностранными языками, а именно: журналист, переводчик, специалист по регионоведению, специалист по связям с общественностью, менеджер по сервису и туризму.

  5. Технологическое направление: круг профессий для тех, кто предпочитает иметь дело с теоретической математикой, с виртуальными объектами, с документами, интересуется информационными технологиями (софтом). Типичные профессии: программист, дизайнер, экономист-математик, секретарь, делопроизводитель, инженер-технолог, инженер микросистемной техники, специалист по прикладной информатике.

  6. Гуманитарное направление: сфера деятельности академических гуманитариев – филология, философия, искусствоведение, культурология, история. Типичные профессии: психолог, преподаватель, искусствовед, редактор, актер, художник-график.

Для формализовано-количественного анализа результатов по материалам телефонного интервью была реализована определенная схема контент-анализа – проведена экспертная оценка-категоризация так называемых «жизненных выборов»: эксперты классифицировали каждый сделанный нашими клиентами выбор вуза и специальности в рамках указанных выше шести профильных направлений обучения. То есть, каждый выбор был отнесен к одной (либо двум) из шести категорий 2. Затем были сопоставлены результаты тестирования и материалы анкетирования, с применением методов математической статистики и, в частности, частотно-непараметрического анализа матриц сопряженности для крайних групп.

Для анализа были поставлены следующие вопросы:

- Насколько удачно показатели по тесту «Профориентатор» прогнозируют реальный индивидуальный выбор профессии (по направлениям или c точностью до S-шкал)?

- Каков процент совпадения между рекомендуемыми профессиями (по результатам тестирования школьников) и их отсроченным реальным выбором профессии, специальности?

- Каковы уровни удовлетворенности нынешних студентов, последовавших и не последовавших рекомендациям, сделанным в центре профориентации по результатам тестирования?

- Каков процент соответствия на уровне S-шкал между результатами тестирования и «жизненным выбором» в подгруппе лиц, крайне недовольных своим выбором?

- Насколько отличаются исходные тестовые баллы тех, кто в итоге выбрал рекомендованное ему направление профессионального обучения, и тех, кто НЕ выбрал профессию, специальность в данном направлении?

- Отличаются ли по уровню успеваемости в профильном вузе тестируемые с крайними тестовыми баллами по соответствующей S-шкале?

Основные результаты исследования

На выборке 457 человек процент соответствия жизненного выбора рекомендациям психолога-профконсультанта на основании результатов компьютерного профориентационного тестирования оказался равным 63 %. Уже этот простой показатель иллюстрирует прогностичность тестирования. На диаграмме 1 наглядно показана разница вероятности успешного выбора профессии с учетом результатов теста «Профориентатор» либо в случайном порядке, «методом проб и ошибок».


Диаграмма 1. Сравнение вероятности успешного (правильного) выбора профессии с учетом тестирования либо в случайном порядке.

Если не брать в расчет 15 случаев, когда человек сделал случайный или вынужденный выбор (заведомо, в силу жизненных обстоятельств, не последовал рекомендациям и зачастую недоволен), то этот показатель составляет 65%.

В подгруппе с мотивом «по призванию» (когда школьник выбирает то, что лично ему нравится, чем ему интересно заниматься) этот показатель составляет 64,4%3.

Насколько хорошо оценки по отдельным S-шкалам «Профориентатора», полученные нынешними студентами еще в период школьного обучения, прогнозируют профильное направление реально выбранной ими профессии?

Какова вероятность, что вчерашний школьник успешно овладеет профессией в определенной сфере, в отношении которой он получил тестовый балл выше среднего? Косвенно об успешности можно судить по уровню успеваемости в вузе.

Сразу оговоримся, что направления профильного обучения не охватывают полностью все многообразие существующих профессий (так, по результатам тестирования с помощью методики «Профориентатор» вы не получите данные, свидетельствующие о выдающихся спортивных или музыкальных наклонностях тестируемого – для этого нужны узко-специальные тесты, а не единый универсальный тест). Тем не менее, данный диагностический комплекс учитывает значимое большинство имеющихся профессий.

Для анализа соотношения тестовых баллов и выбранного впоследствии профильного обучения мы использовали метод крайних групп и Phi-коэффициент корреляции Гилфорда для таблиц сопряженности 2*2.

Также мы очистили данные от заведомо случайных выборов («за меня родители решили», «больше некуда было идти, пошел учиться на психолога», «за компанию с другом») и проанализировали данные по лицам, принимавшим решение более ответственно, с учетом собственных личных интересов, предпочтений, характера.
Проиллюстрируем полученные показатели на примере двух направлений: лингвистического и технологического 4.

Таблица 1. Четырехклеточная таблица для лингвистического направления




итоговый выбор

балл по тесту



Выбрал вуз по рекомендованному направлению

Не выбрал соответствующий вуз

высокий балл

39

25

низкий балл

8

45

Для подгруппы (мотив «по призванию», с крайними баллами по четвертой шкале), 117 чел.

Процент совпадений рекомендаций и выбора составляет 71,8%.

Phi -коэффициент равен 0,46, что больше критического значения 0,18 (Phi –критическое на уровне ошибки p<0,05).

Таблица 2. Четырехклеточная таблица для технологического направления


итоговый выбор

балл по тесту



Выбрал вуз по рекомендованному направлению

Не выбрал соответствующий вуз

высокий балл

18

28

низкий балл

14

97

Для подгруппы (мотив «по призванию», с крайними баллами по пятой шкале), 157 чел.

Процент совпадений рекомендаций и выбора составляет 73,2%.

Phi -коэффициент равен 0,30 > 0,16 (Phi –критическое на уровне значимости p<0,05).


Существенные для статистического анализа показатели по всем шести направлениям профильного обучения представлены в сводном виде в нижеследующей таблице № 3.
Таблица 3. Сводная таблица (для лиц с мотивом «по призванию»)

Номер и наименование

S-шкалы


Кол-во человек с крайними баллами

процент

совпадений



Phi -коэффициент по сравнению с Phi -критическим (при p < 0,05)

1. физико-математическое

131

60,3%

0,28 > 0,17

2. социально-экономическое

79


67,1%

0,33 > 0,22

3. естественно-научное

101

53,5%

0,24 > 0,19

4. лингвистическое

117

71,8%

0,46 > 0,18

5. технологическое

157

73,2%

0,30 > 0,16

6. гуманитарное

140

60,7 %

0,29 > 0,17

Каталог: modules -> articles
modules -> Николай Васильевич Бугаев о свободе воли
modules -> И. В. Рождественский Феномен чтения
modules -> Программа для учащихся 7 класса
modules -> Verlag Freies Geistesleben GmbH. Stuttgart, Москва Предисловие Эта небольшая книга
modules -> Психодиагностика и психокоррекция как направления деятельности психолога
modules -> Программа развития эмоциональной чувствительности
modules -> «моя педагогическая философия»
modules -> «Язык как средство общения»
articles -> Комплекс тестирования "профориентатор": психометрические и прагматические свойства теста


Поделитесь с Вашими друзьями:
  1   2   3


База данных защищена авторским правом ©dogmon.org 2019
обратиться к администрации

    Главная страница