Валидность методики как определить: Надёжность и валидность психодиагностических методик

21. Определения валидности. Важнейшие составляющие валидности. Психодиагностика

21. Определения валидности. Важнейшие составляющие валидности. Психодиагностика

ВикиЧтение

Психодиагностика
Лучинин Алексей Сергеевич

Содержание

21. Определения валидности. Важнейшие составляющие валидности

Валидность (англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

В психодиагностике валидность – обязательная и наиболее важная часть сведений о методике, включающая данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оценки, результаты других методик, достоверность которых установлена и т.

 д.), связь изучаемой области поведения или особенности личности с определенными психологическими конструктами.

Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных.

В большей степени достоверность данных теста определяется набором измеряемых свойств. Различные категории этих сведений и способы их получения образуют типы валидности .

Диагностическая (конкурентная) валидность отражает способность теста дифференцировать испытуемых по изучаемому признаку. Сведения, характеризующие степени обоснованности и статистической надежности развития исследуемой психологической особенности в будущем, составляют прогностическую валидность методики.

Два этих типа валидности нередко объединяют в понятие эмпирической валидности.

Здесь подчеркивается общность подхода к их определению, который осуществляется путем статистического коррелирования баллов (оценок) по тесту и показателей по внешнему параметру, избранному в качестве валидизации критерия (см. валидности критериальная). Критерий валидности выступает в качестве меры, показателя исследуемых психологических особенностей.

Подтверждение гипотез свидетельствует о теоретической обоснованности методики, т. е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным.

Валидность содержательная (внутренняя, логическая) – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям.

Наряду с перечисленными основными типами валид-ности (содержательной, критериальной и конструктной) на практике выделяют

факторную, перекрестную (конвергентную) и дискриминантную валидности.

Данный текст является ознакомительным фрагментом.

19.

 Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм

19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм Важнейшим средством повышения надежности психодиагностических методик является стандартизация процедуры обследования. При строгой регламентации процедуры

22. Основные типы валидности. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик

22. Основные типы валидности. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик Классификация типов валидности в достаточной мере условна, так как нередко для различных критериев валидности применяются

23. Конструктная валидность.

Конвергентная и дискриминантная валидности

23. Конструктная валидность. Конвергентная и дискриминантная валидности Конструктная валидность – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать

27. Синтетическая и инкрементная валидности

27. Синтетическая и инкрементная валидности Синтетическая валидность. Более эффективным с точки зрения практической направленности теста (его адекватности как средства диагноза и прогноза реальной деятельности) является соотнесение результатов с критериальными

28. Текущая и эмпирическая валидности

28. Текущая и эмпирическая валидности Текущая валидность (диагностическая, конкурентная) – характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике.

В более узком

31. Очевидная, экологическая, иллюзорная (ложная) валидности

31. Очевидная, экологическая, иллюзорная (ложная) валидности Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности Соответствие теста измеряемому психическому свойству называется валидностью теста. На валидность теста негативно влияют случайные факторы, поэтому в психометрике принято

33. Математическое выражение критерия валидности (коэффициент Гилфорда).

Основные схемы валидизации психодиагностических

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда: При

Глава 5. Оценка валидности утверждений

Глава 5. Оценка валидности утверждений Оценка валидности утверждений (иногда обозначаемая аббревиатурой ОВУ) на сегодняшний день является наиболее популярной методикой для оценки правдоподобности утверждений, представленных в устной форме. Эта методика была

«Важнейшие окна»

«Важнейшие окна» Из всех видов нам, людям, требуется больше всего времени для полного развития головного мозга. Несмотря на то что в детстве все отделы мозга развиваются с разной скоростью, начало полового созревания знаменует один из наиболее радикальных периодов

Причины искажения валидности

Причины искажения валидности Как мы увидели, конечной целью планирования исследования всегда является достижение валидных выводов об изучаемом феномене. Неудачный исследовательский план ставит валидность под сомнение, не устраняя спорных моментов и ограничивая

Глава 5. Оценка валидности утверждений

Глава 5. Оценка валидности утверждений Оценка валидности утверждений (иногда обозначаемая аббревиатурой ОВУ) на сегодняшний день является наиболее популярной методикой для оценки правдоподобности утверждений, представ-, ленных в устной форме. Эта методика была

4. Год и его важнейшие точки

4. Год и его важнейшие точки Внимательно рассмотрев год, мы поймем, что он представляет собой круг. В нем есть фиксированные, постоянные точки. Годовой круг разделен на четыре части четырьмя фиксированными точками – двумя точками равноденствия и двумя точками

Определение валидности теста

Определение валидности теста

Лекции и практикум по психологии — Психодиагностика

Занятие. Определение валидности теста Вводные замечания Валидность – комплексная характеристика, включающая сведения о том, пригодна ли методика для измерения того, для чего она была создана, и какова её действенность, практическая полезность. Соответственно, процесс проверки валидности (валидизация) в первом случае называется теоретической валидизацией, а во втором – прагматической валидизацией. Если показатели надёжности и дискриминативности могут быть вычислены определённо и однозначно, то установление валидности – гораздо более разносторонняя и менее однозначная процедура. Существует множество различных типов валидности, основными из которых являются: валидность по содержанию, а также критериальная, конкурентная, конструктная, инкрементная и дифференциальная валидности. Эти типы валидности подробно рассмотрены в учебном пособии [38]. Настоящее занятие посвящено определению критериальной валидности теста. Критериальная валидность – это способность теста дифференцировать испытуемых по изучаемому признаку. В качестве таких признаков могут выступать познавательные процессы, способности, личностные характеристики. Критериальная валидность определяется по результатам вычисления коэффициента корреляции между результатами тестирования с экспертными оценками по соответствующим критериям. В таблице 9.4.1 представлены результаты диагностики социального интеллекта выборки студентов-психологов с помощью методики Гилфорда-Салливэна, а также усреднённые экспертные оценки проявлений социального интеллекта в различных видах интерперсонального взаимодействия. Эти данные будут использованы для изучения технологии определения критериальной валидности.   1 2 3 4 5 6 7 8 9 10 11 12 13 9 11 8 4 32 4,9 5,5 5,3 5,1 4,9 4,9 4,7 35,3 13 11 11 6 41 4,77 5,46 4,54 5,15 5,54 5,08 4,62 35,16 11 9 8 3 31 4,8 5,6 5,5 5 4,8 4,5 4,9 35,1 9 10 9 8 36 4,77 5 4,92 5 4,54 4,92 4,77 33,92 12 10 11 5 38 4,38 4,92 4,54 5,62 4,46 5,08 4,77 33,77 10 8 8 3 29 4,6 4,7 5,5 4,9 4,6 4,5 4,8 33,6 13 9 9 6 37 5,1 5,2 4,9 5 4 4,8 4,5 33,5 12 8 9 8 37 4,4 4,6 4,9 5 4,9 4,8 4,3 32,9 13 8 7 5 33 4,54 4,85 4,77 5 4,54 4,31 4,54 32,55 13 7 10 7 37 4,1 5,3 4,9 5,2 4,1 4,6 4,2 32,4 11 9 10 5 35 3,77 4,85 4,54 4,46 5,15 4,54 4,54 31,85 7 9 9 7 32 4,15 4,69 4,46 4,69 4,77 4,62 4,38 31,76 12 6 9 6 33 3,9 4 5 4,9 4,8 4,3 4,4 31,3 12 7 8 7 34 4,1 4,3 4,7 4,7 4,8 4,4 4,1 31,1 10 7 8 7 32 4,2 4,3 5 4,9 3,9 4,4 4,4 31,1 11 10 10 7 38 4,1 4 5 4,7 3,8 4 4,4 30 14 7 8 4 33 4,15 4 4,31 4,08 4,38 4,08 4,23 29,23 13 10 11 6 40 3,62 4,08 3,92 4 4,54 4,08 4,08 28,32 8 6 8 4 26 3,7 3,5 4,3 4,5 4,6 3,8 3,8 28,2 13 9 9 3 34 2,6 4,3 3,9 3,6 5 3,4 3,9 26,7           2,77 4,23 3,46 3,15 1,85 3,15 3,31 21,92 Порядок работы Изучив содержание субтестов методики Гилфорда-Салливэна и содержание критериев оценки социального интеллекта (см. табл. 9.4.1), выбрать для каждого субтеста наиболее подходящий внешний критерий. Вычислить коэффициенты ранговой корреляции Спирмена между результатами диагностики социального интеллекта по каждому из субтестов с соответствующими экспертными оценками. Вычислить коэффициент корреляции между композитной оценкой по тесту с суммарной экспертной оценкой. Сделать вывод о критериальной валидности субтестов (выбрав по результатам вычислений более адекватный данному субтесту критерий), а также теста в целом. Отчёт должен включать а) обоснование выбора внешнего критерия для каждого субтеста; б) результаты вычисления коэффициентов корреляции; в) обоснованные выводы о критериальной валидности субтестов и теста в целом. Приложение к занятию. Алгоритм расчёта коэффициента ранговой корреляции Спирмена Проранжировать значения переменной Х, приписывая меньшему значению меньший ранг. Занести в таблицу полученные значения рангов Rx. Поступить также со значениями переменной Y. Подсчитать разности dмежду рангами Rx и Ry. Внести полученные результаты в соответствующий столбец таблицы. Возвести каждую разность в квадрат и заполнить следующий столбец таблицы. Подсчитать сумму квадратов. 5.   При наличии одинаковых рангов рассчитать поправки: Тх = ∑(а3 — а) /12 ; Ту = ∑(b3 —b) /12, где а – объём каждой группы одинаковых рангов в ряду Х; b– объём каждой группы одинаковых рангов в ряду Y. Критические значения для объёма выборки п = 27 равны 0,38 (р = 0,05) и 0,48 (р = 0,01). Источник: Леонова Е. В. Эмпирические методы психологического исследования: Учебное пособие. – М.: НИЯУ МИФИ, 2014. – 324 с.

Как определить валидность и надежность инструмента

Как определить валидность и надежность инструмента
Автор: Юэ Ли разработка и тестирование любого инструмента (например, теста для оценки содержания, вопросника) для использования в исследовании. Внимание к этим соображениям помогает обеспечить качество ваших измерений и данных, собранных для вашего исследования.

Понимание и тестирование Валидность

Валидность относится к степени, в которой прибор точно измеряет то, что он намеревается измерить. Исследователи и оценщики должны учитывать три общих типа валидности: содержательная, конструкционная и критериальная валидность.

• Валидность содержания указывает степень, в которой элементы адекватно измеряют или представляют содержание свойства или признака, который исследователь хочет измерить. Экспертная оценка предмета часто является хорошим первым шагом в разработке инструмента для оценки достоверности содержания по отношению к области, которую вы изучаете.
• Достоверность конструкции указывает степень, в которой метод измерения точно представляет конструкцию (например, скрытую переменную или явления, которые не могут быть измерены напрямую, такие как отношение или убеждение человека) и дает наблюдение, отличное от того, которое производится мерой другого конструкта. Общие методы оценки валидности конструкции включают, но не ограничиваются ими, факторный анализ, корреляционные тесты и модели теории ответа на вопросы (включая модель Раша).
• Валидность, связанная с критерием указывает степень, в которой показатели инструмента коррелируют с внешним критерием (т. е. обычно другим измерением другого инструмента) либо в настоящее время ( параллельная валидность ), либо в будущем ( прогностическая валидность ) . Обычным измерением этого типа достоверности является коэффициент корреляции между двумя показателями.

Часто при разработке, модификации и интерпретации валидности данного инструмента исследователи и оценщики вместо того, чтобы просматривать или тестировать каждый тип валидности по отдельности, проверяют доказательства нескольких различных форм валидности коллективно (например, см. Сэмюэля Мессика). работа над валидностью).

Понимание и тестирование надежности

Надежность относится к степени, в которой прибор дает согласованные результаты. Общие меры надежности включают внутреннюю согласованность, повторное тестирование и надежность между экспертами.

• Надежность внутренней согласованности рассматривает согласованность оценки отдельных элементов инструмента с оценками набора элементов или субшкалы, которая обычно состоит из нескольких элементов для измерения одной конструкции. Альфа Кронбаха — один из наиболее распространенных методов проверки надежности внутренней согласованности. Групповая изменчивость, надежность оценки, количество элементов, размер выборки и уровень сложности инструмента также могут влиять на значение альфа Кронбаха.
• Тест-ретест измеряет корреляцию между баллами от одного введения инструмента к другому, обычно в интервале от 2 до 3 недель. В отличие от пре-пост-тестов, между первым и вторым введением инструмента никакой обработки не происходит, чтобы проверить надежность повторного тестирования. Аналогичный тип надежности называется альтернативные формы , предполагает использование немного отличающихся форм или версий инструмента, чтобы увидеть, дают ли разные версии согласованные результаты.
• Надежность между оценщиками проверяет степень согласия между оценщиками (т. е. теми, кто выполняет задания по инструменту). Обычные ситуации, когда участвует более одного оценщика, могут возникнуть, когда более одного человека проводят наблюдения в классе, используют протокол наблюдения или оценивают открытый тест с использованием рубрики или другого стандартного протокола. Каппа-статистика, коэффициенты корреляции и коэффициент внутриклассовой корреляции (ICC) являются одними из часто сообщаемых показателей межэкспертной надежности.

Разработка действительного и надежного инструмента обычно требует многократных итераций пилотного запуска и тестирования, что может потребовать значительных ресурсов. Поэтому, когда они доступны, я предлагаю использовать уже проверенные и надежные инструменты, такие как опубликованные в рецензируемых журнальных статьях. Однако даже при использовании этих инструментов вам следует перепроверить достоверность и надежность, используя методы вашего исследования и данные ваших собственных участников, прежде чем проводить дополнительный статистический анализ. Этот процесс подтвердит, что инструмент работает, как предполагалось, в вашем исследовании с изучаемой вами популяцией, даже если они идентичны цели и популяции, для которых инструмент был первоначально разработан. Ниже приведены несколько дополнительных полезных материалов, которые помогут вам понять, что такое валидность и надежность.

Ресурсы для понимания и проверки надежности

• Американская ассоциация исследований в области образования, Американская психологическая ассоциация и Национальный совет по измерению в образовании. (1985). Стандарты педагогического и психологического тестирования . Вашингтон, округ Колумбия: Авторы.
• Бонд, Т.Г., и Фокс, К.М. (2001). Применение модели Раша: фундаментальные измерения в гуманитарных науках . Махва, Нью-Джерси: Лоуренс Эрлбаум.
• Кронбах, Л. (1990). Основы психологического тестирования.  Нью-Йорк, штат Нью-Йорк: Harper & Row.
• Карминс, Э., и Зеллер, Р. (1979). Оценка надежности и валидности . Беверли-Хиллз, Калифорния: Sage Publications.
• Мессик, С. (1987). Срок действия . Серия отчетов об исследованиях ETS, 1987: i–208. doi:10.1002/j.2330-8516.1987.tb00244.x
• Лю, Х. (2010). Использование и разработка инструментов измерения в естественнонаучном образовании: подход к моделированию Раша . Шарлотта, Северная Каролина: век информации.

 

Оценка достоверности вашего исследования – измерениеU

Вы часто слышите, что результаты исследований не являются «достоверными» или «надежными».

Подобно многим научным терминам, вошедшим в наш обиход, эти термины часто используются как синонимы.

На самом деле валидность и надежность имеют разное значение и разные значения для исследователей.

Валидность относится к тому, насколько хорошо результаты исследования измеряют то, для измерения чего они предназначены . Сравните это с надежностью, которая означает стабильные результаты с течением времени.

Например, если вы четырежды взвешиваетесь на весах и получаете значения 165, 164, 165 и 166, то вы можете сказать, что весы достаточно надежны, поскольку веса постоянны. Если, однако, вы весите 175 фунтов, а не 165, измерение весов маловероятно!

Надежность необходима, но недостаточна для установления достоверности.

Аналогичным образом, если мы попросим 500 клиентов в разное время в течение недели оценить вероятность того, что они порекомендуют продукт (при условии, что никакие релевантные переменные не изменились за это время), мы получим оценки 75%, 76% и 74%, мы можем назвать наше измерение надежным.

Вопрос о вероятности рекомендации используется для расчета Net Promoter Score (NPS). NPS предназначен для предсказания двух вещей. Во-первых, он предназначен для прогнозирования того, сколько клиентов будут рекомендовать в будущем, исходя из того, что клиенты говорят сейчас. Рекомендации клиентов, в свою очередь, предсказывают рост компании. Если NPS не делает различий между быстрорастущими и медленнорастущими компаниями, то этот показатель маловероятен.

Тестовая валидность и экспериментальная валидность

Не путайте этот тип валидности (часто называемый тестовой валидностью) с экспериментальной валидностью, которая состоит из внутренней и внешней валидности. Внутренняя валидность показывает, насколько мы можем доверять причинно-следственным утверждениям, вытекающим из нашего исследования. Внешняя валидность указывает уровень, до которого результаты обобщаются.

Валидность теста получила свое название от области психометрии, которая началась более 100 лет назад с измерения интеллекта по сравнению с успеваемостью в школе с использованием тех стандартизированных тестов, которые мы все ненавидим. Несмотря на то, что мы редко используем тесты в исследованиях пользователей, мы используем их побочные продукты: анкеты, опросы и показатели юзабилити-тестов, такие как показатели выполнения задач, затраченное время и ошибки.

Итак, хотя мы говорим о валидности теста как об одной общей концепции, на практике она состоит из трех составных частей: содержательной валидности, валидности критерия и конструктной валидности.

Чтобы определить, имеет ли ваше исследование валидность, вам необходимо рассмотреть все три типа валидности, используя трехстороннюю модель, разработанную Cronbach & Meehl в 1955 году, как показано на рис. 1 ниже.

Рисунок 1 : Трехсторонний взгляд на валидность, который включает валидность по критерию, по содержанию и по конструкции.

Валидность контента

Идея валидности контента заключается в том, что вопросы, заданные в опросе, анкете, тесте на удобство использования или в фокус-группе, поступают из более широкого набора релевантного контента. Например, если вы измеряете словарный запас третьеклассников, ваша оценка включает подмножество слов, которые третьеклассникам необходимо выучить.

Прямая мера достоверности контента отсутствует. Чтобы установить достоверность содержания, вы консультируетесь с экспертами в этой области и ищете единое мнение. Таким образом, измерение достоверности содержания влечет за собой определенную долю субъективизма (хотя и с консенсусом).

Когда я разработал SUPR-Q, опросник, который оценивает качество взаимодействия с пользователем веб-сайта, я сначала проконсультировался с другими экспертами о том, что описывает качество веб-сайта. Этот консенсус контента включал такие аспекты, как удобство использования, навигация, надежный контент, визуальная привлекательность и макет.

Валидность, связанная с критериями

Следующая часть трехсторонней модели — достоверность, связанная с критериями, которая имеет измеримый компонент. Обычно исследование клиентов проводится, чтобы предсказать результат — лучший пользовательский опыт, более довольные клиенты, более высокие коэффициенты конверсии, больше рекомендаций клиентов, больше продаж. Мы можем думать об этих результатах как о критериях. Мы хотим, чтобы наши меры правильно предсказывали эти критерии.

Чтобы оценить достоверность критерия, мы соотносим нашу меру с критерием, используя коэффициент корреляции r. Чем выше корреляция, тем выше валидность критерия. Обычно мы хотим, чтобы критерий оценивался по золотому стандарту, а не по какой-либо другой мере (например, по конвергентной валидности, обсуждаемой ниже).

Два типа валидности критерия — одновременная и предиктивная — отличаются только количеством времени, прошедшим между нашей мерой и результатом критерия.

	Параллельная достоверность измеряет корреляции с нашими критериями, которые происходят одновременно. Например, корреляция вероятности клиентов продлить услугу в течение нескольких дней после периода продления. Параллельная валидность часто используется в образовании, где новый тест, скажем, математических способностей коррелирует с другими оценками по математике, проводимыми школой.
	Прогностическая достоверность измеряет корреляции с другими критериями, разделенными определенным периодом. Используя тот же пример, мы можем измерить вероятность того, что клиенты продлят подписку в начале года, а затем сопоставить ее с клиентами, которые продлили подписку в конце года.

 

Конструктивная валидность

Конструкции, такие как удобство использования и удовлетворение, являются неосязаемыми и абстрактными понятиями. Когда мы объявляем продукт пригодным для использования, мы хотим быть уверены, что им действительно легко пользоваться. Когда мы говорим, что клиенты довольны, мы должны быть уверены, что действительно оправдали их ожидания.
Конструктивная валидность измеряет, насколько хорошо наши вопросы дают данные, которые измеряют то, что мы пытаемся измерить. Как и валидность, связанная с критериями, валидность конструкции использует корреляцию для оценки валидности. Конструктивная валидность бывает двух видов: конвергентная и дискриминантная.

Конвергентная достоверность показывает, насколько хорошо показатель коррелирует с другими показателями, которые якобы измеряют то же самое. Это похоже на параллельную валидность, за исключением того, что мы сопоставляем с другими показателями, а не с критерием золотого стандарта, таким как наблюдаемое использование, продажи или звонки в службу поддержки. Чтобы измерить конвергентную валидность, попросите участников исследования ответить на ваши вопросы вместе с ранее проверенным инструментом. Например, когда я проверял SUPR-Q, участники также отвечали на шкалу удобства использования системы (SUS) как на меру конвергентной валидности. Корреляция между коэффициентом юзабилити по обоим опросникам высокая (r > 0,8), что свидетельствует о высокой конвергентной валидности.

Дискриминантная валидность устанавливает, что одна мера не связана с другой мерой. Например, мы не ожидаем, что показатели удобства использования будут коррелировать с энергопотреблением мобильных приложений. Мы часто создаем новую меру, скажем, волнения клиентов. Если наша мера воодушевления клиентов сильно коррелирует с их удовлетворенностью, то, вероятно, мы измеряем одно и то же и не имеем доказательств дискриминантной валидности. В идеале вы можете показать как дискриминантную, так и конвергентную валидность с помощью ваших мер по установлению конструктной валидности.

 

Хотя трехсторонняя модель валидности сама по себе находится под постоянным контролем, она существует до сих пор и была стандартом на протяжении десятилетий. Он является основным при определении достоверности результатов исследования.

Чтобы сделать метод измерения действительным, необходимо использовать все три типа достоверности.

• Действительность содержания : Проконсультируйтесь с другими экспертами, чтобы уточнить меры и убедиться, что вы охватываете все аспекты.
• Валидность, связанная с критерием : Соотнесите показатель с каким-либо внешним критерием золотого стандарта, который должна предсказывать ваша мера, например коэффициентами конверсии, продажами, показателями рекомендаций или фактическим использованием клиентами.
• Конструктивная достоверность : Соотнесите меру с другими известными мерами. Свяжите новую меру удобства использования с SUS. Свяжите новый показатель лояльности с Net Promoter Score. Высокие корреляции указывают на конвергентную валидность. Если предполагается, что ваша мера измеряет что-то иное — восторг по сравнению с удовлетворением, — тогда ищите низкую корреляцию или ее отсутствие, чтобы установить дискриминантную валидность.