Каким типом валидности не должна обладать методика: Проблемы валидности психодиагностических методик. Виды валидности. Эмпирические способы определения валидности.

Психометрические критерии тестов: валидность и ее типы

• Главная
->
• Государственный экзамен по специальности Психология личности (бакалавриат)
->
• Психодиагностика

---

1 Понятие валидности

2 Типы валидности

К числу основных критериев оценки психодиагностических методик относится надежность и валидность. Большой вклад в разработку этих понятии внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.).

В критерии качества теста наряду с репрезентативностью (фр. показательностью – свойством выборки стандартизации представлять характеристики всей популяции) относятся валидность и надежность.

1 Валидность (от англ.

valid – пригодный). По А. Анастази, валидность – критерий качества теста, указывающий, «что тест измеряет и насколько хорошо он это делает». Русскоязычными синонимами валидности являются достоверность, обоснованность, адекватность. Чем валиднее тест, тем лучше в нем отображается то качество(свойство), ради которого он создался. Н-р, валидность измерения интеллекта зависит от теоретического(авторского) понятия «интеллект», от состава тестовых задач, соответствующей теоретической концепции, от эмпирических критериев (стаж, образование, профессия и т.д.).

2 Выделяются два типа валидности: непосредственная (или первичная) и производная (или вторичная).

1. Внутри непосредственной валидности выделяют:

а) внешнюю валидность. Ее наличие означает, что впечатление, которое создается у неспециалистов при знакомстве со стимульным материалом и внешней стороной процесса тестирования, соответствует объявленному содержанию теста.

Внешняя валидность может находиться в разных отношениях к подлинному психологическому содержанию теста. В одних случаях (например, при тестировании умственных способностей) внешняя валидность соответствует этому содержанию. В других случаях (в личностных тестах) она помогает маскировать подлинное содержание теста – испытуемый должен поверить в другое, мнимое содержание, указанное в инструкции. Тем самым предупреждается возникновение установки на выдачу фальсифицированных, в том числе социально нормативных ответов.

б)имманентная (внутренняя, содержательная) валидность.Валидизация производится на основе применения «внутренних» критериев. В качестве таковых выступают признаки, указанные в определении психического свойства, отражающегося в содержании теста. Наличие этих (и только их) признаков устанавливается путем анализа всех основных компонентов теста (стимульного материала, процедуры тестирования, системы выставления «сырых» баллов). При этом не используются какие-либо сложные математико-статистические процедуры, а разработчик ограничивается наблюдением за поведением испытуемых, их интервьюированием, оценками экспертов, выполняющих данный тест.

2. Производная, или вторичная валидность характеризуется сопоставлением тестовых методик с каким-либо внешним критерием:

а) оценочная валидность основана на вычислении коэффициента корреляции между оценками по тесту и показателями оценочных суждений (рейтинга) экспертов. В качестве экспертов выступают лица, имеющие достаточно длительное и тесное общение с испытуемыми.

б) конструктивная валидность указывает на то, что здесь речь идет о теоретической конструкции, о конструкте, посредством которого результаты тестов могут быть проверены на валидность. Значение конструктной валидности заключается в теоретическом объяснении того, что измеряет данный тест. Н-р, мы хотим с помощью теста измерить чувство страха перед экзаменами. Степень валидности этого измерения можно определить лишь в том случае, если проверить возможность подтверждения позитивных или негативных реакций, предсказываемых теоретически. В частности, 1) падает ли под влиянием временного фактора успеваемость учащегося, испытывающего чувство страха перед экзаменами, особенно сильно;2)отличается ли в подобных ситуациях реакция лиц с сильно развитым интеллектом от реакции интеллектуально менее развитых людей;3)можно ли подтвердить появление сопутствующих явлений (пот, дрожь) и т.д.

в) конвергентная (сходящаяся) и дискриминантная (разделяющая) валидность связаны с конструктной валидностью. Наиболее оптимальной ситуацией при создании нового теста является та, когда для измерения данного свойства в психологии уже имеется процедура с известной валидностью. В этом случае разработчик ищет корреляцию между баллами двух тестов.Если эта корреляция оказывается высокой, то говорят, что новый тест обладает конвергентной валидностью по отношению к старому, или тесты конвергируют друг с другом. Если он оказывается более компактным и экономичным в проведении и подсчете, то обычно применяют его. Н-р, если создается тест интеллекта, то часто результаты по нему сравнивают со шкалой Векслера или другими методиками.

От критерия конвергентности неотделима проверка теста по принципу дискриминантной валидности. Если созданный психологический конструкт адекватно отражает психическую реальность, то корреляция между конвергентными тестами будет выше, корреляции между каждым из этих тестов и измерителями любых других свойств.

Конвергентная и дискриминантная валидность проявляются и в следующем. Измеряемое психическое свойство имеет не одно, как правило, а несколько внешних поведенческих проявлений, которые естественно должны высоко коррелировать друг с другом. В связи с этим создание адекватного конструкта должно означать, что его автор в состоянии предсказать, какие именно внешние проявления данного психического свойства будут «конвергировать» друг с другом.

г) практическая валидность рассматривается в двух видах: прогностическая и совпадающая.

Они характеризуют тест с точки зрения его ценности в отношении достижения определенной практической цели (прогнозирования, классификации, диагностики). Количественно эти виды валидности определяются путем вычисления коэффициента корреляции между оценками представителей стандартизации по тесту, с одной стороны, и показателями их учебной или профессиональной деятельности, принятыми в качестве внешнего критерия, с другой.

Прогностическая валидность– это степень соответствия теста задаче прогнозирования успешности, с которой испытуемый будет выполнять определенную деятельность в будущем. Н-р, необходимо составить прогноз об успеваемости учащихся в вузе. Прогноз должен быть выполнен к концу обучения в начальной школе в форме результатов тестирования. По происшествии определенного времени, накануне окончания вуза, определяется успеваемость и устанавливается взаимосвязь с прогностическими данными.

Совпадающая валидность применяется при решении задач классификации испытуемых или диагностики имеющихся у них недостатков.

Таким образом, если тест, обладающий прогностической валидностью, позволяет ответить на вопрос, «Какова вероятность того, что индивид Х со временем приобретет свойство У?», то наличие у теста совпадающей валидности позволяет получить ответ на вопрос: «Какова вероятность того, что индивид Х обладает свойством У?».

Различные виды и типы валидности являются по отношению друг к другу не альтернативными, а взаимодополняющими. Следовательно, что эффективная тестовая методика может быть создана только на основе системного подхода. Вначале необходимо обеспечить валидность содержательно-теоретического типа (имманентную – для тестов с простым содержанием и оценочную или конструктивную – для тестов с более сложным содержанием). Затем, основываясь на данных о психологическом содержании теста, выяснить его соответствие тем или иным практическим целям(прогностическим или диагностическим). Наконец, на 3-ем этапе принимаются меры для придания тесту внешней валидности.

Операциональная валидность. Операционализация переменных, операциональная и конструктная валидность

Валидность — соответствие конкретного исследования принятым стандартам (безупреч­ному эксперименту).

Валидность внешняя — соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и / или обоб­щения результатов на другие объекты и условия исследования. Зависит от репрезента­тивности выборки и соответствия контролируемых в исследовании дополнительных пе­ременных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выво­ды конкретного исследования на реальные условия, а не на иные лабораторные условия.

Валидность внутренняя — соответствие конкретного исследования идеальному; оцени­вает изменение зависимой переменной, определяется влиянием независимой перемен­ной, а не другими причинами. Внутренняя валидность зависит от систематического изме­нения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента.

Валидность конструктная — характеризует точность реализации теоретической гипоте­зы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте. В психологической диагнос­тике конструктная валидность характеризует степень измеряемого свойства в результа­тах тестирования.

Валидность критериальная — отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Валидность операциональная — соответствие операций экспериментатора теоретиче­скому описанию переменных, контролируемых в исследовании. Варьируемые экспери­ментатором условия должны соответствовать независимой переменной. Операциональ­ная валидность является одним из проявлений внутренней валидности.

35. Привести классификацию экспериментальных планов: доэкспериментальные планы, планы истинных экспериментов и квазиэкспериментальные планы.

Доэксперементальные планы

Квазиэкспериментального планы строятся, исходя из такого определения понятия квазиэксперимента: квазиэкспериментом является исследование, направленное на установление причинно-послед- ного связи между двумя переменными, в котором, однако, отсутствует процедура предварительного выравнивания групп, то есть параллельный контроль с участием контрольной группы заменяется сравнением результатов тестирования группы до и после измерений. Существует несколько видов квазиэкспериментальных планов, например: план для двух неэквивалентных групп с тестированием до и после испытания; план по предыдущим и итоговым тестированием двух рандомизированных групп; планы дискретных временных серий для одной группы или для двух неэквивалентных групп. Квазиэксперимент очень распространены в современной психологии и является не хуже истинные. Для некоторых задач психологического исследования они необходимы и, несмотря на отсутствие процедуры предварительного выравнивания групп, они специальным средством решения проблем экспериментирования, если независимая переменная не является объектом манипулирования исследователя, а избирается им путем отбора неквивалентних групп. Скажем, если задачей эксперимента является проверка, как влияет уровень личностной тревожности учащихся на успешность сдачи ответственного итогового экзамена, специально формируются эквивалентны группы по предварительно измеряемым высоким и низким уровнями тревожности и изучается ее влияние на зависимую переменную — успешность выполнения тестов. Результаты выполнения тестов относятся в зависимость от этой личностной характеристики испытуемых, которая выбрана для создания неэквивалентных групп. Такой квазиэксперимент ничем не уступает реальному. Рассмотрим несколько примеров квазиэкспериментального плана. Например, в эксперименте с неэквивалентного контрольной группой сопоставляются результаты неэквивалентных групп до и после испытания. Это дает возможность осуществить контроль отдельных угроз валидности, причем в экспериментах с такими планами сравниваются изменения показателей — передекспериментального и постекспериментального тестирований в неэквивалентных группах. Эта разница между показателями потом оценивается по критерию t-Стьюдента для установления уровня значимости разногласий. Приведем пример эксперимента с работы Д. Мартина «Психологические эксперименты» . Цель эксперимента заключалась в том, чтобы исследовать, повышается производительность труда работников машиностроительного завода при оплате «от выработки». Независимая переменная — способ оплаты, зависимая переменная — производительность труда. В эксперименте участвовали две группы работников завода. Предварительно измерялась производительность их труда, после чего для одной из групп (группа А), участники которой добровольно согласились на эксперимент, вводилась оплата «от выработки». Измерение после эксперимента показали, что производительность труда участников группы А повышалась. В этом квазиэксперимент есть угрозы валидности, а именно: взаимодействие тестирования с результатами экспериментального воздействия, то есть предыдущий уровень производительности труда, может усиливать экспериментальный влияние. 50. Схемы контроля переменных в эмпирическом исследовании.

36. Объяснить факторный эксперимент. Переменные, гипотезы и схемы в факторном эксперименте.

Доэкспериментальные планы, точнее — исследования, которые проводились и проводятся до сих пор по определенным схемам, не учитывают требований, предъявляемых к плану классического экспериментального исследования. Причина — не­знание этих требований или невозможность их учета при проведении реального ис­следования в конкретных условиях. Исследования по схеме доэкспериментальных планов проводились еще до возникновения теории планирования эксперимента. Доэкспериментальные планы служат, скорее, в качестве иллюстрации. В прак­тике научных исследований по возможности их следует избегать. Квазиэкспериментальные планы являются попыткой учета реалий жизни при проведении эмпирических исследований. Квазиэкспери­ментальные планы создаются специально с отступлением от схемы «истинного экс­перимента». Исследователь осознает те источники артефактов — внешние перемен­ные, которые он не может контролировать. Для частичной компенсации и контроля эффектов, возникающих при нарушении планов «истинных экспериментов», иссле­дователи используют искусственные схемы, которые и называются квазиэкспери­ментальными планами. Квазиэксперимент является своеобразным компромиссом между реальностью и «строгостью» методологических предписаний. Однако квазиэксперимент использу­ется не только для решения прикладных проблем, но и для проведения научных ис­следований. Квазиэкспериментальный план используется тогда, когда применение лучшего плана невозможно.

Понятие валидности эксперимента включает в себя по меньшей мере три основных понятия: операциональной валидности, внешней валидности и внутренней валидности. Рассмотрим эти понятия и реальности, обозначаемые ими, более подробно.

Понятие операциональной валидности тесно связано с определенной проблемой, которая объективно существует не только в экспериментальном, но и в любом другом эмпирическом исследовании. В частности, в экспериментальном исследовании эта проблема состоит в том, что исследуемая реальность представлена в нем двояким образом. Во-первых, в гипотезе исследования она представлена в форме ее словесного описания, а во-вторых, в методике исследования она представлена в форме конкретных явлений, которым свойственны определенные характеристики. Очевидно, что с точки зрения идеальных требований к проведению экспериментального исследования оно должно быть организовано так, чтобы между этими двумя формами представления исследуемой реальности было полное соответствие . Если же это соответствие не достигнуто, то экспериментальное исследование является неадекватным в том смысле, что его результаты нельзя использовать ни для подтверждения, ни для опровержения гипотезы.

В связи с указанной проблемой, понятие операциональная валидность можно определить как правомерность вывода о полноте соответствия исследуемой реальности, представленной в гипотезе исследования в словесной форме, той реальности, которая представлена в методике исследования в форме конкретных явлений.

В зависимости от степени полноты этого соответствия экспериментальное исследование может обладать операциональной валидностью в разной степени, т. е. быть более или менее операционально валидным.

На практике для того, чтобы оценить операциональную валидность экспериментального исследования, необходимо решить вопрос о правомерности соответствия между содержаниями основных терминов, которые используются для описания исследуемой реальности в гипотезе исследования, и тем, как эти содержания представлены в методике исследования.

Для иллюстрации проблемы операциональной валидности можно воспользоваться следующим примером. Допустим, в гипотезе исследования фигурирует термин «объем внимания», означающий количество элементов, которые человек может воспринять одновременно ясно и отчетливо, а в методике исследования для измерения объема внимания используется тахистоскоп, позволяющий зрительно предъявлять одновременно на короткое время набор элементов, и в качестве конкретного явления, характеризующего объем внимания, выступает количество элементов, которые испытуемые могут воспроизвести. В этом случае перед экспериментатором, проводящим это исследование, неизбежнодолжен возникнуть следующий вопрос, непосредственно имеющий отношение к проблеме операциональной валидности, а именно: соответствует ли количество воспроизводимых испытуемыми элементов количеству элементов, воспринимаемых ими ясно и отчетливо. Как известно из истории экспериментальной психологии, В. Вундт допускал существование такого соответствия. Однако в экспериментах Дж. Сперлинга с использованием методики частичного отчета было показано, что количество воспроизводимых испытуемыми элементов может быть меньше количества элементов, воспринимаемых ими ясно и отчетливо. Из приведенного примера следует, что автору этого гипотетического исследования необходимо более тщательно обосновать, почему он считает возможным использовать для измерения объема внимания показатель продуктивности воспроизведения, иначе его исследование может оказаться операционально невалидным.

В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: « … конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? … ».

Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: « … валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте … »

Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: « … конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, — наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов … »

Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.

Операциональная валидность

Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: « … валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности … » .

Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: « … решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента … »

Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: « … содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных … ».

Внешняя валидность

Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.

На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: « … соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью … ».

Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: « … валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия … »

От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): « … внешняя валидность … — возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента … »

Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).

Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.

Критериальная валидность

В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: « … валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием … ».

Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: « … валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность … »

С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: « … отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность … ».

Пока отдельно были представлены некоторые типы психологических данных — как фиксируемых показателей и в контексте проблемы статистических решений. Теперь следует сделать следующий шаг — раскрыть проблему выбора психологических методик как средств операционализации переменных. По отношению к выборочным значениям ЗП принимаются статистические решения, по значения переменных выступают результатами использования определенных психологических методик.

Чтобы получить данные, психолог фиксирует как психофизиологические показатели, если гипотеза предполагает рассмотрение их связи с изучаемым процессом, так и самоотчеты испытуемых. Он может наблюдать за поведением, а может специально выделять лишь некоторые, методически специально выделенные аспекты активности испытуемого — время реакции, число предложенных решений, особенности ответа в неопределенной ситуации. Он применяет стандартизованные и не стандартизированные методики, с помощью которых фиксируются показатели когнитивной сферы человека (восприятия, внимания, памяти, мышления), а также его эмоционально-личностной сферы (мотивы, характерологические свойства и т. д.).

Из характеристик используемых методик не следует, каким методом проводилось исследование. Внешней характеристикой экспериментального исследования может служить указание на то, что в нем должны присутствовать как минимум две методики: для задания НП и измерения ЗП. И обе они оцениваются в аспектах репрезентативности — конструктов НП и ЗП или соответствия тем реальным условиям, аспекты которых моделируются.

Операциональная наличность — оценка эксперимента с точки зрения степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые используются в исследовании.

Наиболее простым путем было бы определение психологической переменной путем связывания ее с методикой получения тех или иных данных. Действительно, если определять различия между понятиями «метод» и «методика», то такой путь покажется логичным. Метод — это наиболее крупная единица анализа типа исследования. Методика — более мелкая единица. Методики могут кочевать из одного исследования в другое и использоваться при разных способах организации исследования.

Психологическая методика — это способы фиксации психологических данных, «техники» построения психологических показателей. С многообразием психологических методик студенты обычно знакомятся в предметном и исследовательском практикумах.

В то же время методика может не выглядеть психологической, но использоваться для задания, скажем, уровней независимой переменной или для измерения зависимой. Например, в оценке разного рода рекламы — как организуемого психологического воздействия — ее эффективность представлена в количестве единиц проданного продукта. Это экономический показатель. Он становится психологической переменной только в одном случае — когда связывается в психологической гипотезе с опосредствующим процессом психологического воздействия. Тогда разные виды рекламы одного и того же товара предстают разными уровнями НП (например, реклама постоянная или нет, в печатных или электронных СМИ и т. д.).

Выделение уровней НП также может осуществляться, казалось бы, безотносительно к арсеналу психологических методик. В приведенном в разделе 5.3.3 примере искусственной среды «Пятое измерение» ее можно трактовать в качестве единого (активного) уровня НП. Тогда контрольным (неактивным) уровнем будут обычные условия обучения и проведения ребенком своего досуга. В многочисленных исследованиях по инженерной психологии сравниваются разные условия выполнения человеком профессиональной деятельности, при том что разница условий задана особенностями используемых приборов, их расположением и т.д. Не продолжая примеров, можно сказать, что психологическими эти уровни экспериментальных факторов становятся именно благодаря тому, что в звене экспериментальной гипотезы они связываются с ожидаемыми изменениями изучаемого базисного процесса.

В самом общем виде под базисным процессом можно понимать центральное звено регуляции изменений, отражаемых в индексах, или показателях, 311. Показатель, фиксируемый методикой как отклик влияния НП, не сводится сам по себе к изучаемому базисному процессу.

В психологическом эксперименте это также входит в этап содержательного планирования исследования — обосновать, что подразумевается под изменениями индекса. Например, за показателем времени реакции можно предполагать совершенно разные процессы (обозначающие, что именно происходит в фиксируемые отрезки времени перед ответом испытуемого).

Если же речь пойдет о более сложных методиках, которые включают существенный пласт толкований психологом того или иного ее индекса, то интерпретационный процесс прямо будет задавать способ конструирования переменной. Например, применительно к проективной методике тематического апперцептивного теста (TAT) Е. Т. Соколовой прослежено изменение способов толкования того, как в рассказах по неопределенным картинкам (фотографиям) можно устанавливать проявление механизмов проекции, психологической защиты и т.д. От конца 30-х к концу 60-х гг. XX в. толкования существенно изменялись в зависимости от включения предположений о проявлении в рассказах испытуемых их рационального «Я» [Соколова, 1980].

Те же виды глубинной мотивации (социогенные потребности в классификации Г. Мюррея) могут диагностироваться с помощью опросника, который был предложен Л. Эдвардсом [Корнилова, 1997]. Проективный тест и вербальный, построенный в опроснике Эдвардса па основе приема вынужденного выбора предпочтений, могут давать разные местоположения испытуемого по отношению к конкретной мотивационной шкале, поскольку подразумевают проявление разных базисных процессов, стоящих за используемыми индексами двух процедурно разных методик.

Таким образом, одни и те же психологические конструкты (мотивация достижения, агрессия, аффилиация и т.д.) операционализируются по-разному. Их различие связано именно с подразумеваемыми механизмами осознанной оценки предпочтения или неосознаваемого проявления в рассказе субъекта той или иной глубинной мотивации (при инструкции «исследуется воображение»).

Итак, наиболее простой путь связывания сути психологической переменной с той или иной методикой может вводить в заблуждение относительно того, что репрезентирует фиксируемый показатель. Более адекватным является иной путь — косвенной реконструкции того, что репрезентируется показателем. Два условия должны выполняться.

Первое . Представленные в гипотезе как эмпирически нагруженные понятия — независимой и зависимой переменных — должны быть операционализированы, т.е. должен быть конкретизирован путь их методического представления в исследовании.

Второе . Эта операционализация должна быть такой, чтобы управление экспериментальным фактором или изменения базисного процесса могли быть представлены в виде той или иной шкалы, т.е. измерены.

Совсем не все методики позволяют выделять переменные. Например, методики наблюдения, предполагающие фиксацию данных в единицах естественного языка или в условных обозначениях, еще не выступают способами выделения переменных. Наблюдать изменения — это еще не значит их измерять. Современные исследования, выполняемые методом наблюдения, включают огромный арсенал стандартизованных методик. По для перехода к процедурам измерения должны выполняться дополнительные условия, в результате чего и достигается возможность выделения правил приписывания чисел психологическим объектам.

Именно измерение переменных выступает условием проведения психологического эксперимента, а также реализации ряда других методов — корреляционного, квазиэксперимента, лонгитюда.

Перечисление событий, установление их частоты — еще не измерение, но процедура, позволяющая строить ЗП. Приведем пример того, как происходит конструирование такой ЗП, когда ее индекс является производным, а не отражает фиксацию какого-либо методически заданного показателя.

В примере с искусственным экспериментальным условием «Пятое измерение» М. Коула, который будет представлен в главе 5 (экскурс 5.8), можно выделять множество переменных. В реальных условиях на пляже психологами была создана особая ситуация отдыха для детей, которые при этом — в игровой ситуации — овладевали рядом средств (в частности, компьютером) своей деятельности. 311 было несколько. Одна из них — упоминания в дневниковых записях студентов, которые работали с детьми, тех или иных «артефактов» в их инструментальном значении или в виде упоминания как ориентиров для опосредствования действий ребенка. Число упоминаний одних и тех же объектов среды в двух контекстах -ориентация на возможность их использования или опосредствование действий их использованием — дало автору возможность проследить временную динамику процесса «культурации» в косвенном (отражаемом помощником психолога) виде.

Рис. 3.1. Динамика переменных, отражающих инструментальное и ориентационное отношение к «артефактам» в созданном игровом контексте

На диаграмме, представленной на рис. 3.1, видно, как растет со временем пребывания в искусственной среде «Пятого измерения» количественный показатель инструментального отношения к ее элементам по сравнению с иной тенденцией — снижением индексов общей ориентировки на элементы среды. Таким образом, в естественных условиях проведения этого исследования выделялись те показатели, динамика которых служила верификации (эмпирической проверке) теоретической гипотезы о роли «артефактов» как задаваемых ребенку средств преобразования его игровой деятельности и тем самым — его развития.

4 типа валидности в дизайне исследования (+3 дополнительных пункта)

Выводы, которые вы делаете из своего исследования (будь то анализ опроса, фокус-группы, план эксперимента или другие методы исследования), полезны только в том случае, если они достоверны .

Насколько «верны» эти результаты? Насколько хорошо они представляют то, что вы на самом деле пытаетесь изучать? Валидность используется для определения того, измеряет ли исследование то, что оно намеревалось измерить, и для приближения к правдивости результатов.

К сожалению, исследователи иногда создают свои собственные определения, когда дело доходит до того, что считается достоверным.

• В количественных исследованиях проверка достоверности и надежности является данностью.
• Однако некоторые качественные исследователи зашли так далеко, что предположили, что валидность не применима к их исследованиям, даже если они признают необходимость некоторых квалификационных проверок или измерений в своей работе.

Это неправильно. Валидность всегда важна, даже если ее сложнее определить в качественном исследовании.

Пренебрегать валидностью означает ставить под сомнение надежность своей работы и ставить под сомнение доверие других к ее результатам. Даже когда в исследованиях используются качественные показатели, их необходимо рассматривать с использованием показателей надежности и валидности, чтобы поддерживать достоверность результатов.

Что такое валидность в исследованиях?

Валидность — это то, как исследователи говорят о степени соответствия результатов действительности. Методы исследования, количественные или качественные, представляют собой методы изучения реального явления. Под валидностью понимается то, какую часть этого явления они измеряют по сравнению с тем, сколько «шума» или несвязанной информации фиксируют результаты.

Валидность и надежность определяют разницу между «хорошими» и «плохими» исследовательскими отчетами. Качество исследований зависит от приверженности тестированию и повышению достоверности, а также надежности результатов ваших исследований.

Любое значимое исследование касается того, является ли то, что измеряется, тем, что должно быть измерено, и рассматривает способы, которыми на наблюдения влияют обстоятельства, в которых они сделаны.

Основа наших выводов играет важную роль в рассмотрении более широких существенных вопросов любого исследования.

По этой причине мы собираемся рассмотреть различные типы валидности, которые были сформулированы как часть законной исследовательской методологии.

Вот 7 основных типов валидности в исследованиях:

1. Лицевая валидность
2. Действительность содержимого
3. Действительность конструкции
4. Внутренняя действительность
5. Внешняя действительность
6. Достоверность статистического заключения
7. Валидность, связанная с критериями

1. Лицевая действительность

Лицевая достоверность — это то, насколько достоверными кажутся ваши результаты на основе того, как они выглядят. Это наименее научный метод достоверности, поскольку он не определяется количественно с помощью статистических методов.

Фактическая действительность не является действительностью в техническом смысле этого термина. Он связан с тем, кажется ли нам, что мы измеряем то, что заявляем.

Здесь мы смотрим на то, насколько достоверной выглядит мера на поверхности, и делаем на ее основе субъективные суждения.

Например,

• Представьте, что вы проводите опрос, который кажется действительным для респондента, и вопросы выбираются, потому что они кажутся действительными для администратора.
• Администратор спрашивает группу случайных людей, неподготовленных наблюдателей, кажутся ли им вопросы актуальными

В исследованиях никогда не бывает достаточно полагаться только на личные суждения — и для того, чтобы делать приемлемые выводы, необходимы более количественные методы проверки достоверности. Существует множество инструментов измерения, которые следует учитывать, поэтому кажущаяся достоверность полезна в тех случаях, когда вам нужно отличить один подход от другого.

Внешней достоверности никогда нельзя доверять саму по себе.

2. Валидность содержания

Валидность содержания заключается в том, охватывает ли мера, используемая в исследовании, все содержание базовой конструкции (то, что вы пытаетесь измерить).

Это также субъективная мера, но в отличие от внешней достоверности мы спрашиваем, охватывает ли содержание меры всю область содержания. Если бы исследователь хотел измерить интроверсию, он должен был бы сначала решить, что представляет собой релевантную область содержания для этой черты.

Достоверность содержания считается субъективной формой измерения, поскольку она по-прежнему опирается на восприятие людей для измерения конструктов, которые в противном случае было бы трудно измерить.

Достоверность контента отличается (и становится полезной) благодаря использованию экспертов в данной области или лиц, принадлежащих к целевой группе. Это исследование можно сделать более объективным за счет использования строгих статистических тестов.

Например, у вас может быть исследование достоверности содержания, которое информирует исследователей о том, как элементы, используемые в опросе, представляют предметную область, насколько они понятны и в какой степени они поддерживают теоретическую факторную структуру, оцененную с помощью факторного анализа.

3. Конструктивная валидность

Конструкт представляет собой совокупность поведений, которые значимым образом связаны для создания образа или идеи, придуманной для исследовательской цели. Конструктивная валидность — это степень, в которой ваше исследование измеряет конструкт (по сравнению с вещами вне конструкта).

Депрессия — это конструкт, представляющий черту личности, проявляющуюся в поведении, таком как чрезмерная сонливость, потеря аппетита, трудности с концентрацией внимания и т. д.

Существование конструкции проявляется при наблюдении за набором связанных индикаторов. Любой один признак может быть связан с несколькими конструкциями. У человека с трудностями концентрации внимания может быть синдром дефицита внимания. но не депрессия.

Конструктивная валидность — это степень, в которой выводы могут быть сделаны на основе операционализации (связывания понятий с наблюдениями) в вашем исследовании и конструктов, на которых эти операционализации основаны. Чтобы установить достоверность конструкции, вы должны сначала предоставить доказательства того, что ваши данные подтверждают теоретическую структуру.

Вы также должны показать, что контролируете операционализацию конструкции, другими словами, показать, что ваша теория имеет некоторое соответствие с реальностью.

• Конвергентная валидность — степень, в которой операция похожа на другие операции, на которые она теоретически должна быть похожа.
• Дискриминационная валидность — если шкала адекватно дифференцирует себя или не различает группы, которые должны различаться или не отличаться на основании теоретических причин или предыдущих исследований.
• Номологическая сеть —  представление конструктов, представляющих интерес для исследования, их наблюдаемых проявлений и взаимосвязей между ними. Согласно Кронбаху и Милу, номологическая сеть должна быть разработана для показателя, чтобы он имел конструктную достоверность 90 010.
• Матрица мультипризнаков и мультиметодов — шесть основных соображений при проверке валидности конструкции согласно Кэмпбеллу и Фиске. Это включает в себя оценки конвергентной валидности и дискриминационной валидности. Другие — это единица метода признаков, мультиметод/признак, действительно другая методология и характеристики признаков.

4. Внутренняя достоверность

Внутренняя достоверность относится к степени, в которой независимая переменная может быть точно установлена ​​для получения наблюдаемого эффекта.

Если влияние зависимой переменной обусловлено только независимыми переменными, то достигается внутренняя достоверность. Это степень, в которой можно манипулировать результатом.

Другими словами, внутренняя валидность — это то, как вы можете сказать, что ваше исследование «работает» в исследовательской среде. Влияет ли переменная, которую вы изменяете, на изучаемую переменную в данном исследовании?

5. Внешняя валидность

Внешняя валидность относится к степени, в которой результаты исследования могут быть обобщены за пределы выборки. То есть вы можете применить свои выводы к другим людям и настройкам.

Думайте об этом как о степени обобщения результата. Насколько хорошо результаты исследования применимы к остальному миру?

Лабораторная среда (или другая исследовательская среда) представляет собой контролируемую среду с меньшим количеством переменных. Внешняя валидность относится к тому, насколько верны результаты даже при наличии всех этих других переменных.

6. Достоверность статистического вывода

Достоверность статистического вывода – это определение того, существует ли взаимосвязь или ковариация между причинно-следственными переменными.

Этот тип валидности требует:

• Обеспечение надлежащих процедур отбора проб
• Соответствующие статистические тесты
• Методы надежных измерений

Степень достоверности или правдоподобности заключения.

7. Критериальная валидность

Валидность, связанная с критериями (также называемая инструментальной валидностью), является мерой качества ваших методов измерения. Точность меры демонстрируется путем сравнения ее с мерой, достоверность которой уже известна.

Другими словами, если ваш показатель имеет высокую корреляцию с другими показателями, достоверность которых известна благодаря предыдущим исследованиям.

Чтобы это работало, вы должны знать, что критерий был хорошо измерен. И знайте, что подходящие критерии не всегда существуют.

Что вы делаете, так это проверяете эффективность вашей операционализации по критериям.

Критерии, которые вы используете в качестве стандарта суждения, учитывают различные подходы, которые вы бы использовали:

• Прогностическая достоверность —  способность операционализации предсказывать то, что она теоретически может предсказать. Степень, в которой мера предсказывает ожидаемые результаты.
• Параллельная валидность — способность операционализации различать группы, на которые она теоретически должна быть способна. Именно здесь тест хорошо коррелирует с мерой, которая была проверена ранее.

Когда мы смотрим на достоверность данных опроса, мы спрашиваем, представляют ли данные то, что, по нашему мнению, они должны представлять.

Мы зависим от склада ума и отношения респондента, чтобы предоставить нам достоверные данные.

Другими словами, мы рассчитываем, что они ответят на все вопросы честно и добросовестно. Мы также зависим от того, смогут ли они ответить на вопросы, которые мы задаем. Когда задаются вопросы, которые респондент не может понять или понять, тогда данные не говорят нам о том, что, по нашему мнению, они делают.

Types of validity — Definitions and Examples -Voxco

+13236381128

+1519

91

+61480040096

Book a Demo

TRY A SAMPLE SURVEY

+13236381128

+1519

91

+61480040096

• Book демо
• Посмотреть демо
• Цены
• Контакты
• Наши клиенты
• Истории клиентов
• Информационные бюллетени
• Ресурсы

Сделайте свое исследование быстрым и информативным с помощью Voxco

ПОДЕЛИТЕСЬ СТАТЬЕЙ ПО

Содержание

При проведении количественных исследований как никогда важна достоверность, а также надежность ваших методов исследования и измерений.

Валидность используется для проверки того, насколько точно что-то измеряется методом. Если конкретный метод действительно измеряет все, что он утверждает, и полученные результаты близко соответствуют реальным значениям, метод считается действительным.

Исследовательская валидность подразделяется на четыре основных типа:

1. Конструктивная валидность
2. Контентная валидность
3. Лицевая валидность
4. Критериальная валидность

В этой статье рассматриваются различные типы валидности теста, которые играют ключевую роль в определении точность фактических компонентов измерения. Однако при проведении экспериментальных исследований важно учитывать внутреннюю и внешнюю валидность, которая касается плана эксперимента, а также обобщения результатов.

Давайте подробно обсудим каждый из различных типов достоверности.

1. Конструктивная валидность

С помощью конструктной валидности становится легко оценить, действительно ли конкретный инструмент измерения представляет то, что мы хотим измерить. Он играет ключевую роль в определении общей достоверности конкретного метода.

Что такое конструкция?

Конструкция может быть определена как характеристика или понятие, которое вы не можете наблюдать непосредственно. Однако вы можете измерить его, наблюдая за показателями, которые с ним связаны.

Конструкты могут представлять собой характеристики, наблюдаемые у людей, такие как счастье, интеллект, удовлетворенность, физическая форма, депрессия и т. д. Хотя они могут включать и более широкие понятия, применяемые к социальным группам или более крупным организациям, такие как социальная ответственность, свобода выбора, гендерное равенство, свобода слова и т. д. 

Что означает конструктная валидность?

Валидность конструкции — отличный способ убедиться, что метод измерения хорошо согласуется с конструкцией, которую вы хотите измерить. Предположим, вы планируете составить анкету для диагностики депрессии. Вам важно знать: действительно ли ваша анкета способна измерить конструкт депрессии? Или он измеряет поведение респондента, уровень счастья или какой-то другой конструкт?

Для достижения конструктивной достоверности обязательно убедитесь, что используемые вами индикаторы тщательно разработаны на основе соответствующих существующих знаний. Таким образом, анкета должна включать только релевантные вопросы, которые могут эффективно измерить популярные индикаторы депрессии.

Примеры конструктивной валидности:

Эмоции не имеют единиц измерения, которые могли бы помочь нам измерить их напрямую. Мы можем измерять эмоции только на основе набора индикаторов.

Счастье можно измерить такими показателями, как высокий уровень энергии, позитивность, частота смеха и улыбки. Тревога может быть измерена такими симптомами, как беспокойство, нервозность, трудности с концентрацией внимания и другими.

См. платформу опросов Voxco в действии

2. Валидность содержания

Валидность содержания используется для оценки того, может ли тест представлять различные аспекты конкретной конструкции. Для получения достоверных результатов важно, чтобы содержание опроса, теста или любого используемого вами метода измерения охватывало соответствующие и необходимые области предмета, который он намеревается измерить.

Если в измерении отсутствуют некоторые аспекты или вы включили нерелевантные аспекты, на карту поставлена ​​достоверность.

Примеры достоверности содержания:

Компания мобильной связи хочет провести исследование удовлетворенности клиентов относительно конкретной модели сотового телефона, которую они недавно выпустили. В опросе должны быть вопросы о продукте, такие как характеристики, качество, производительность, цвет, дизайн, цена и т. д. 

Если некоторые вопросы опущены, результат опроса может не отражать удовлетворенность клиентов продуктом. . Однако, если в опросах есть вопросы, не связанные с продуктом, результаты снова будут недействительными.

Это означает, что для защиты достоверности результатов содержание опроса должно охватывать все соответствующие вопросы о продукте.

Хотите знать, сколько будет стоить проведение опроса с использованием Voxco?

3. Лицевая валидность

Внешняя валидность используется для рассмотрения того, насколько уместно содержание конкретного теста выглядит на первый взгляд. Это кажется очень похожим на содержательную валидность, но считается более субъективным и неформальным типом оценки.

Примеры внешней достоверности:

Учитель хочет понять умственные способности своих учеников. Он создает опросы, в которых задаются вопросы о том, сколько времени они тратят на учебу.

На первый взгляд кажется, что опрос представляет то, что он хочет проверить. Учитель считает, что это имеет высокую лицевую валидность. Лицевая валидность считается самой слабой формой среди всех видов валидности.

Будучи субъективной мерой, валидность лица обычно называют самым слабым типом валидности. Хотя он может сыграть ключевую роль на основополагающих этапах создания метода.

Просмотреть все, что предлагает Voxco

4. Обоснованность критерия

Обоснованность критерия играет решающую роль в оценке относительности результатов вашего теста, т. е. насколько близко результаты одного теста соответствуют результатам другого теста.

Что такое критерий?

Критерий можно определить как внешнее измерение подобного предмета. Другими словами, это широко популярный и признанный тест, который уже считается действительным.

Что означает достоверность критерия?

Чтобы беспрепятственно оценить достоверность критерия, следует начать с вычисления корреляции, которая существует между результатами вашего измерения и результатами измерения критерия. Если вы получите высокую корреляцию, это будет означать, что ваш тест действительно измеряет то, что он должен измерять.

Примеры достоверности критериев:

Менеджер по найму рекламного агентства создает тест для измерения способности соискателей создавать объявления. Менеджер находит еще один тест, который считается стандартом для измерения способности кандидата создавать рекламу.

Менеджер использовал результат стандартного теста в качестве критерия для суждения. Затем она сравнивает результаты обоих тестов, пройденных соискателем, чтобы оценить его способности.

Она считает, что результаты обоих тестов одинаковы. Это означает, что тест, созданный менеджером по найму, имеет высокую достоверность критерия.

Вы ищете лучшие исследовательские инструменты?

Что такое валидность критерия?

Валидность критерия используется для измерения/расчета корреляции между результатом измерения критерия и вашим измерением.

Что такое лицевая достоверность?

Внешняя достоверность — это субъективная оценка. Он показывает достоверность результатов вашего исследования/опроса на основе того, как они выглядят.

Лицевая валидность — самый слабый и наименее научный тип среди других типов валидности.

Что такое достоверность содержимого?

Достоверность содержания — это показатель того, ставит ли исследование под вопрос все содержание, касающееся предмета, который вы пытаетесь измерить.

Хотя валидность содержания также является субъективной оценкой, в отличие от валидности на первый взгляд, вы можете понять, охватывает ли измеряемый контент все аспекты контента или нет.

Что такое конструктная валидность?

Ваш опрос/исследование считается действительным с точки зрения достоверности конструкции, если способ измерения подходит для конструкции, которую вы хотите измерить.

Подробнее

Вопросы опроса сотрудников о культуре

30 ноября 2021 г. Комментариев нет

Опрос сотрудников вопросы о культуре ПОДЕЛИТЬСЯ СТАТЬЕЙ В Поделиться на facebook Поделиться на Twitter Поделиться на linkedin Содержание Сотрудники во всем мире

Подробнее »

Общие методологии исследования

7 февраля 2022 г. Комментариев нет

Общие методологии исследований ПОДЕЛИТЕСЬ СТАТЬЕЙ В Поделиться на facebook Поделиться в Twitter Поделиться на linkedin Содержание Что такое методология исследования? Исследование

Подробнее »

Использование опросов о клиентском опыте для разработки стратегии CX

1 января 2020 г. Комментариев нет

Использование опросов о клиентском опыте для разработки стратегии взаимодействия с клиентами0003

Подробнее »

Социальные сети: новая платформа для исследования рынка

26 марта 2021 г.