Валидность тестов
Для того чтобы инструменты оценки считались соответствующими требованиям к психометрическим характеристикам, у них должны быть достаточные показатели надежности и валидности. В этой статье мы опишем валидность батарей наших тестов.
Валидность – это способность методики измерять именно то, для оценки чего она была создана. Чтобы не запутаться в терминах, возьмем в качестве аналогии стрельбу. Надежность методики можно сравнить с кучностью результатов, а валидность — с точностью попадания. Как и в случае с надежностью, оценка валидности теста не исчерпывается каким-либо одним способом. Существует несколько аспектов валидности и, соответственно, способов ее измерения: от субъективных до точных, математически обоснованных.
Конструктная валидность
Конструктная валидность — это ответ на вопрос, действительно ли наш тест измеряет именно то, что заявлено, и то, что мы от него ожидаем. Например, используя тест интеллекта, мы задаем себе вопрос: действительно ли этот тест меряет интеллект? Или, может быть, он измеряет эрудицию? А может быть, только один из аспектов интеллекта – способность к выполнению математических операций? Применимо к личностным опросникам этот вопрос звучит так: действительно ли мы измеряем именно те факторы, которые хотим измерить? Для ответа на этот вопрос прибегают к использованию некоторых процедур, позволяющих получить ответ об уровне конструктной валидности.
Наиболее часто используют независимо созданные тесты, которые измеряют те же характеристики, что и Ваш тест. Ваши респонденты заполняют два теста, после чего остается только посчитать корреляцию между показателями Вашего теста и контрольного.
Другой способ — это проведение тестирования в группе, которая заранее выделяется среди остальных по необходимому вам параметру. Например, бухгалтеры хорошо считают, у архитекторов хорошо развито абстрактное мышление и т.д. Если ваш тест покажет значимое различие между этой группой и остальными, значит, он действительно измеряет данную черту.
Еще один способ – это оценить выраженность измеряемого качества у определенной группы людей с помощью экспертной оценки, а потом дать оцениваемым людям заполнить ваш опросник. Если мнения экспертов совпали с результатами вашего теста, то вы можете утверждать о наличии у него высокой конструктной валидности.
Критериальная валидность
Это, пожалуй, самый важный показатель эффективности теста при его использовании в бизнес-среде.
Измерение критериальной валидности позволяет ответить на вопрос, насколько результаты тестирования коррелируют с успешностью работы.
Заметим, что при использовании тестов низкие показатели критериальной валидности могут говорить как о низком качестве методик, так и о том, что измеряемые ими способности не связаны с успешностью работы. Для получения достоверной информации о показателях критериальной валидности проводится корреляционное исследование. В качестве объекта исследования могут быть выбраны сотрудники фирмы; в этом случае сравниваются результаты, которые они показали в тестах, и показатели эффективности их работы. Такой вид валидности называется конкурентной валидностью.
Конструктная валидность батареи GREEN «Интерпретация информации»
Для проверки конструктной (теоретической) валидности компанией ONTARGET было проведено исследование по сравнению результатов выполнения тестов батареи «Интерпретация информации» и тестов британской компании Psytech, адаптированных для русскоязычных респондентов.
Исследование проводилось в 2013 году.
Таблица 1. Корреляции тестов батареи «Интерпретация информации» с тестами британской компании Psytech
это, определение слова, понятие. Что такое Валидность, значение, словарь, энциклопедия
(от англ. valid – пригодный), один из основных критериев качества опыта (например, в психологии для оценки доверия к тестам). Проблема валидности возникает в процессе разработки и практического применения теста, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Чем валиднее тест, тем лучше отображается в нем то качество (свойство), ради измерения которого он создан.
Черты, Валидность
Психологическая энциклопедия
См. валидность, черты.
Валидность
Психологическая энциклопедия
— степень, в которой результаты исследования, системы измерений или статистики являются точными или представляют то, что были предназначены представлять.
Валидность
Психологическая энциклопедия
(англ. valid — пригодный) — качество метода психологического исследования, выражающееся в его соответствии тому, для изучения и оценки чего он изначально был предназначен.
Валидность
Психологическая энциклопедия
(Validity). Понятие, обозначающее, что тест измеряет то, для чего он предназначен.
Валидность
Психологическая энциклопедия
Степень нашей уверенности в том, что тест, измерение или эксперимент действительно выполняет ту функцию, для которой они предназначены. Этот весьма общий термин по-разному используется в психологии. В процессе эксперимента мы можем оценить: 1. Внутреннюю валидность:…
Валидность, Внутренняя
Психологическая энциклопедия
Неформальная процедура, используемая для определения валидности теста посредством просмотра каждого пункта и оценки степени, в которой он выполняет предназначенную ему роль в тесте.
Валидность, Априорная
Психологическая энциклопедия
Своего рода предварительная, интуитивная оценка содержательной валидности теста.
Степень, в которой пункты теста, как кажется, имеют интуитивную, априорную связь с моделями поведения, которые, как считается, они тестируют. Также называется валидное-тью здравого смысла.
Валидность, Конвергентная И Дискриминантная
Психологическая энциклопедия
Степень, в которой любой определенный инструмент тестирования обладает валидностью, будет отражать, в какой мере значения, полученные по этому тесту (а) коррелируют с факторами, с которыми в принципе они должны коррелировать на высоком уровне значимости, и (б) коррелируют с…
Валидность, Конгруэнтная
Психологическая энциклопедия
Метод установления валидности нового теста посредством корреляции значений, полученных по нему, со значениями, полученными по другому тесту с установленной валидностью. Наиболее типичный случай — тесты интеллекта, когда вновь разработанные тесты сравниваются с известными тестами…
Валидность, Дефиниционная
Психологическая энциклопедия
В принципевалидность теста, представленная тем фактом, что пункты, входящие в него, по определению, являются пунктами, отражающими измеряемые аспекты.
В статье определение обратите внимание на то, что практически это понятие включает в себя нечто большее, чем кажется на первый…
Надежность и достоверность исследований
Опубликован в 3 июля 2019 г. к Фиона Миддлтон. Отредактировано 30 января 2023 г.
Надежность и достоверность — понятия, используемые для оценки качества исследований. Они указывают, насколько хорошо тот или иной метод, прием. или тест измеряет что-то. Надежность — это непротиворечивость меры, а достоверность — ее точность. вариант
Важно учитывать надежность и достоверность при разработке плана исследования, планировании методов и оформлении результатов, особенно в количественных исследованиях. Невыполнение этого требования может привести к нескольким типам предвзятости в исследованиях и серьезно повлиять на вашу работу.
| Надежность | Срок действия | |
|---|---|---|
| Что это вам говорит? | Степень, в которой результаты могут быть воспроизведены при повторении исследования в тех же условиях. | Степень, в которой результаты действительно измеряют то, что они должны измерять. |
| Как оценивается? | Путем проверки согласованности результатов во времени, у разных наблюдателей и в разных частях самого теста. | Путем проверки того, насколько хорошо результаты соответствуют установленным теориям и другим показателям той же концепции. |
| Как они связаны? | Надежное измерение не всегда достоверно: результаты могут быть воспроизводимыми, но не обязательно правильными. | Действительное измерение, как правило, надежно: если тест дает точные результаты, они должны быть воспроизводимыми. |
Содержание
- Сравнение надежности и валидности
- Как оцениваются надежность и валидность?
- Как обеспечить достоверность и достоверность вашего исследования
- Где написать о достоверности и достоверности в диссертации
Сравнение надежности и достоверности
Надежность и валидность тесно связаны, но означают разные вещи.
Измерение может быть надежным, но не валидным. Однако, если измерение достоверно, оно обычно также надежно.
Что такое надежность?
Надежность относится к тому, насколько последовательно метод что-то измеряет. Если один и тот же результат может быть последовательно достигнут с использованием одних и тех же методов при одних и тех же обстоятельствах, измерение считается надежным.
Вы измеряете температуру жидкого образца несколько раз в одинаковых условиях. Термометр каждый раз показывает одну и ту же температуру, поэтому результаты надежны.
Что такое валидность?
Валидность относится к тому, насколько точно метод измеряет то, для измерения которого он предназначен.
Если исследование имеет высокую достоверность, это означает, что оно дает результаты, соответствующие реальным свойствам, характеристикам и изменениям в физическом или социальном мире.
Высокая надежность является одним из показателей достоверности измерения. Если метод ненадежен, он, вероятно, недействителен.
Если термометр каждый раз показывает разные температуры, даже если вы тщательно контролируете условия, чтобы гарантировать, что температура образца остается неизменной, вероятно, термометр неисправен, и поэтому его измерения недействительны.
Если опросник по симптомам дает надежный диагноз при ответах на него в разное время и у разных врачей, это указывает на то, что он имеет высокую достоверность в качестве измерения состояния здоровья.
Однако одной надежности недостаточно для обеспечения достоверности. Даже если тест надежен, он может не точно отражать реальную ситуацию.
Термометр, который вы использовали для проверки образца, дает надежные результаты.
Однако термометр не был откалиброван должным образом, поэтому результат на 2 градуса ниже истинного значения. Следовательно, измерение недействительно.
Группа участников проходит тест, предназначенный для измерения рабочей памяти. Результаты надежны, но оценки участников сильно коррелируют с их уровнем понимания прочитанного. Это указывает на то, что метод может иметь низкую достоверность: тест может измерять понимание прочитанного участниками, а не их рабочую память.
Валидность оценить труднее, чем надежность, но это даже важнее. Чтобы получить полезные результаты, методы, которые вы используете для сбора данных, должны быть достоверными: исследование должно измерять то, что заявлено для измерения. Это гарантирует, что ваше обсуждение данных и выводы, которые вы делаете, также верны.
Как оцениваются надежность и валидность?
Надежность можно оценить путем сравнения различных вариантов одного и того же измерения. Достоверность оценить труднее, но ее можно оценить, сравнив результаты с другими соответствующими данными или теорией.
Методы оценки надежности и валидности обычно делятся на разные типы.
Типы надежности
Различные виды надежности можно оценить с помощью различных статистических методов.
| Тип надежности | Что он оценивает? | Пример |
|---|---|---|
| Ретестовая надежность | Непротиворечивость меры во времени : вы получаете те же результаты при повторении измерения? | Группа участников заполняет анкету, предназначенную для измерения личностных качеств. Если они повторяют опросник с интервалом в несколько дней, недель или месяцев и дают одинаковые ответы, это свидетельствует о высокой ретестовой достоверности. |
| Межоценочная надежность | Согласованность измерения между оценщиками или наблюдателями : получаются ли одинаковые результаты, когда разные люди проводят одно и то же измерение? | На основе контрольного списка критериев оценки пять экзаменаторов представили существенно разные результаты для одного и того же студенческого проекта. |
| Внутренняя согласованность | Непротиворечивость самого измерения : вы получаете одинаковые результаты из разных частей теста, предназначенных для измерения одного и того же? | Вы разрабатываете анкету для измерения самооценки. Если вы случайным образом разделите результаты на две половины, между двумя наборами результатов должна быть сильная корреляция. Если два результата сильно различаются, это указывает на низкую внутреннюю согласованность. |
Типы действия
Достоверность измерения можно оценить на основе трех основных типов данных. Каждый тип может быть оценен с помощью экспертной оценки или статистических методов.
| Тип действия | Что он оценивает? | Пример |
|---|---|---|
| Действительность конструкции | Приверженность меры существующей теории и знаниям измеряемой концепции. | Анкета самооценки может быть оценена путем измерения других черт, известных или предполагаемых, связанных с концепцией самооценки (таких как социальные навыки и оптимизм). Сильная корреляция между оценками самооценки и связанными с ней чертами указывает на высокую достоверность конструкции. |
| Действительность содержимого | Степень, в которой измерение охватывает все аспекты измеряемой концепции. | Тест, целью которого является оценка уровня испанского языка учащихся класса, содержит компоненты чтения, письма и разговорной речи, но не включает компонент аудирования. Эксперты сходятся во мнении, что понимание на слух является важным аспектом языковых способностей, поэтому тесту не хватает достоверности содержания для измерения общего уровня владения испанским языком. |
| Критерий достоверности | Степень, в которой результат меры соответствует другим действительным мерам той же концепции. | Опрос проводится для измерения политических взглядов избирателей в регионе. Если результаты точно предсказывают более поздний исход выборов в этом регионе, это указывает на то, что опрос имеет высокую достоверность критерия. |
Для оценки достоверности причинно-следственной связи необходимо также учитывать внутреннюю валидность (дизайн эксперимента) и внешнюю валидность (обобщаемость результатов).
Получение отзывов о языке, структуре и форматировании
Профессиональные редакторы вычитывают и редактируют вашу статью, уделяя особое внимание:
- Академический стиль
- Расплывчатые предложения
- Грамматика
- Согласованность стиля
См. пример
Как обеспечить достоверность и надежность ваших исследований
Надежность и валидность ваших результатов зависят от тщательной разработки плана исследования, выбора подходящих методов и образцов, а также тщательного и последовательного проведения исследования.
Обеспечение достоверности
Если вы используете баллы или рейтинги для измерения различий в чем-то (например, психологических чертах, уровнях способностей или физических свойствах), важно, чтобы ваши результаты максимально точно отражали реальные различия. Валидность следует учитывать на самых ранних этапах вашего исследования, когда вы решаете, как вы будете собирать свои данные.
- Выберите подходящие методы измерения
Убедитесь, что ваш метод и методика измерения имеют высокое качество и предназначены для измерения именно того, что вы хотите знать. Они должны быть тщательно исследованы и основаны на имеющихся знаниях.
Например, для сбора данных о черте характера можно использовать стандартизированный вопросник, который считается надежным и достоверным. Если вы разрабатываете свою собственную анкету, она должна основываться на устоявшейся теории или результатах предыдущих исследований, а вопросы должны быть тщательно и точно сформулированы.
- Используйте соответствующие методы выборки для выбора объектов исследования
Чтобы получить достоверные и обобщаемые результаты, четко определите изучаемую группу населения (например, люди определенного возраста, географического положения или профессии). Убедитесь, что у вас достаточно участников и что они представляют население. Невыполнение этого требования может привести к систематической ошибке выборки и систематической ошибке отбора.
Обеспечение надежности
Надежность следует учитывать на протяжении всего процесса сбора данных. Когда вы используете инструмент или метод для сбора данных, важно, чтобы результаты были точными, стабильными и воспроизводимыми.
- Последовательно применяйте свои методы
Тщательно спланируйте свой метод, чтобы убедиться, что вы выполняете одни и те же шаги одинаковым образом для каждого измерения. Это особенно важно, если в работе участвуют несколько исследователей.
Например, если вы проводите интервью или наблюдения, четко определите, как будут учитываться конкретные действия или ответы, и убедитесь, что вопросы формулируются одинаково каждый раз. Невыполнение этого требования может привести к таким ошибкам, как смещение переменной или информации.
- Стандартизируйте условия вашего исследования
При сборе данных старайтесь, чтобы обстоятельства были как можно более последовательными, чтобы уменьшить влияние внешних факторов, которые могут привести к изменению результатов.
Например, в экспериментальной установке убедитесь, что всем участникам предоставляется одинаковая информация и они тестируются в одинаковых условиях, желательно в должным образом рандомизированных условиях. Невыполнение этого требования может привести к эффекту плацебо, эффекту Хоторна или другим характеристикам спроса. Если участники могут угадать цели или задачи исследования, они могут попытаться действовать более социально желательными способами.
Где написать о достоверности и валидности в диссертации
Уместно обсуждать надежность и валидность в различных разделах вашей диссертации, диссертации или исследовательской работы. Демонстрация того, что вы приняли их во внимание при планировании своего исследования и интерпретации результатов, делает вашу работу более достоверной и заслуживающей доверия.
| Секция | Обсудить |
|---|---|
| Обзор литературы | Что сделали другие исследователи для разработки и улучшения надежных и действенных методов? |
| Методология | Как вы планировали свое исследование, чтобы обеспечить надежность и достоверность используемых показателей? Это включает в себя выбранный набор и размер образца, подготовку образца, внешние условия и методы измерения. |
| Результаты | Если вы рассчитываете надежность и достоверность, укажите эти значения вместе с вашими основными результатами. |
| Обсуждение | Сейчас самое время поговорить о том, насколько надежными и достоверными были ваши результаты. Были ли они последовательными и отражали ли они истинные ценности? Если нет, то почему? |
| Заключение | Если надежность и валидность были большой проблемой для ваших выводов, было бы полезно упомянуть об этом здесь. |
Процитировать эту статью Scribbr
Если вы хотите процитировать этот источник, вы можете скопировать и вставить цитату или нажать кнопку «Цитировать эту статью Scribbr», чтобы автоматически добавить цитату в наш бесплатный генератор цитирования.
Миддлтон, Ф. (2023, 30 января). Надежность и валидность в исследованиях | Отличие, типы и примеры. Скриббр. Проверено 8 марта 2023 г., с https://www.scribbr.com/methodology/reliability-vs-validity/
Процитировать эту статью
Полезна ли эта статья?
Вы уже проголосовали.
Спасибо 🙂
Ваш голос сохранен 🙂
Обработка вашего голоса…
Фиона редактирует Scribbr с августа 2016 года. Она имеет степень бакалавра геологии и в настоящее время работает над получением степени магистра морских наук. Ей нравится работать со студентами по всему миру, чтобы улучшить их письмо.
Что такое валидность? — Чалли
14 ноября 2019 г.
Когда люди говорят о психологических тестах, они часто спрашивают, действителен ли тест или нет. Что именно это значит? Что означает, что тест имеет валидность?
Ответ: Валидность — это степень, в которой тест измеряет то, что, по его утверждению, измеряет. Очень важно, чтобы тест был валидным, чтобы его результаты можно было точно применить и интерпретировать.
Валидность теста определяется не одной статистикой, а совокупностью исследований, демонстрирующих взаимосвязь между тестом и поведением, для измерения которого он предназначен.
Существует три подхода к получению доказательств достоверности.
- Срок действия содержания
Валидность содержания — это степень, в которой инструмент или показатель оценивает все критические аспекты работы (задачи, обязанности и необходимые знания, навыки и способности), а не только некоторые из них. Например, тест на пилота должен измерять способность человека взлетать, летать и приземляться на самолете (все необходимое для успешного пилота), а не только способность человека управлять самолетом.
Проверка подлинности лица часто считается подкатегорией достоверности содержания. Внешняя валидность — это степень, в которой тест похож на тест , поскольку он измеряет то, что должен измерять. В то время как высокая лицевая достоверность может показаться выгодной с точки зрения приемлемости для пользователя, более низкая лицевая достоверность обеспечивает большую точность в прогнозировании поведения на работе из-за неспособности испытуемых манипулировать результатами (например, отвечать на вопросы так, как они считают более благоприятным).
- Связанная с критерием достоверность
Считается, что тест имеет валидность, связанную с критерием, если он продемонстрировал свою эффективность в прогнозировании критерия, такого как успех в роли, измеряемый достижением квоты.
Существует два разных типа:
— Параллельно: Происходит, когда меры критерия получаются одновременно с результатами теста. Это указывает на то, насколько точно результаты теста оценивают текущее состояние человека в отношении критерия. Например, в тесте, который измеряет уровни депрессии, можно сказать, что тест имеет параллельную валидность, если он измеряет текущие уровни депрессии, испытываемые испытуемым.
— Predictive: Происходит, когда меры критерия получены сразу после теста. Примерами тестов с прогностической достоверностью являются тесты карьеры или способностей, которые помогают определить, кто, скорее всего, преуспеет или потерпит неудачу в определенных предметах или профессиях.
