Валидность методики: Отчет о валидности и надежности инструментов оценки профессиональных и личностных компетенций, включенных в модель компетенций команды цифровой трансформации в государственном секторе

Структура базы вопросов гармонизирована как по сложности, так и между компетенциями. Незначительные отклонения для вопросов сложного уровня связаны с узкой направленностью областей знаний характеристик отдельных компетенций.

2.2. Информация об инструментах оценки личностных компетенций

• личностный опросник;
• ситуационный опросник;
• кейсовые задания.

Все инструменты оценки направлены на выявление уровня проявления поведенческих индикаторов личностных компетенций.

3. Результаты проверки валидности и надежности инструментов оценки профессиональных и личностных компетенций

3.1. Результаты проверки валидности и надежности инструментов оценки профессиональных компетенций

По результатам анализа распределений и первичных описательных статистик выборки выявлено, что количество, возраст и характеристики профессиональной деятельности участников валидизации являются удовлетворительными для оценки качества и сложности инструментов оценки профессиональных компетенций, соответствуют портрету потенциального кандидата на оценку компетенций – участника команды цифровой трансформации. Выборка участников репрезентативна, гармонична и представлена людьми, которые в совокупности обладают знаниями в сфере цифровой трансформации и ИТ на среднем уровне.

Анализ валидности и надежности инструментов оценки профессиональных компетенций состоял из следующих этапов:

оценка достоверной валидности инструментов;

оценка конструктной валидности инструментов;

дискриминативный анализ;

анализ надежности, согласованности вопросов инструментов оценки, относящихся к одной личностной компетенции.

• Уровень трудности вопросов является достаточным и соответствует высокому профессиональному уровню специалистов в сфере цифровой трансформации и ИТ.
• Слишком простыми или слишком трудными оказался 21% вопросов, которые предложено исключить их.
• По результатам дискриминативного анализа среди оставшихся вопросов 60% вопросов наиболее точно могут измерить ту или иную компетенцию, вопросы с низким уровнем дискриминативности предложено исключить.

По результатам оценки валидности и надежности была скорректирована база вопросов. Содержащиеся в ней вопросы имеют высокий уровень валидности и надежности, их количество достаточно для использования в реальных условиях оценки компетенций.

3.2. Результаты проверки валидности и надежности инструментов оценки личностных компетенций

Анализ распределений и первичных описательных статистик по выборке показал, что количество, возраст и характеристики профессиональной деятельности участников валидизации являются удовлетворительными для оценки качества инструментов оценки личностных компетенций, соответствуют портрету потенциального кандидата на оценку компетенций – участника команды цифровой трансформации. Выборка участников репрезентативна и гармонична.

• оценка достоверной валидности инструментов;
• оценка конструктной валидности инструментов;
• дискриминативный анализ;
• анализ надежности, согласованности вопросов инструментов оценки, относящихся к одной личностной компетенции.

• Вопросы по всем личностным компетенциям, оцениваемым с помощью личностного опросника, обладают оптимальным уровнем надежности и согласованности.
• Вопросы по двум личностным компетенциям (клиентоцентричности и коммуникативности), оцениваемым с помощью ситуационного опросника, показали приемлемый уровень надежности и согласованности.
• Вопросы по остальным компетенциям, а также все вопросы кейсового задания, демонстрируют достаточно высокий уровень разнородности и затрагивают не только заявленные личностные конструкты, но и другие.

С целью проверить структуру модели личностных компетенций на дополнительной выборке (99 человек) были проведены иерархический кластерный анализ и факторный анализ. Данные иерархического кластерного анализа показали, что внутренней целостностью и согласованностью обладают индикаторы «Нацеленность на результат», «Эмоциональный интеллект» и «Креативность». Это означает, что в каждом из этих индикаторов все высказывания направлены примерно на одно и то же и не смешиваются по своему содержанию с высказываниями, предусмотренными для других индикаторов. Остальные индикаторы показывают такую внутреннюю согласованность лишь частично.

Результаты факторного анализа позволили заключить, что индикаторы «Креативность» и «Эмоциональный интеллект» являются полностью самостоятельными конструктами и высказывания в данном случае подобраны удачно и не похожи по своей сути на высказывания, предложенные для других индикаторов. Об этом же свидетельствуют и ранее приведенные результаты кластерного анализа.

У первых двух факторов наблюдается определенное смешение индикаторов: к первому фактору полностью относится индикатор «Нацеленность на результат» и частично — «Клиентоцентричность». Это говорит о том, что высказывания для этих двух индикаторов похожи по своей сути и, вероятно, направлены на один и тот же личностный конструкт.

Аналогичные тенденции можно увидеть в случае со вторым фактором, к нему полностью отнесены индикаторы «Коммуникативность» и «Критичность» и одно высказывание индикатора «Клиентоцентричность»: можно предположить, что высказывания для этих индикаторов направлены на одно и то же.

Такие результаты говорят о том, что по указанным компетенциям необходима соответствующая корректировка формулировок индикаторов и измеряющих их инструментов.

3.3. Согласованность инструментов оценки профессиональных и личностных компетенций

Анализ взаимосвязи между профессиональными и личностными компетенциями проведен с целью изучить внутреннюю структуру всего методологического комплекса как единого целого: насколько согласованы между собой профессиональные и личностные компетенции участников цифровой трансформации.

Анализ взаимосвязи между профессиональными и личностными компетенциями показал, что они оказываются достаточно сильно связанными между собой.

Слабая взаимосвязь (коэффициенты корреляции от 0,3 до 0,5 по модулю) была обнаружена в 25% случаев, выраженная взаимосвязь (коэффициенты корреляции выше 0,5 по модулю) — в 36% случаев. Более чем в половине случаев профессиональные и личностные компетенции оказались взаимосвязанными.

• между ПК «Развитие информационной культуры» и ЛК «Креативность»;
• ПК «Управление и использование данных» и ЛК «Эмоциональный интеллект»;
• ПК «Развитие информационной культуры» и ЛК «Коммуникативность»;
• ПК «Инструменты управления» и ЛК «Эмоциональный интеллект»;
• ПК «Применение цифровых технологий» и ЛК «Клиентоцентричность».

Такое количество взаимосвязей между профессиональными и личностными компетенциями говорит о том, что весь методологический комплекс обладает определенной степенью целостности и согласованности между профессиональными и личностными компетенциями и измеряет личностные компетенции в разрезе профессиональной деятельности, а профессиональные компетенции — в контексте личностных особенностей участников.

4. Выводы о валидности и надежности инструментов оценки

По итогам проведенного комплекса исследований валидности и надежности инструментов оценки личностных и профессиональных компетенций команды цифровой трансформации в государственном секторе можно сделать следующие ключевые выводы:

Достаточное число респондентов, которые являются репрезентативными представителями целевой выборки, позволило адекватно оценить валидность и надежность всех исследуемых инструментов.

Подтвержден достаточный уровень содержательной, доверительной, прагматической, достоверной и конструктной валидности инструментов оценки профессиональных и личностных компетенций.

Выявлен приемлемый уровень трудности инструментов оценки профессиональных компетенций.

Определен достаточный уровень дискриминативной надежности методик оценки профессиональных и личностных компетенций по большинству вопросов (более 60%).

Обнаружено нормальное распределение итоговых баллов по шкалам, что позволяет надежно определить нормы прохождения тестов.

Взаимосвязь между профессиональными и личностными компетенциями указывает на то, что инструменты позволяют оценить личностные качества в контексте профессиональной деятельности и профессиональные компетенции как отражение конкретных личностных особенностей

Результаты оценки валидности и надежности подтверждают возможность использования исследуемых инструментов для отбора, оценивания и прогноза деятельности специалистов в сфере цифровой трансформации.

Валидность методики

Валидность методики — соответствие того, что на самом деле изучает (оценивает, измеряет, характеризует) данная методика, тому, для изучения (оценки, измерения, характеристики) чего она предназначена. Если, например, некоторый психологический тест или психодиагностическая методика, основанная на сознательном самоотчете , предназначена для изучения какой-либо черты личности (см.) человека — такой черты, которая не может быть осознана или правильно сознательно оценена самим человеком, то соответствующая методика не будет валидной. На самом деле ответы испытуемого на вопросы, касающиеся наличия, отсутствия или степени развитости у него этой черты личности, могут выражать лишь то, как он воспринимает и оценивает себя, или то, каким ему хотелось бы выглядеть в глазах окружающих людей. В. одно из главных требований, предъявляемых к психологическим тестам и к другим методам изучения психических явлений.

Существуют множество разновидностей валидности, выделяемых и рассматриваемых тогда, когда сама валидность выступает как предмет специального теоретического исследования:

• априорная,
• сопутствующая,
• конгруэнтная,
• консенсусная,
• конструктивная,
• критериальная,
• содержательная,
• по определению,
• дифференциальная,
• эмпирическая,
• факториальная,
• внутренняя,
• внешняя,
• теоретическая и ряд других.

До сих пор, однако, не существует единого мнения ни по вопросу о том, как называть разные виды валидности, ни по вопросу о том, каким видам валидности методика обязательно должна соответствовать. Вместе с тем, если психодиагностическая методика является теоретически или практически невалидной, внутренне или внешне невалидной, то ею не рекомендуется пользоваться, по крайней мере в научных исследованиях.

Источник: Немов Р. С., Психология. В 2 частях

4 типа достоверности исследований

Опубликован в 6 сентября 2019 г. к Фиона Миддлтон. Отредактировано 30 ноября 2022 г.

Валидность говорит вам, насколько точно метод что-то измеряет. Если метод измеряет то, что заявлено для измерения, и результаты точно соответствуют реальным значениям, то его можно считать действительным. Существует четыре основных типа валидности:

• Конструктивная валидность : Измеряет ли тест концепцию, для измерения которой он предназначен?
• Валидность содержания : Является ли тест полностью репрезентативным для измерения?
• Внешняя достоверность : Соответствует ли содержание теста его целям?
• Критерий достоверности : Точно ли результаты измеряют конкретный результат, для измерения которого они предназначены?

В количественных исследованиях вы должны учитывать надежность и достоверность ваших методов и измерений.

Обратите внимание, что в этой статье рассматриваются типы проверки достоверности, которые определяют точность фактических компонентов меры. Если вы проводите экспериментальное исследование, вам также необходимо учитывать внутреннюю и внешнюю валидность, которые касаются плана эксперимента и возможности обобщения результатов.

Содержание

1. Конструктивная валидность
2. Контентная валидность
3. Лицевая валидность
4. Критериальная валидность
5. Часто задаваемые вопросы о типах валидности

Действительность конструкции

Конструктивная валидность оценивает, действительно ли инструмент измерения представляет то, что мы хотим измерить.

Что такое конструкция?

Конструкт относится к понятию или характеристике, которые нельзя наблюдать напрямую, но которые можно измерить, наблюдая за другими связанными с ними индикаторами.

Конструкты могут быть характеристиками людей, такими как интеллект, ожирение, удовлетворенность работой или депрессия; они также могут быть более широкими понятиями, применяемыми к организациям или социальным группам, таким как гендерное равенство, корпоративная социальная ответственность или свобода слова.

Пример

Не существует объективной наблюдаемой сущности под названием «депрессия», которую мы можем измерить напрямую. Но, основываясь на существующих психологических исследованиях и теориях, мы можем измерить депрессию на основе набора симптомов и индикаторов, таких как низкая уверенность в себе и низкий уровень энергии.

Что такое допустимость конструкции?

Валидность конструкции заключается в том, чтобы убедиться, что метод измерения соответствует конструкции, которую вы хотите измерить.

Чтобы достичь конструктивной достоверности, вы должны убедиться, что ваши индикаторы и измерения тщательно разработаны на основе соответствующих существующих знаний. Анкета должна включать только соответствующие вопросы, которые измеряют известные показатели депрессии.

Все другие типы валидности, описанные ниже, можно рассматривать как формы доказательства конструктной валидности.

Действительность содержимого

Валидность содержания оценивает, является ли тест репрезентативным для всех аспектов конструкции.

Для получения достоверных результатов содержание теста, опроса или метода измерения должно охватывать все соответствующие части предмета, который он призван измерить. Если некоторые аспекты отсутствуют в измерении (или если включены нерелевантные аспекты), достоверность находится под угрозой, и исследование, вероятно, страдает от систематической ошибки, связанной с пропущенной переменной.

Пример

Учительница математики разрабатывает тест по алгебре в конце семестра для своего класса. Тест должен охватывать все формы алгебры, которые преподавались в классе. Если некоторые виды алгебры будут опущены, то результаты могут не быть точным показателем понимания учащимися предмета. Точно так же, если она включает вопросы, не связанные с алгеброй, результаты перестают быть действительным показателем знаний по алгебре.

Что может сделать корректура для вашей статьи?

Редакторы Scribbr не только исправляют грамматические и орфографические ошибки, но и улучшают качество письма, следя за тем, чтобы в статье не было неясных выражений, избыточных слов и неуклюжих формулировок.

См. пример редактирования

Проверка лица

Внешняя валидность показывает, насколько подходящим выглядит содержание теста на первый взгляд. Это похоже на содержательную валидность, но внешняя валидность — более неформальная и субъективная оценка.

Пример

Вы создаете опрос для измерения регулярности пищевых привычек людей. Вы просматриваете элементы опроса, в которых задаются вопросы о каждом приеме пищи в течение дня и перекусах между ними в течение каждого дня недели. На первый взгляд опрос кажется хорошим представлением того, что вы хотите протестировать, поэтому вы считаете, что он имеет высокую юридическую достоверность.

Поскольку внешняя достоверность является субъективной мерой, ее часто считают самой слабой формой достоверности. Однако он может быть полезен на начальных этапах разработки метода.

Справедливость критерия

Валидность критерия оценивает, насколько хорошо тест может предсказать конкретный результат или насколько хорошо результаты вашего теста приближаются к результатам другого теста.

Что такое переменная критерия?

Критериальная переменная — это устоявшаяся и эффективная мера, которая широко считается достоверной, иногда называемая «золотым стандартом». Критериальные переменные может быть очень трудно найти.

Что такое достоверность критерия?

Чтобы оценить достоверность критерия, вы вычисляете корреляцию между результатами вашего измерения и результатами измерения критерия. Если есть высокая корреляция, это дает хороший признак того, что ваш тест измеряет то, что он намеревается измерить.

Пример

Профессор университета создает новый тест для измерения навыков письма абитуриентов на английском языке. Чтобы оценить, насколько хорошо тест действительно измеряет навыки письма учащихся, она находит существующий тест, который считается достоверным измерением навыков письма на английском языке, и сравнивает результаты, когда одна и та же группа учащихся проходит оба теста. Если результаты очень похожи, новый тест имеет высокую достоверность критерия.

Часто задаваемые вопросы о типах действительности

В чем сходство содержания и внешней достоверности?

Лицевая валидность и валидность содержания похожи в том, что они оба оценивают, насколько подходит содержание теста. Разница в том, что лицевая достоверность субъективна и оценивает содержание на поверхностном уровне.

Когда тест имеет сильную внешнюю валидность, любой согласится с тем, что вопросы теста кажутся измеряющими то, для чего они предназначены.

Например, глядя на тест по математике для 4-го класса, состоящий из задач, в которых учащиеся должны складывать и умножать, большинство людей согласятся, что он имеет сильную юридическую достоверность (т. е. он выглядит как тест по математике).

С другой стороны, достоверность содержания оценивает, насколько хорошо тест представляет все аспекты темы. Оценка валидности содержания более систематична и опирается на экспертную оценку. каждого вопроса, анализируя, охватывает ли каждый из них те аспекты, для которых был разработан тест.

Тест по математике для 4-го класса будет иметь высокую содержательную достоверность , если он охватывает все навыки, преподаваемые в этом классе. Эксперты (в данном случае учителя математики) должны будут оценить достоверность содержания, сравнив тест с целями обучения.

Какие существуют два типа критерия валидности?

Валидность критерия оценивает, насколько хорошо тест измеряет результат, для измерения которого он был разработан. Исходом может быть, например, начало заболевания.

Валидность критерия состоит из двух подтипов в зависимости от времени получения двух показателей (критерия и вашего теста):

• Параллельная валидность — это стратегия проверки, при которой получаются баллы теста и критерия в тот же раз .

• Прогностическая валидность — это стратегия проверки, в которой переменные критерия измеряются после баллов теста.

Почему конвергентную и дискриминантную валидность часто оценивают вместе?

Конвергентная валидность и Дискриминантная валидность — оба подтипа конструктной валидности. Вместе они помогают оценить, измеряет ли тест концепцию, для измерения которой он был разработан.

• Конвергентная валидность показывает, коррелирует ли тест, предназначенный для измерения конкретной конструкции, с другими тестами, оценивающими ту же или аналогичную конструкцию.
• Дискриминантная валидность показывает, действительно ли два теста, которые должны , а не быть тесно связаны друг с другом, не связаны между собой. Этот тип валидности также называется расходящаяся действительность .

Вам необходимо оценить оба, чтобы продемонстрировать достоверность конструкции. Ни одного из них в отдельности недостаточно для установления валидности конструкции.

Почему экологическая валидность не ставится в приоритет в исследованиях, проводимых в режиме проверки теории?

Целью режима проверки теории является поиск доказательств для опровержения, уточнения или поддержки теории. Таким образом, возможность обобщения не является целью режима проверки теории.

В связи с этим приоритетом исследователей в режиме проверки теории является устранение альтернативных причин взаимосвязей между переменными. Другими словами, они отдают приоритет внутренней валидности внешней валидности, включая экологическую валидность.

Кто должен оценивать лицевую валидность?

Часто лучше попросить нескольких людей проверить ваши измерения. Вы можете попросить экспертов, таких как другие исследователи, или неспециалистов, таких как потенциальные участники, оценить внешнюю достоверность тестов.

Несмотря на то, что эксперты хорошо разбираются в методах исследования, люди, которых вы изучаете, могут дать вам ценную информацию, которую вы могли бы упустить.

Процитировать эту статью Scribbr

Если вы хотите процитировать этот источник, вы можете скопировать и вставить цитату или нажать кнопку «Цитировать эту статью Scribbr», чтобы автоматически добавить цитату в наш бесплатный генератор цитирования.

Миддлтон, Ф. (2022, 30 ноября). 4 типа достоверности исследований | Определения и примеры. Скриббр. Проверено 20 июня 2023 г., с https://www.scribbr.com/methodology/types-of-validity/

Процитировать эту статью

Полезна ли эта статья?

Фиона редактирует Scribbr с августа 2016 года. Она имеет степень бакалавра геологии и в настоящее время работает над получением степени магистра морских наук. Ей нравится работать со студентами по всему миру, чтобы улучшить их письмо.

Валидность – методология исследований

Валидность исследований в опросах связана со степенью, в которой опрос измеряет правильные элементы, которые необходимо измерить. Проще говоря, валидность относится к тому, насколько хорошо инструмент измеряет то, для измерения которого он предназначен.

Одной надежности недостаточно, меры должны быть надежными, а также действительными. Например, если весы ошибаются на 4 кг (они вычитают 4 кг из фактического веса), их можно назвать надежными, потому что весы показывают один и тот же вес каждый раз, когда мы измеряем конкретный предмет. Однако весы недействительны, поскольку они не отображают фактический вес предмета.

Исследовательскую валидность можно разделить на две группы: внутреннюю и внешнюю. Можно уточнить, что «внутренняя валидность относится к тому, насколько результаты исследования соответствуют действительности, а внешняя валидность относится к степени, в которой результаты исследования могут быть воспроизведены в других средах» (Pelissier, 2008, стр. 12).

Кроме того, валидность также может быть разделена на пять типов:

1. Лицевая валидность — это самый базовый тип валидности, связанный с наивысшим уровнем субъективности, поскольку он не основан ни на каком научном подходе. Другими словами, в этом случае тест может быть определен исследователем как валидный, потому что он может казаться валидным без глубокого научного обоснования.

Пример: дизайн анкеты для исследования, в котором анализируются вопросы производительности сотрудников, может быть оценен как действительный, поскольку может показаться, что каждый отдельный вопрос касается конкретных и важных аспектов производительности сотрудников.

2. Конструктивная валидность относится к оценке пригодности инструмента измерения для измерения изучаемого явления. Применение конструктной валидности может быть эффективно облегчено при участии группы «экспертов», хорошо знакомых с мерой и явлением.

Пример: с применением конструктной валидности уровни компетентности руководителей в любой данной организации могут быть эффективно оценены путем разработки вопросника, на который должны отвечать сотрудники оперативного уровня, и задавания вопросов об уровнях их мотивации выполнять свои обязанности на ежедневной основе. .

3. Валидность, связанная с критериями включает сравнение результатов тестов с исходом. Этот специфический тип валидности соотносит результаты оценки с другим критерием оценки.

Пример: характер восприятия потребителями имиджа торговой марки конкретной компании можно оценить путем организации фокус-группы. Эту же проблему можно также оценить с помощью разработки анкеты, на которую должны ответить текущие и потенциальные клиенты бренда. Чем выше уровень корреляции между результатами фокус-группы и анкеты, тем выше уровень валидности критерия.

4. Формирующая валидность относится к оценке эффективности меры с точки зрения предоставления информации, которая может быть использована для улучшения конкретных аспектов явления.

Пример: при разработке инициатив по повышению уровня эффективности организационной культуры, если мера способна выявить специфические недостатки организационной культуры, такие как коммуникативные барьеры между работником и менеджером, то уровень формирующей валидности меры может быть оценен как адекватный .