Валидность в педагогике это: Валидность — это… Что такое Валидность?

Содержание

Валидность — это… Что такое Валидность?

валидность — одна из важнейших характеристик психодиагностических методик и тестов, один из основных критериев их качества. Это понятие близко к понятию достоверности, но не вполне тождественно. Проблема валидности возникает в ходе разработки и практического… … Большая психологическая энциклопедия

валидность — достоверность Словарь русских синонимов. валидность сущ., кол во синонимов: 8 • адекватность (18) • … Словарь синонимов

Валидность — Валидность ♦ Validité Употребляемый в логике синоним истины, точнее говоря, ее формальный эквивалент. Вывод считается валидным (верным), если представляет собой переход от истинного к истинному (от истинности посылок к истинности заключения) … Философский словарь Спонвиля

Валидность — от фр. valide в статистике законность и достоверность исходной информации, надежность методики сбора, получения данных, в том числе и для экономических исследований.

Словарь бизнес терминов. Академик.ру. 2001 … Словарь бизнес-терминов

ВАЛИДНОСТЬ — [Словарь иностранных слов русского языка

ВАЛИДНОСТЬ — (от лат. validus сильный, крепкий) англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов). Antinazi. Энциклопедия… … Энциклопедия социологии

Валидность — Надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Терминологический словарь банковских и финансовых терминов. 2011 … Финансовый словарь

ВАЛИДНОСТЬ — (от франц. valide законный, действительный) применительно к исходной статистической информации, используемой в экономических исследованиях: надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Райзберг… … Экономический словарь

валидность — и, ж. validité f. &LT;лат. validus. Действительность, законность, весомость, обоснованность; обладание юридической силой. Комлев 1992. || Способность образовать связную знаковую систему. Барт Что такое критика? // Б. 272. Качество исходной… … Исторический словарь галлицизмов русского языка

Валидность — (англ. validity) мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики. Как в… … Википедия

Валидность — качество метода психологического исследования, выражающееся в его соответствии тому, для изучения и оценки чего он изначально был предназначен. * * * (лат. validus крепкий, здоровый) надёжность в плане соответствия истине, действительности,… … Энциклопедический словарь по психологии и педагогике

Особенности определения валидности педагогического теста

В статье рассматривается понятие валидности, ее виды, приводится вычислительный алгоритм проверки качества педагогического теста с помощью коэффициента валидности.

Педагогический тест сегодня стал одним из наиболее распространенных инновационных педагогических инструментов контроля качества образовательного процесса. Так или иначе, в своей деятельности педагоги сталкиваются с необходимостью разработать педагогический тест. Созданный тест необходимо проверить на его качество. Одним из показателей качества теста является проверка его на валидность.

Понятие «валидность» произошло от анг. слова «valid», что в переводе означает «годный». Валидность — один из базовых показателей качества созданного теста, характеризует пригодность результатов полученных после тестирования именно для той цели, ради которой и проводилось само тестирование.

Аванесов В.С. в своей статье «Тесты: история и теория» пишет: «Валидность характеризует пригодность теста для измерения определенной величины, но нельзя говорить о валидности не указав его применения» [2]. Приведем пример для понимания смысла валидности. Два лучника стреляют по мишеням. Первый лучник набрал 70 очков, а второй 80 из 100. На первый взгляд кажется, что второй лучник лучше первого. Но при уточнении результатов оказалось, что второй лучник поразил чужую мишень. Поэтому, второй стрелок является «не валидным», он не может достигнуть цели, которая перед ним ставилась.

В научной работе Майорова А. «Теория и практика создания тестов для системы образования» говорится «Валидность – должна определять насколько тест может отражать то, что он должен оценивать» [6].

Валидизация теста, это ни что иное, как процесс накопления подтверждений для доказательства его валидности. В теории тестирования существует несколько классификаций валидности. Майоров А. выделяет три вида валидности: конструктная, критериальная и содержательная [6].

Конструктная валидность – определяется в тех случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа. В критериальной или эмпирической валидности оценивается величина связи теста с независимыми критериями. Для оценки степени связи используются средства математической статистики (корреляция двух рядов значений: баллов по тесту и показателей по внешним параметрам). При этом можно выделить два подвида: текущая и прогностическая валидность. Текущая валидность рассматривает корреляцию с критерием существующим в настоящее время (например, тест по предмету сравнивается со школьными оценками). Прогностическая валидность определяется на основе сравнения результатов с критериями которые предположительно появятся в будущем (например, результаты прошлого года переносим на следующий год).

Содержательная валидность характеризует тест по степени его соответствия предметной области, глубина и проработка соответствия. Анна Анастази пишет «Содержательная валидность означает систематическую проверку содержания теста, с тем чтобы установить соответствует ли оно репрезентативной выборке измеряемой области» [4].

Согласно Клайну П., тест с высокой содержательной валидностью можно определить следующим образом [5]:

Указать категорию лиц, для которых предназначен тест.
Составить список знаний, умений и навыков, подлежащих тестированию.
Выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности.
На основе списка составить перечень заданий.
Выполнить внешнюю экспертизу составленных заданий.
На данной основе создать тестовые задания образующие тест, при этом тест будет содержательно валидным.

Вычислить числовой коэффициент валидности теста означает эмпирически установить, как выполнение теста испытуемыми соотносится с другими независимо опредленными оценками их знаний. Для определения валидности требуется независимый внешний критерий, то есть оценка эксперта (преподавателя). За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y1,Y2, …, Yn, то коэффициент валидности теста может быть рассчитан по формуле, предложенной в своих работой Анастази А., Аванесовым В.

С [1, 3, 4, 7]:

где n – количество испытуемых, — экспертная оценка i-го учащегося, — средняя арифметическая экспертных оценок, — стандартное отклонение экспертных оценок, — количество правильных ответов у i-го учащегося, — средняя арифметическая количества правильных ответов, — стандартное отклонение количества правильных ответов.

Интерпретация результатов:

a) если V принимает значение в диапазоне от 0,6 до 1 – валидность считается высокой,

b) если V принимает значение в диапазоне от 0,3 до 0,6 – валидность считается средней,

c) если V принимает значение меньшее 0,3– валидность считается низкой,

Рассмотрим пример расчета валидности теста.

Тест «Информационные процессы» должна выполнить группа студентов из 7 человек (в нашем примере мы рассмотрим небольшую группу, на практике рекомендуется проводить проверку теста на группе не менее 30 человек). Тест состоит из 10 заданий.

Экспертом, предварительно оцениваются результаты (экспертом может выступить преподаватель информационных технологий, хорошо знающий данную группу студентов, и имеющий возможность предсказать результата выполнения ими данного теста).

Результаты оценивания экспертов приведены в таблице 1.

Таблица 1. Результаты оценивания экспертов.

Номер студента	1	2	3	4	5	6	7
Yi	5	10	3	4	7	6	9

Расчеты можно произвести в электронных таблицах Microsoft Excel используя встроенные функции для вычислений.

Рассчитаем — среднюю арифметическую экспертных оценок:

Функция СРЗНАЧ в Microsoft Office Excel вычисляет среднее арифметическое значение чисел выбранного диапазона. В частности, если диапазон B4:B15 содержит числовые значения, то формула =СРЗНАЧ(B4:B15) вернет среднее арифметическое значение этих чисел.

Найдем — стандартное отклонение экспертных оценок:

Функция СТАНДОТКЛОН в Microsoft Office Excel вычислят стандартное отклонение используя указанную выборку, на основании «n-1» вычислительного метода. При этом, укажем, что стандартное отклонение — это оценка того, насколько массово разбросаны данные относительно среднего арифметического этих данных.

После проведения теста, были получены результаты, приведенные в таблице 2.

Таблица 2. Результаты тестирования.

Номер студента	1	2	3	4	5	6	7
yi	4	9	3	3	8	6	9

Рассчитаем — среднюю арифметическую количества правильных оценок:

Найдем — стандартное отклонение количества правильных оценок:

Рассчитаем коэффициент валидности:

На основании расчетов можно сделать вывод о том, что валидность, рассмотренного в примере теста «Информационные процессы», высокая. На основании определенного показателя мы можем сказать. Что тест достигает своих результатов, а значит, разработчик теста справился со своим заданием – разработкой качественного теста по данной тематики. Заметим, что качество теста определяется не только показателем валидности, но и многими другими дополнительными показателями.

Таким образом, рассмотренный способ определения коэффициента валидности, является одним из доступных, для педагога, вариантом расчета и позволяет определить соответствие созданного теста поставленным педагогическим условиям.

Насколько надежны и точны ваши онлайн-тесты?

На чтение 4 мин. Просмотров 845 Опубликовано 08/12/2020

Наверняка, приложив усилия по разработке теста, вы хотите, чтобы он был точным и измерял верно те знания и навыки, которые ученики получили, обучаясь у вас.

Но важно понимать, что:

ваш тест не может оценить все содержание курса
возможно, вы проверили с его помощью наименее значимый контент
наиболее важным аспектом обучения на рабочем месте обычно является применение знаний в реальном мире. Проверка знаний в искусственной среде имеет свои ограничения

Чтобы сделать ваши тесты более точными показателями качественного и осмысленного обучения, необходимо учитывать 2 критерия эффективных тестов: валидность и надежность.

Валидность (достоверность) тестов

Давайте сначала определим, что же такое валидность тестов. Это соответствие методик и результатов оценивания поставленным задачам, т.е. насколько ваш тест измеряет то, что он должен измерять.

В электронном обучении важно сосредоточить внимание на том, насколько ваш тест лучше всего представляет интересующий контент. Поскольку вы хотите, чтобы тест точно оценивал знания и навыки (насколько это возможно), вопросы должны соответствовать наиболее важным целям обучения или действиям.

Как взвесить учебные цели/действия

Один из способов добиться большей достоверности – взвесить цели, чтобы убедиться, что вы тестируете наиболее важный контент.

Вот достаточно быстрый способ сделать это:

Просмотрите цели курса, чтобы помнить про них
Создайте схему, чтобы определить ценность каждой учебной цели или действия
Оцените каждую цель/действие с точки зрения ее важности для работы учащегося, сложности и частоты, с которой она встречается в курсе. Например, по 5 или 10 бальной шкале
Затем суммируйте баллы
Цели с низким баллом имеют низкий приоритет и не будут проверяться; цели с наивысшими баллами будут проверены. Примечание: если курс вы еще не разработали, подумайте о том, чтобы полностью исключить из него элементы с низкими баллами

Другие способы повысить валидность онлайн-тестов

Задания теста должны соответствовать высокоприоритетным целям обучения
Разработайте тестовые задания, которые измеряют применение знаний, как в заданиях на основе сценария
Поручите эксперту, который понимает, какие навыки требуются на рабочем месте, ознакомиться с тестовыми заданиями
Попросите нескольких представителей вашей целевой аудитории прочитать вопросы теста, чтобы убедиться, что они сформулированы четко и понятно
Дорабатывайте тест, отслеживая успеваемость учащихся. Пересмотрите вопросы, которые вызывают затруднения, или внесите изменения в контент курса

Надежность теста

Надежность – это попытка свести к минимуму случайные ошибки и погрешности, возникающие во всех тестах.

Способ уменьшить погрешности – сделать тест последовательным и согласованным. Надежный тест имеет несколько вариаций внутри себя и со временем дает аналогичные результаты.

Приведем пример. Если вы взвешиваетесь каждый день и ваш вес достаточно постоянен, вы считаете весы надежными. Если весы изо дня в день показывают совершенно разные цифры, вы не будете считать эти показатели надежными.

Если мы говорим про электронное обучение, то онлайн-тест с высокой степенью надежности будет более точно измерять знания и навыки учащегося, чем тест с низкой надежностью.

Надежность теста отвечает за вопрос: «В какой степени тест соответствует тому, что он измеряет?»

Что делает тест последовательным и согласованным?

Надежный тест будет иметь определенную степень согласованности, о чем свидетельствуют следующие характеристики:

Тестовые задания кажутся похожими или тесно связанными. Тест представляет единое целое
Нет больших скачков в сложности, формулировке и тоне. Должно создаваться впечатление, что тест составлял один человек
Если бы тест проводился в аналогичных группах, вы бы увидели сходство в оценках во всех группах
Тест достаточно длинный, чтобы оценить знания ученика. На очень короткие тесты больше влияет «фактор удачи»

Как повысить надежность теста?

Убедитесь, что тест измеряет связанный контент. Избегайте создания одного теста для нескольких различных курсов
Убедитесь, что условия тестирования одинаковы для каждого учащегося. Например, если ваше программное обеспечение для тестирования хорошо отображается в конкретном браузере, то обязательно используйте этот браузер
Добавьте больше вопросов в тест. Более длительный тест будет более надежным
Формулируйте вопросы очень четко, чтобы никакие другие интерпретации не были возможны
Напишите инструкции по тестированию так, чтобы их было легко понять
Убедитесь, что варианты ответов явно отличаются друг от друга и что неправильные из них на 100% неверны
По возможности создавайте тестовые задания аналогичной сложности
Дважды протестируйте участников одной и той же группы, в идеале с разницей в месяц. Если распределение баллов аналогично, тест, скорее всего, будет надежным. Если оценки сильно различаются, улучшите вопросы, в которых было расхождение. Учтите, что баллы по второму тесту могут быть немного выше

Отношение надежности и валидности

Надежный тест не обязательно является валидным. Тест может быть последовательным и согласованным (надежным), но не измерять точно то, что по вашему мнению должен измерять (быть валидным).

Учитывая рекомендации, данные выше, вы сможете создать точные и надежные тесты, которые помогут эффективно измерить результаты, полученные знания и навыки ваших учеников.

Валидность, психология. Валидность — обоснованность и пригодность применения методик и результатов исследования в конкретных условиях. Более прикладное определе

1. Способы установления валидности методики

Чаще всего понятие «валидность» обсуждается в контексте конкретных методик или экспериментов. При этом может быть поставлен вопрос и о валидности определенного метода в целом например, метода тестирования или ассессмент центра. Подобные исследования проводятся с помощью мета-анализа.

Существуют три основных способа установления валидности методики.

I. Оценка содержательной валидности.

Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство. Частным случаем содержательной валидности является так называемая очевидная лицевая или фейс валидность — степень соответствия методики ожиданиям оцениваемых. Для большинства методик считается важным, чтобы для участника оценки была очевидна связь между содержанием процедуры оценки и той реальной деятельностью, которая является объектом оценки.

II. Оценка конструктной валидности.

Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты. Существуют, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями.

Подход второй — «дискриминантная валидизация». Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

III. Оценка критериальной валидности.

Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев. В качестве подобных критериев могут выступать:

показатели социально- или оргазизационно-значимых результатов деятельности ключевые показатели эффективности КПЭ или KPI, успеваемость, устойчивость семейных отношений и т. п)
независимые от результатов методики непосредственные меры исследуемого качества,

Одним из видов критериальной валидности является т. н. «прогностическая» валидность. Этот вид валидности используется, когда методика призвана давать определенный прогноз поведения человека. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что методика является прогностически валидной.

Профессиональные разработчики методик должны обосновывать все перечисленные виды валидности и вести постоянный сбор свидетельств в пользу валидности их инструментов.

Технология тестирования в системе дополнительного образования детей: возможности применения ⋆

В статье рассматриваются некоторые вопросы теории тестового контроля, дается описание технологии тестирования, приводятся примеры тестовых заданий, разработанных педагогами дополнительного образования.

Жирова Н.А.,
старший методист
Ресурсного научно-методического центра
Управления качества образования
ГБПОУ «Воробьевы горы»,
кандидат педагогических наук
Москва

Зарождение интереса к тестированию как одной из действенных форм контроля качества образования в отечественной педагогике следует датировать 80-ми годами ХХ века. Обращение к тестированию как форме контроля образовательных и иных результатов развития обучающихся отмечалось в 30-х годах прошлого столетия, но быстро сошло на нет благодаря решительным действиям правительства.

В 80-е годы обращение к тестированию как форме оценки образовательных результатов было связано с поиском новых подходов, форм организации, векторов развития отечественной образовательной системы.

Сегодня можно с уверенностью констатировать потребность в грамотных, корректных, разработанных по определенной технологии тестах, которые могут выступать в качестве одного из наиболее объективных средств диагностики результативности образовательного процесса в дополнительном образовании детей.

Прежде чем привести конкретные примеры тестов, составленных педагогами ГБПОУ «Воробьевы горы», обратимся к теории.

Существуют различные определения понятия «тест». Рассмотрим, как формулируют его сущность ученые, занимавшиеся в разное время данным вопросом.

Согласно трактовке В.С. Аванесова, «тест — научно обоснованный метод измерения интересующих качеств и свойств личности», а «педагогический тест — это система заданий возрастающей трудности и специфической формы, позволяющая качественно оценить структуру и измерить уровень знаний» [1, с. 9].

В.П. Беспалько подразумевает под тестом «…инструмент, который позволяет выявить факт усвоения» определенного опыта обучающимися [2, с. 58].

Е.А. Михайлычев описывает тест как «…научно разработанную, профессионально составленную диагностическую или исследовательскую методику» [4, c. 17].

В Российской педагогической энциклопедии можно найти следующее определение: «тест (англ. test — испытание, проба) — стандартизированное задание, предназначенное для измерения в сопоставимых величинах индивидуально-психологических свойств личности, а также знани й, умений и навыков; один из основных методов психологической диагностики [6, с. 55].

Следует различать понятия «тест», «батарея тестов» и «тестирование».

Тест, или тестовое задание — это единичное задание, разработанное согласно определенным правилам.

Батарея тестов — система тестовых заданий по определенной теме (кругу тем). Целесообразно включать в батарею тестовые задания разных типов.

Тестирование — это форма измерения знаний обучающихся, основанная на применении педагогических тестов. Она предполагает подготовку качественных тестов, непосредственно проведение тестирования как процесса и последующую обработку результатов. Полученные результаты констатируют уровень освоения дополнительной общеразвивающей программы в целом или определенной темы (круга тем).

Приведенные определения в большей степени ориентированы на знаниевый компонент обучения. Однако предлагаемая вниманию читателя технология тестирования способна вывести нас на возможность измерения не только предметных, но и метапредметных и личностных результатов обучающихся.

Для того, чтобы соблюсти корректность, необходимо обратиться к истории возникновения технологии тестирования. Она была разработана доктором педагогических наук В.П. Беспалько и предназначена для студентов педагогических колледжей. Этот процесс детально описан в его книге «Слагаемые педагогической технологии».

Автор выделяет четыре уровня постижения содержания подготовки по определенному предмету: первый — ученический, или репродуктивный (задание выполняется с подсказкой извне, соответствует типу тестовых заданий закрытого типа), второй уровень — типовой (задания выполняются по памяти согласно известному алгоритму), данный уровень может быть обозначен как частично-поисковый. Третий уровень — эвристический: наличие нетиповой задачи, а также преобразование известного алгоритма действий для ее решения, в ходе данного процесса обучающийся получает субъективно новую информацию, добивается результата, нового для себя. Четвертый уровень — творческий — предполагает, что известна лишь общая цель деятельности. Предполагаемую ситуацию и пути ее решения обучающийся разрабатывает сам. Результат является объективно новым.

В сущности, четвертый уровень отражает тот процесс, который осуществляет каждый педагог, приходя в группу ежедневно. Очевидно, что технология тестирования В.П. Беспалько была создана для того, чтобы не только проверить уровень знаний, но и погрузить студентов в реальные ситуации их дальнейшей работы, и это роднит ее с идеей контекстного обучения А.А. Вербицкого.

В 90-х годах ХХ века доктор педагогических наук Т.В. Челышева разработала на основании опыта В.П. Беспалько технологию тестирования по основам художественной культуры. Этапов технологии два. Первый, в основном, посвящен определению знаний обучающихся, второй может выходить и на определение личностных и метапредметных результатов — все будет зависеть от того материала, который заложит в формулировку задания педагог.

Задания, которые формируют первый и второй уровни, объединяются в батарею тестов, построенную по наиболее психологически комфортному принципу: от простого к сложному. Это позволяет ребенку постепенно и успешно погружаться в процесс работы, грамотно и осознанно воспроизводить то, что ему известно, без затруднений переходить к наиболее сложным заданиям второго уровня, требующим творческого решения.

Именно каркас данной технологии тестирования мы используем в практике работы с педагогами, преподающими другие, не относящиеся к художественной культуре дисциплины, а также в системе дополнительного образования детей. Это доказывает ее универсальность.

Итак, в рамках технологии тестирования, о которой мы говорим, понятие «батарея тестов» — это система заданий, позволяющая измерить знания в области определенной направленности, сферы деятельности, уровень грамотности и мышления в соответствующей направленности (сфере деятельности), степень самостоятельности мышления в данной направленности (сфере деятельности), оценить потенциал ее развития (в случае работы с продвинутыми обучающимися).

По какой бы направленности и конкретной тематике дополнительной общеразвивающей программы ни разрабатывались тесты, они должны соответствовать ряду характеристик, обязательных для любого задания данного типа. К таким характеристикам в первую очередь относятся:

стандартизация тестовых заданий;
их валидность;
надежность.

Рассмотрим эти понятия. Стандартизация тестовых заданий и тестирования как процесса предполагает, с одной стороны, «единообразие проведения и оценки выполнения задания» [5, с. 15]. С другой стороны, стандартизация также связана с наличием «диагностических возможностей теста как инструмента познания» [4, с. 32]. Это положение подразумевает репрезентативность тестовых заданий, а также их соответствие содержанию осваиваемой программы (иначе — содержательную валидность).

Это подводит нас к следующей характеристике: валидность (англ. valid — действительный, имеющий силу) — это, в первую очередь, «соответствие теста целям диагностики» [6, с. 56]. Упомянутая выше характеристика содержательной валидности включает следующие аспекты:

программная валидность — соответствие тестовых заданий дополнительной общеразвивающей программе, учебно-тематическому плану определенного года обучения и т.д.;
конструктная валидность — соотнесенность тестового задания со структурой диагностируемой области знания, сферы деятельности, корректное употребление соответствующей терминологии и более крупных элементов содержания;
концептуальная валидность — преломление в тестовых заданиях доминирующих для сферы деятельности, с которой связана дополнительная общеразвивающая программа, концепций;
психологическая валидность — соответствие тестовых заданий развивающему потенциалу диагностируемой тематики дополнительной общеразвивающей программы, связанной с определенной сферой деятельности.

Соблюдение тех требований, которые предъявляются к разработке тестов согласно предлагаемой технологии тестирования обеспечивает валидность этих заданий.

Надежность тестового задания определяется устойчивостью показателей тестирования, полученных при повторном обращении к данному (или подобному) заданию. При этом одинаковые тестовые задания можно предлагать обучающимся разных групп, осваивающим конкретную дополнительную общеразвивающую программу, а несколько варьированные задания — обучающимся одной группы.

Предлагаемая вниманию читателя технология тестирования опирается на следующие принципы:

принцип познавательности;
принцип диалогичности;
принцип персонализации.

Познавательность проявляется в том, что задания, ориентированные на уже изученный материал, формулируются так, чтобы выявить новые его аспекты, позволить обучающемуся еще раз погрузиться в изучаемую сферу деятельности, расширить свои познания о ней, сделать новые выводы.

Принцип диалогичности проявляется как в формулировках заданий, так и в том, что, приводя верные ответы на тесты первого уровня и — в большей степени — развернутые ответы на тесты второго уровня, ребенок еще раз вступает в диалог с тем материалом, который уже изучен, и — в какой-то степени — с собой. Он создает наиболее точные и емкие фразы, позволяющие дать полный ответ на задание.

Принцип персонализации проявляется и в том, что каждому участнику группы дается отдельная батарея тестов, она не дублирует другие, и в том, что ряд заданий второго уровня способствует выявлению личностного отношения ребенка к постигаемой сфере деятельности.

Необходимо отметить, что если данная технология будет применяться для оценки результатов освоения программ художественной направленности, необходимо воспользоваться также принципом художественности. Он должен проявляться и в формулировках заданий, и в организации процесса тестирования: дети должны иметь возможность общения с художественным текстом (словесным, музыкальным, визуальным и т.д.).

Перейдем к характеристике уровней технологии тестирования.

Батарея тестов первого уровня включает три ступени: тесты на узнавание, тесты на различение, тесты на классификацию. Как правило, он охватывает содержание нескольких изученных тем. Помимо самих бланков заданий (на бумажных носителях или в электронном виде), педагог готовит эталон проверки. Это позволит аргументированно объяснить ребенку, сколько верных ответов он дал, почему его уровень освоения дополнительной общеразвивающей программы зафиксирован высокий, средний или минимальный.

Приведем примеры по каждой ступени первого уровня из работ педагогов Центра технического образования ГБПОУ «Воробьевы горы», выполненных в процессе учебы на курсах переподготовки.

Тесты на узнавание[1]

Согласны ли Вы с утверждением, что историческая победа русского флота под командованием адмирала Нахимова над турецким произошла при Синопе?

Да
Нет

Согласны ли Вы с утверждением, что движителем парусного судна является ветер?

Да
Нет

Как видим, для составления тестов первой ступени используются освоенные детьми термины, понятия, исторические факты. Это могут быть определения, аксиомы и т.д. В первую ступень — в зависимости от продвинутости группы — можно включить от 2-3-х до 5-7-ми заданий. Очевидно, что стандартная формулировка вопроса — это приглашение обучающихся к диалогу, демонстрация того, что уровень их знания, погружения в материал действительно интересует педагога.

При выполнении данных заданий дети могут обвести или подчеркнуть верный ответ.

Тесты на различение[2]

Регламент при отправлении поезда выглядит следующим образом: «Дежурный по станции Санга, …………………… отправить Вам нечётный поезд».

а) могу ли;
б) позвольте;
г) я готов.

При получении команды «стоп» необходимо:

а) выдернуть вилку из розетки;
б) отключить управление пульта;
в) поставить регуляторы в нулевое положение.

Самостоятельное управление макетом допускается при:

а) устном разрешении директора Дворца;
б) наличии отметки о допуске в рейтинговой ведомости;
в) желании обучающегося в любое время.

Как видим, формулировки заданий строятся таким образом, чтобы обучающийся мог поставить верный ответ, как последнюю деталь паззла, в нужное место. Поэтому целесообразно проинструктировать детей о том, что им нужно вписать слово или словосочетание (фразу), являющуюся верным ответом, в формулировку задания.

Характерно, что за каждое верно выполненное тестовое задание в данной ступени ребенок получает три балла. Это обусловлено тем фактом, что он проводит мыслительную операцию различения со всеми тремя предложенными вариантами, т.е. анализирует не один, а все три предлагаемые ответа.

Если педагог предлагает четыре варианта ответа, то обучающийся будет анализировать и проводить мыслительную операцию различения со всеми четырьмя. В силу этого за каждый верный ответ он получит четыре балла.

Материалом для разработки таких заданий может быть любой фактологический или теоретический материал темы (круга тем).

В данную ступень первого уровня можно включать от трех до пяти заданий — в зависимости от сложности круга тем и продвинутости группы.

Тесты на классификацию[3]

Выделите среди перечисленного:

1) элементы;
2) меш-объекты.

а) куб;
б) грань;
в) тор;
г) ребро;
д) окружность;
е) вершина.

Составляя задания для данной ступени, необходимо учитывать тот факт, что классификация — это распределение всех элементов и т.д. (больший перечень) по имеющимся основаниям для классификации (меньший перечень). Для составления заданий подобного типа можно отбирать некие действия, качества, признаки предметов, объектов и изучаемых явлений, произведения — для классификации по предложенному перечню авторов и т.д.

Для ответа обучающийся вписывает соответствующие буквы рядом с основаниями для классификации. Количество баллов, которые получит ребенок, зависит от того, насколько правильно он классифицирует все позиции из большего перечня, принцип подсчета — один балл за один верный ответ, отсутствие балла за неверный ответ.

В данную ступень первого уровня целесообразно включать 2-3 задания.

Очень важно, чтобы разрабатываемые для батареи первого уровня тестовые задания соответствовали критерию непротиворечивости. Это означает, что формулировки заданий не должны допускать разночтений или нескольких вариантов толкования, в тесты на классификацию нельзя включать заведомо неверные позиции. Основная задача данного уровня тестов — измерение знаний обучающихся, а не создание для них неких «ловушек», как образно называет неудачные формулировки тестовых заданий доктор педагогических наук, профессор И.П. Подласый[4].

Батарея тестов второго уровня также включает три ступени, это тест-подстановка, конструктивный тест и тест-поиск. Приведем примеры формулировок заданий.

Тест-подстановка[5]

Назовите основные способы моделирования в Blender.

а) _______
б) _______
в) _______
г) _______
д) _______

Как видим, здесь, как и в тестовых заданиях первого уровня, ребенок может видеть некую подсказку, но если раньше она содержалась в самой формулировке задания (тесты на узнавание) или в предлагаемых перечных ответов, то здесь она сведена к минимуму: лишь о количестве способов моделирования напоминает это задание. Так же можно формулировать задания, требующие, например, привести признаки того или иного процесса, свойства какого-либо предмета или явления, жанры или стили определенной исторической эпохи и т.д.

Количество баллов, которые может получить ребенок, зависит от количества верных ответов, за каждый верный ответ дается один балл, за отсутствие верного ответа — ноль баллов. Максимум баллов определяется количеством позиций в перечне, который нужно заполнить.

Можно включать в данную ступень 2-3 задания.

Здесь, так же, как и в эталоне проверки для первого уровня, педагог прописывает ответ-эталон, так как задания данной ступени не допускают вариативности ответов.

Эта ступень — последняя в данной технологии, нацеленная на выявление уровня знаний обучающихся. Последующие в большей степени позволяют выявить личностное отношение обучающихся к осваиваемой сфере деятельности (соответственно, это выход на оценку личностных результатов), а также — понимание взаимосвязей различных сфер деятельности, интегрируемых в программе (выход на метапредметные результаты). Стоит отметить, что такой выход возможен в том случае, если педагог предусматривает его в формулировках заданий и том материале, который дается обучающимся для анализа.

Конструктивный тест[6]

Объясните, к чему приводят ниже описанные физические явления? Что между ними общего?

Жидкость может переходить в газообразное состояние двумя способами: путем кипения и испарения. Медленное превращение жидкости в пар, происходящее на ее поверхности, называется испарением.

Потоки воздуха усиливаются или ослабевают, в зависимости от удаленности от земли, так как на них влияет земное притяжение.

Помимо сопоставления текстовых фрагментов, детям можно предложить найти общее в произведениях музыки и живописи, в чертеже и природном объекте ли предмете народного промысла и т.д. Акцент на поиске общего обусловлен тем, что поиск различного — это, скорее, результат наблюдения, а при поиске общего, взаимосвязей активизируется именно мышление.

Ответ на данное задание предполагает развернутую форму, нечто вроде эссе, где ребенок как раз и сможет выразить собственное отношение к предлагаемому материалу.

Педагог при составлении эталона проверки формулирует в данном случае ответ-ориентир, где закладывает все возможные мыслительные повороты, к которым может прийти обучающийся. Количество баллов, которое можно будет выставить за ответ на задание данного типа, зависит от количества этих предполагаемых мыслительных поворотов. Очевидно, что ответы на задания данного типа требуют от ребенка больше усилий, нежели все предыдущие. Поэтому справедливо выставлять за них не один балл, а более. Правда, если можно найти только одно сходство — можно будет поставить один балл. Все зависит от того материала, который педагог положит в основу задания.

Тест-поиск[7]

Петру I принадлежит следующее высказывание: «Правитель, имеющий сухопутную армию, имеет одну руку, а имеющий еще и флот — две руки». Как Вы понимаете эти слова?

Как видим, в задании предлагается наиболее общая формулировка, не сковывающая мыслительного процесса обучающегося. Такие задания можно формулировать исходя из некоего тезиса, высказывания и т.д., но это может быть и проблемный вопрос, предложение задачи, способ решения которой нетрадиционен и пр.

Здесь также от обучающегося мы ожидаем развернутого аргументированного ответа. Педагог дает в эталоне проверки ответ-ориентир, предполагающий все мыслительные повороты. От их количества зависит и количество баллов, которое сможет получить ребенок.

Завершая ряд примеров, приведем образцы батарей тестов первого и второго уровней и эталонов проверки. Это работа А.Н. Лучкова, педагога дополнительного образования Центра технического образования ГБПОУ «Воробьевы горы».

Основы 3D-моделирования

Тесты первого уровня

Тесты на узнавание

Согласны ли вы с утверждением, что программы 3D-моделирования способствуют развитию пространственному мышлению?

Да
Нет

Согласны ли вы с утверждением, что симметричные тела удобнее всего начинать рисовать с осевой линии?

Да
Нет

Тесты на различение

Наиболее сложной в освоении и наиболее точной программой 3D-моделирования является___________

а) SolidWorks;
б) Siemens NX;
в) Autodesk Inventor.

Моделирование всякого элемента детали начинается с ________

а) выбора плоскости;
б) создания эскиза;
в) ориентации системы координат.

Тесты на классификацию

Сопоставьте основные процессы изготовления прототипа с предлагаемыми этапами:

1) моделирование;
2) предподготовка, изготовления прототипа;
3) изготовление прототипа;
4) постобработка прототипа.

а) 3D-печать;
б) выбор режимов печати;
в) шлифовка;
г) проверка электронного макета на наличие самопересекающейся геометрии;
д) создание эскиза модели;
е) лазерная резка;
ж) покраска

1) –
2) –
3) –
4) –

Сопоставьте приведенные функции SolidWorks основным рабочим вкладкам:

1) эскиз;
2) элементы;
3) анализировать.

а) эскиз;
б) измерить;
в) справочная геометрия;
г) линейный массив;
д) повернутая бобышка;
е) зеркальное отображение;
ж) линия.

1) –
2) –
3) –

Основы 3D-моделирования

Эталон проверки

Тесты первого уровня (Р = 22)

Тесты на узнавание

1. Согласны ли вы с утверждением, что программы 3D моделирования способствуют развитию пространственному мышлению?

Да
Нет

2. Согласны ли вы с утверждением, что симметричные тела удобнее всего начинать рисовать с осевой линии?

Да
Нет

Тесты на различение

Наиболее сложной в освоении и наиболее точной программой 3D моделирования является Siemens NX

а) SolidWorks;
б) Siemens NX;
в) Autodesk Inventor.

Моделирование всякого элемента детали начинается с выбора плоскости

а) выбора плоскости;
б) создания эскиза;
в) ориентации системы координат.

Тесты на классификацию

Сопоставьте основные процессы изготовления прототипа с предлагаемыми этапами:

а) 3D-печать;
б) выбор режимов печати;
в) шлифовка;
г) проверка электронного макета на
наличие самопересекающейся геометрии;
д) создание эскиза модели;
е) лазерная резка;
ж) покраска

1) — г, д
2) — б
3) — а, е
4) — в, ж

Сопоставьте приведенные функции SolidWorks основным рабочим вкладкам:

1) эскиз;
2) элементы;
3) анализировать.

1) — а, г, е, ж
2) — в, г, д, е
3) — б

Основы 3D-моделирования

Тесты второго уровня

Тест-подстановка

1. Назовите основные типы ограничений в сборке.

1.
2.
3.
4.
5.
6.

2. Назовите основные типы сопряжений в эскизе.

1.
2.
3.
4.
5.
6.

Конструктивный тест

Рассмотрите картинки.

Что у приведенных объектов общего?

Тест-поиск

3D-печать — это процесс создания детали путем упорядоченного послойного наплавления материала в результате, которого получается готовое изделие. Докажите важность упорядоченности наплавления материала в процессе 3D печати. Покажите на примере куба типичное нарушение упорядоченности 3D печати.

Основы 3D-моделирования

Эталон проверки

Тесты второго уровня (Р = 19)

Тест подстановка

Назовите основные типы ограничений в сборке.

1. Совпадение;
2. Касательность;
3. Концентричность;
4. Параллельность;
5. Перпендикулярность;
6. Зафиксировать.

Назовите основные типы сопряжений в эскизе.

1. Совпадение;
2. Параллельность;
3. Перпендикулярность;
4. Касательность;
5. Концентричность;
6. Колинеарность;
7. Равенство;
8. Зафиксировать;
9. Слить.

Конструктивный тест

Рассмотрите картинки.

Что у приведенных объектов общего?

Ответ-ориентир: Геометрия приведенных тел образована путем вращения полусечения вокруг собственной оси симметрии.

Тест-поиск

Ответ ориентир:

Предположим, что в программном коде печатаемой модели появилась ошибка, которая привела к перемещению системы координат куба по горизонтали на несколько сантиметров непосредственно во время печати. Данная ошибка, как правило, приводит к появлению «сдвига» второй части детали относительно первой, готовой.

Данный пример является наиболее ярким с точки зрения нарушения упорядоченности укладки слоев при 3D печати.

В завершение необходимо сказать о формуле подсчета результатов: К = а / Р, где К — это коэффициент , фиксирующий уровни освоения дополнительной общеразвивающей программы или ее разделов, а — количество верных ответов, которое дал обучающийся, Р — максимальное количество верных ответов, которое педагог запланировал в эталоне проверки. Соответственно, высокий уровень освоения программы фиксируется при К от 0,8 до 0,99. Средний уровень — при К от 0,4 до 0,79, минимальный уровень — при К от 0,1 до 0,39. Технология позволяет градировать эти пределы и на четыре уровня освоения программы. Кроме того, можно использовать отдельно батарею тестов первого уровня, отдельно — через некоторое время — батарею тестов второго уровня. При использовании в качестве итогового контроля применяются обе батареи.

Литература

Аванесов В.С. Теоретические основы разработки заданий в тестовой форме. — М., 1995.
Беспалько В.П. Слагаемые педагогической технологии. — М.: Педагогика, 1989.
Гордиенко О.В. Современные средства оценивания результатов обучения : учебник для академического бакалавриата / О. В. Гордиенко. — 2-е изд., испр. и доп. — М.: Юрайт, 2019.
Михайлычев Е.А. Технология стандартизации дидактических тестов / Школьные технологии. Научно-практический журнал, 2001. — № 4 — С. 12-47.
Челышева Т.В., Янике Ю.В. Основы художественной культуры. Мировая художественная культура. Тестовые задания / Под ред. А.Н. Селезневой, В.П. Беспалько. — М.: Гуманит. изд. центр ВЛАДОС, 1999.
Чечель И.Д., Новикова Т.Г. Теория и практика экспериментальной работы в общеобразовательных учреждениях. — М.: АПК и ПРО, 2004.

[1] Автор данных тестовых заданий — педагог дополнительного образования С.И. Воробьев, ведущий занятия по дополнительной общеразвивающей программе «Судомоделирование».

[2] Автор данных тестовых заданий — педагог дополнительного образования А.В. Литвинов, программа — «Железнодорожное моделирование», раздел «Работа на большом макете».

[3] Автор данного тестового задания — методист и педагог дополнительного образования Л.Н. Шишкина, задания составлены по программе «3-D моделирование и анимация. Основы», тема «Основы моделирования в редакторе Blender».

[4] Подласый И.П. Тестирование в учебном процессе: его история и возможности // http://www.elitarium.ru/testirovanie_v_uchebnom_processe_ego_istorija_i_vozmozhnosti/ — дата обращения — 25.06.2019 г.

[5] Автор данного тестового задания — методист и педагог дополнительного образования Л.Н. Шишкина, задания составлены по программе «3D-моделирование и анимация. Основы», тема «Основы моделирования в редакторе Blender».

[6] Автор данного задания — педагог дополнительного образования А.С. Косихина, программа «Маленькие и находчивые», раздел «Свойства воздуха, воды и света».

[7] Автор данных тестовых заданий — педагог дополнительного образования С.И. Воробьев, ведущий занятия по дополнительной общеразвивающей программе «Судомоделирование».

21. Определения валидности. Важнейшие составляющие валидности. Психодиагностика

Управление персоналом, образование, личное развитие.

Тесты. Внимание. Память. IQ-тесты. Effecton Studio. Эффектон

Истоки экспериментальной психологии

Эксперимент в психологии стал решающим фактором в преобразовании психологических знаний, он выделил психологию из философии и превратил ее в самостоятельную науку. Различные виды исследования психики при помощи экспериментальных методов это и есть экспериментальная психология.

С конца 19 века ученые вплотную занялись изучением элементарных психических функций — сенсорных систем человека. Вначале это были первые робкие шаги, которые подвели фундамент под здание экспериментальной психологии, отделив ее от философии и физиологии.

Особенно следует заметен Вильгельм Вундт (1832-1920), немецкий психолог, физиолог, философ и языковед. Он создал первую в мире психологическую лабораторию (международный центр). Из этой лаборатории, получившей впоследствии статус института, вышло целое поколение специалистов по экспериментальной психологии.

В первых своих работах В. Вундт выдвинул план разработки физиологической психологии как особой науки, использующей метод лабораторного эксперимента для расчленения сознания на элементы и выяснения закономерной связи между ними.

Предметом психологии Вундт считал непосредственный опыт — доступные самонаблюдению явления или факты сознания; однако высшие психические процессы (речь, мышление, воля), он считал недоступными эксперименту, и предложил изучать их культурно-историческим методом.

Вначале главным объектом экспериментальной психологии считались внутренние психические процессы нормального взрослого человека, анализируемые с помощью специально организованного самонаблюдения (интроспекции), а затем эксперименты проводились над животными (К. Ллойд-Морган, Э. Ли Торндайк), исследовались душевнобольные, дети.

Экспериментальная психология начинает исследовать не только общие закономерности психических процессов, но и индивидуальные изменения чувствительности, времени реакции, памяти, ассоциаций и т. д. (Ф. Гальтон, Д. Кеттел).

Гальтон разработал приёмы диагностики способностей, которые положили начало тестированию, методы статистической обработки результатов исследований (в частности, метод исчисления корреляций между переменными), массовое анкетирование.

Кеттел рассматривал личность как совокупность некоторого числа эмпирически (при помощи тестов) установленных и более или менее автономных психологических характеристик.

Предпосылкой возникновения дифференциальной психологии, изучающей индивидуальные различия между людьми и группами, на рубеже 19 и 20 веков явилось введение в психологию эксперимента, а также генетических и математических методов.

В настоящее время методы экспериментальной психологии широко применяются в различных областях человеческой деятельности. Прогресс человеческого познания уже немыслим без методик экспериментальной психологии, тестирования, математической и статистической обработки результатов исследований. Успехи экспериментальной психологии основаны на использовании методов различных наук: физиологии, биологии, психологии, математики.

Тест, тестирование

Тест (англ. test — проба, испытание, исследование) экспериментальный метод в психологии и педагогике, стандартизированные задания, позволяющие измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

Тесты начали применяться в 1864 году Дж. Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном в 1883 году: применение серии одинаковых испытаний к большому числу индивидов, статистической обработке результатов, выделение эталонов оценки.

Термин «тест» впервые ввёл американский психолог Дж. Кеттел в 1890 году. Предложенная им серия из 50 тестов фактически представляла программу определения примитивных психофизиологических характеристик: базирующихся на наиболее разработанных в то время психологических экспериментах (например, измерение силы правой и левой рук посредством динамометра, скорости реакции на звук, и т. д.)

Французский психолог А. Бине применил принципы тестологических исследований к высшим психическим функциям человека: в его серию тестов (1891) вошли задания на испытание памяти, типа представления, внимания, эстетические и этические чувства и т.д.

Первый стандартизированный педагогический тест был составлен американским психологом Э. Торнодайком. Развитие тестирования было одной из причин, обусловивших проникновение в психологию и педагогику математических методов.

Американский психолог К. Спирмен разработал основные методы корреляционного анализа для стандартизации тестов и объективного измерения тестологических исследований. Статистические методы Спирмена — применение факторного анализа — сыграли большую роль в дальнейшем развитии тестирования.

Значительное распространение тестирование получило в психотехнике для профессионального отбора. Интенсивное развитие психотехники приходится на время 1-й мировой войны 1914-1918 года, когда первоочередными стали вопросы профессионального отбора для нужд армии и военного производства. В связи с этим широкое применение в психотехнике имеет метод тестов.

Наибольшее развитие тестологического исследования получили в США (например, за время 2-й мировой войны с 1939 по 45 год при мобилизации в армию было тестировано около 20 миллионов человек). В России составление и применение тестов относится к 20-м годам прошлого века, в 1926 году была опубликована первая серия тестов для школ.

С конца прошлого века эксперимент стал применяться и в исследовании высших умственных процессов (суждения, умозаключения, мышления), хотя раньше неоднократно высказывалось убеждение, что эксперимент может применяться только к элементарным психическим процессам.

Для чего нужны психологические тесты? Чтобы выяснить, что испытуемый может, а какие задачи пока решить не в состоянии. Для этого в тест вводится определенное содержание в отношении тех знаний и умений, которые будут изучаться.

Составление тестов строится по единой схеме: определение целей тестирования, составление тестов в черновом виде, апробация тестов на репрезентативной выборке испытуемых и исправление недостатков, разработка шкалы измерений (на основе качественных соображений и статистической обработки результатов) и правил интерпретации результатов.

Качество тестов определяется по таким характеристикам, как надёжность, валидность (соответствие полученных результатов цели тестирования), дифференцирующая сила заданий и др.

Валидность теста — это его психометрическая характеристика, действительная способность теста измерять ту психологическую характеристику, для диагностики которой он заявлен и указывает на степень соответствия получаемой информации диагностируемому психическому свойству.

Количественно валидность теста может выражаться через корреляции результатов, полученных с его помощью, с другими показателями, например, с успешностью выполнения соответствующей деятельности. Совокупность характеристик валидности теста, полученных экспериментально-статистическим способом — валидность эмпирическая.

Практическое использование тестирования связано главным образом с диагностированием личностных характеристик человека, выражаемых через количественные показатели.

Виды тестов

Различают тесты вербальные и невербальные, это зависит от того, представлен или нет в тесте речевой компонент. Так, тест на словарный запас — вербальный, невербальный — тест, требующий определенных действий в качестве ответа.

Групповые и индивидуальные тесты отличаются тем, что при групповом тестировании исследуется группа испытуемых.

Тесты достижений и личностные тесты различаются на основе того, какие из свойств личности подвергаются тестированию.

Тесты достижений — это тесты успеваемости, тесты творческих возможностей, тесты способностей, сенсорно-моторные тесты и, конечно, тесты интеллекта.

Личностные тесты — это тесты на установки, характерологические тесты, интересы, темперамент и мотивационные тесты. Однако понятно, что это деление довольно схематично, возможны некоторые отклонения.

Объективные тесты включают в себя большинство тестов достижений и психофизиологических тестов. Это отличается от субъективных тестов, при выполнении которых испытуемый может не предполагать о действительной цели исследования.

Проективные тесты в результате дают ответ, который не может быть расценен как «правильный» или «не правильный», а должен быть дан свободный ответ, т.е. должен быть такой способ построения тестового задания, при котором испытуемый должен получить ответ «из головы», а не выбирать его из заданного списка.

Простые и сложные тесты различаются тем, что последние состоят из нескольких самостоятельных подтестов, по каждому из которых должен быть получен ответ, при этом высчитывается общая оценка. В случае соединения нескольких единичных тестов образуется тестовая батарея или пакет тестов.

Опросники также могут быть отнесены к тестам, если они удовлетворяют требованиям, предъявляемым к данному методу сбора психологической или социологической информации.

В настоящее время получили распространение критериально-ориентированные тесты, позволяющие оценивать испытуемого по отношению к заранее заданной норме, не сравнивая со среднестатистическими данными.

Результаты тестирования

Норма в тестологии — это среднестатистические данные, полученные в результате предварительного тестирования определенной группы лиц. Переносить интерпретацию полученных результатов можно только на те группы испытуемых, которые по своим основным социокультурным и демографическим признакам аналогичны базовой.

Для повышения надежности результатов необходимо увеличить базовые выборки, т.е. повысить репрезентативность, ввести поправочные коэффициенты с учетом характеристик выборки, ввести невербальный способ предъявления материала.

Для наглядности результаты тестирования могут быть представлены в виде графического изображения по каждому подтесту тестовым профилем.

Эксклюзивный материал сайта «www.effecton.ru — психологические тесты и коррекционные программы». Заимствование текста и/или связанных материалов возможно только при наличии прямой и хорошо различимой ссылки на оригинал. Все права защищены.

Ключ к пониманию различных форм «хорошего» обучения

знания и успеваемость, которые считаются действительными для практики

. В рамках этики практики, основанной на фактических данных, многие преподаватели-медики

считают интеллектуальную ценность основанием для обучения будущих практикующих врачей.

Реляционная валидность

Обучение также является реляционной деятельностью, которая создает

зависимых ролей и обязанностей. Учителя, которые подчеркивают эту педагогическую обоснованность, считают, что на обучение

влияют отношения, которые они имеют с учениками.Основное предположение

состоит в том, что все, что учителя говорят

ученикам, интерпретируется через отношения между

учениками. Учащиеся обращаются к своим учителям за объяснениями, проработкой, оценкой, обратной связью, руководством, поддержкой,

и ролевым моделированием. Степень, в которой учащиеся верят

и верят, что их учитель учитывает их интересы

, определяет, как учащиеся будут слушать и интерпретировать то, что говорит их учитель

.Точно так же готовность учителя отображать неопределенность

также зависит от отношений между учителем

и учениками. С этой точки зрения, хорошее обучение

в основе своей является реляционным.

Это особенно заметно в процессе обратной связи.

Например, Telio et al. (2015,2016) описывают

«Образовательный альянс», то есть отношения между

учителями и учащимися, в которых существует взаимное доверие

и уважение.Когда есть убедительное и последовательное выражение этого доверия и уважения

, для учащихся

безопасно раскрыть свою неуверенность, пойти на риск, извлечь уроки из своих ошибок.

принимает и получает обратную связь, которая бросает вызов прежним способам мышления

. и веря.

Таким образом, взаимное доверие и уважение лежат в основе относительной достоверности

в обучении. Нет доверия, нет обоснованности;

Нет уважения, нет действительности. Вместе, взаимное доверие и уважение

создают среду обучения, которая является сложной, но

поддерживающей, где

учащихся и учителей могут безопасно и комфортно задумываться вслух среди

неопределенности.Мы видим их эффекты в классных комнатах, а также

в клинических условиях, когда наставники слушают и помогают обучать

учеников, формируя свои впечатления, планы управления и презентации случаев

. В рамках этой формы педагогической деятельности учителя не только преподают то, что знают; они также

учат, кто они как личность и как профессионалы.

Моральная значимость

Обучение — это также нравственная деятельность, включающая суждения,

решений и действия, которые не могут быть достигнуты только на основании этических

правил или профессиональных указаний.В классных комнатах, клиниках

и операционных учителя сталкиваются с ситуациями, которые являются сложными и часто сбивающими с толку, например,

при оценке адвокации, предоставлении критической обратной связи

учащимся, предоставляя автономию в операционной, или enact-

Уход, ориентированный на пациента. Часто возникают ситуации для

, в которых правила или рекомендации не могут прямо ответить «Что мне делать с

?»

Перед лицом сложных ситуаций с конкурирующими правами,

сильных убеждений, противоречивых мнений или доказательств — будь то

о медицинской или педагогической практике — не может быть

очевидных «правильных» действий.В такие моменты чувство моральной приверженности

и практическая мудрость (Шварц и

Шарп 2010) могут дать мотивацию и ясность

, чтобы принять и сформулировать решение, даже перед лицом сопротивления. Здесь педагогическая ценность заключается в соответствии

между действиями и словами. Своими действиями

мы учим больше, чем словами. Если учителя хотят учить состраданию,

, они должны быть сострадательными; если они хотят научить

ответственному поведению с этической точки зрения, они должны быть этически обоснованными в своих

собственных действиях — клинических и образовательных.Однако, поскольку

обоснование этих действий может быть неочевидным для наблюдателей

, это также требует, чтобы учителя формулировали основу

для своих действий своим ученикам.

Моральная ценность обучения, таким образом, заключается в последовательности и прозрачности по отношению к набору моральных или этнических

ценностей и убеждений — внутреннего морального компаса, — который

развивается с течением времени и который может быть сформулированы для

учебных целей.Но это еще и сопереживание. В то время как

эффективных учителей должны быть ясными, последовательными и прозрачными

в отношении своих моральных ценностей, они также должны проявлять сочувствие и терпение

, особенно с учениками, которые отрицают / оспаривают ценности

, поддерживаемые их учителем. Должно быть доступно место для несогласия

и обсуждения. В этом смысле моральная ценность

бессмысленна без сочувствия к ученикам и

мужества, чтобы упорствовать перед лицом тех самых вызовов,

, которые требуют моральной ясности и приверженности.Мы видим, что моральная значимость

проявляется во многих двусмысленностях клинической помощи,

, например, при обсуждении вопроса о том, рекомендовать ли продолжение

с попытками лечения или паллиативной терапией; принимая во внимание перспективную новую хирургическую процедуру, которая, тем не менее, не связана с высоким риском заболеваемости; и нахождение

продуктивных точек соприкосновения с пациентами и их семьями

набора ценностей, которые значительно отличаются от

профессиональной медицины.

Культурная значимость

Обучение также является формой культурной значимости, основанной на осознании

того, как культурные ценности и социальные нормы формируют

наши взгляды и образ мышления. Как отмечает Купер

, большая часть медицинской подготовки превращает «культуру» в

стереотипов, поскольку она применяется к пациентам, и игнорирует тонкие-

связи того, как культура влияет на обучение, что часто приводит к молчаливому убеждению

, что «… мы просто обучая наших студентов

ряду объективных научных истин, которые не опосредованы культурой

… ».(Купер, 2014, стр. 1148). Тем не менее, есть причина

полагать, что страны, учреждения, дисциплины и даже

медицинских специальностей имеют особые рамки

относительно того, что означает «хорошее преподавание», что, в свою очередь, —

секты со взглядами на то, что означает «хорошее врачевание»

. (Пратт и др. 1998; Пратт и Несбит 2000; Пратт и

Коллинз, 2013) Таким образом, когда мы берем на себя роль учителя,

, мы вступаем в роль, которая не полностью принадлежит нам;

он был там до нашего приезда.Мы можем модифицировать или подгонять его

под нашу индивидуальность, но это, прежде всего, социальная роль

, построенная вокруг определенных ценностей и убеждений о

преподавании, обучении и профессиональных или дисциплинарных практиках.

По самой своей природе обучение — это культурная и социальная роль

, наполненная обязанностями и ожиданиями,

привязанными к месту, времени и традициям. Культурная значимость учения

, таким образом, признает, что претензии на истину,

природу отношений, приличия и моральных ценностей имеют культурные и исторические основания.Когда мы учим, мы

2 D. D. PRATT ET AL.

Учет валидности при разработке оценки

Примеры и рекомендации доказательств валидности

Действительность — это совместная ответственность методистов, разрабатывающих инструменты, и лиц, которые их используют. Методологи обычно предлагают соответствующую интерпретацию оценок для определенной группы населения и предоставляют первоначальные доказательства в поддержку своего процесса и аргументов. Затем пользователи и администраторы тестирования изучают и собирают доказательства, выдвигая дополнительные аргументы в пользу того, насколько уместна интерпретация, последствия и использование оценок, учитывая цель инструмента и оцениваемую совокупность.Обе группы должны постоянно собирать доказательства достоверности, поскольку последствия использования оценок становятся более очевидными.

В профессиональных стандартах выделяется несколько общих категорий доказательств действительности, в том числе:

Свидетельства, основанные на содержании теста — Эта форма свидетельства используется для демонстрации того, что содержание теста (например, пункты, задачи, вопросы, формулировки и т. Д.) Связано с обучением, которое он предназначался для измерения. Например, оценка в классе не должна содержать пунктов или критериев для измерения тем, не связанных с целями курса.Преподаватели могут составить таблицу спецификаций для тестов, чтобы гарантировать и сообщить, как оценивается содержание курса или раздела. Для крупномасштабных оценок обычно созывается группа экспертов для разработки таблицы спецификаций и вопросов для проверки, чтобы убедиться, что они репрезентативны для измеряемой области знаний.

  Свидетельства, основанные на процессах реагирования  — Эта форма свидетельства используется для демонстрации того, что оценка требует от участников определенного поведения, которое считается необходимым для выполнения задачи.Например, если элемент предназначен для измерения понимания прочитанного, валидность касается того, пытаются ли участники понять отрывки или могут найти ответ с помощью других стратегий прохождения теста. Преподаватели могут собирать доказательства, основанные на процессах ответов, анализируя качественные ответы, чтобы определить, как учащиеся пришли к ответам, или спрашивая учащихся, как они подошли к конкретным вопросам или проблемам. Более крупномасштабное тестирование требует более систематического собеседования и часто основывается на протоколах обдумывания.
   Свидетельства, основанные на внутренней структуре  — Эта форма свидетельства демонстрирует, как взаимосвязь между оценками по отдельным тестовым заданиям согласуется с измеряемой конструкцией (ями). Например, если оценка измеряет как химическую связь, так и химическое равновесие, баллы по различным элементам химической связи должны иметь сильную взаимосвязь друг с другом, а баллы по различным элементам химического равновесия должны иметь сильную взаимосвязь друг с другом.Инструкторы могут собирать доказательства на основе внутренней структуры, проводя анализ на уровне заданий или вычисляя исследовательский или подтверждающий факторный анализ, чтобы определить, насколько хорошо похожие задания соотносятся друг с другом.
   Доказательства, основанные на связи с другими переменными  — Эта форма доказательства демонстрирует, что оценка, измеряющая определенный конструкт, связана с другими оценками, измеряющими тот же конструкт (или «конвергентный»), и не связана с другими оценками, измеряющими разные конструкции. (или «расходящиеся»).Например, оценка, представляющая решение математической задачи в одном тесте, должна быть тесно связана с оценкой, представляющей решение математической задачи в другом тесте. Точно так же баллы за решение математических задач не должны так сильно зависеть от баллов, которые отражают понимание прочитанного. Преподаватели могут собирать несколько различных типов данных о способностях учащихся или знании конкретной конструкции, чтобы получить доказательства достоверности, основанные на связи с другими переменными. При разработке шкалы или теста для образовательных исследовательских целей важно продемонстрировать, как шкала соотносится с другими установленными инструментами, которые измеряют те же или похожие конструкции.
   Доказательства, основанные на последствиях тестирования  — Эта форма доказательства описывает степень, в которой последствия использования оценки соответствуют предполагаемому использованию оценки. Например, предполагаемым следствием набранных баллов на вступительном экзамене будет соответствующее размещение на вводных курсах, чтобы у всех студентов были лучшие возможности для достижения успеха. Но необходимо будет собрать доказательства, чтобы определить, что баллы соответствуют успеху в прохождении курса.Кроме того, непредвиденные последствия, такие как снижение мотивации студентов или намерение продолжить обучение по специальности, могут произойти для студентов, которые плохо сдали начальный экзамен. Преподаватели могут собирать доказательства, основанные на последствиях тестирования, гарантируя, что полученные ими оценки соответствуют предполагаемым результатам в будущем.
 Список литературы 
 Американская ассоциация исследований в области образования, Американская психологическая ассоциация и Национальный совет по измерениям в образовании. (1985, 1999, 2014).Стандарты педагогического и психологического тестирования. Вашингтон.
 Американская психологическая ассоциация, Американская ассоциация исследований в области образования и Национальный совет по измерениям в образовании. (1966, 1974). Стандарты учебных и психологических тестов и пособия. Вашингтон.
 Кейн, М. (2013). Аргументный подход к валидации. Обзор школьной психологии 42 (4): 448-457.
 Кейн, М. (2006). Проверка. В R. L. Brennan (Ed.), Educational Measurement (4-е изд., стр. 17-64). Вашингтон, округ Колумбия: Национальный совет по измерениям в образовании и Американский совет по образованию.
 Кейн, М. (1992). Подход к обоснованности, основанный на аргументах. Психологический бюллетень 112: 527-535.
 Мессик, С. (1980). Достоверность теста и этика оценки. Американский психолог 35 (11): 1012-1027.
 Мессик, С. (1989). Срок действия. В Р. Л. Линн (ред.), Образовательное измерение (стр. 13–103). Вашингтон, округ Колумбия: Американский совет по образованию и Национальный совет по измерениям в образовании.
 Срок действия в оценках: содержание, конструкция и прогнозируемая достоверность — видео и стенограмма урока 
 Факторы, влияющие на валидность 
 Прежде чем обсуждать, как измеряется валидность и различать разные типы валидности, важно понять, как внешние и внутренние факторы влияют на валидность.
 Способность ученика к чтению может повлиять на достоверность оценки. Например, если учащемуся трудно понять, что задается в вопросе, тест не будет точной оценкой того, что он действительно знает о предмете.Педагоги должны убедиться, что оценка соответствует правильному уровню чтения учащегося.
 Самооценка учащегося также может повлиять на валидность оценки. Если учащиеся имеют низкую самоэффективность или убеждения в своих способностях в той конкретной области, в которой они проходят тестирование, они, как правило, показывают более низкие результаты. Их собственные сомнения мешают им точно демонстрировать знания и понимание.
 Уровень тревожности студента также является важным фактором. Учащиеся с высоким уровнем тревожности при тестировании будут хуже успевать из-за эмоциональных и физиологических факторов, таких как расстройство желудка, потоотделение и учащенное сердцебиение, что приводит к искажению знаний учащихся.
 Измерение действительности 
 Действительность измеряется с помощью коэффициента. Как правило, для определения числа от 0 до 1 рассчитываются две оценки из двух оценок или показателей. Более высокие коэффициенты указывают на более высокую достоверность. Как правило, оценки с коэффициентом 0,60 и выше считаются приемлемыми или очень достоверными.
 Типы валидности 
 Мы должны учитывать три типа валидности: содержательная, предсказательная и конструктивная.  Достоверность содержимого  относится к степени, в которой оценка представляет все аспекты задач в оцениваемой области.Валидность контента отвечает на вопрос: охватывает ли оценка репрезентативную выборку контента, который следует оценивать?
 Например, если вы дадите своим ученикам кумулятивный экзамен в конце года, но тест охватывает только материалы, представленные за последние три недели занятий, экзамен будет иметь низкую действительность содержания. Материал за весь семестр не будет представлен на экзамене.
 Педагоги должны стремиться к высокой достоверности содержания, особенно в целях итогового оценивания.Суммативные оценки используются для определения знаний, полученных учащимися за определенный период времени.
 Достоверность содержания повышается, когда оценивание требует, чтобы учащиеся использовали как можно больше занятий в классе.
 Следующий тип валидности — это  прогностическая валидность , которая относится к степени, в которой оценка по оценке предсказывает будущую эффективность.
 Нормативные тесты способностей, такие как SAT, GRE или WISC (шкала интеллекта Векслера для детей), используются для прогнозирования успеха в определенных областях в более поздний момент времени.SAT и GRE используются для прогнозирования успеха в высшем образовании. Эти тесты сравнивают индивидуальную успеваемость учащегося с успеваемостью нормативной выборки.
 Чтобы определить прогностическую способность оценки, компании, такие как Совет колледжей, часто проводят тест для группы людей, а затем через несколько лет или месяцев будут измерять успех или компетентность той же группы в прогнозируемое поведение. Затем вычисляется коэффициент достоверности, и более высокие коэффициенты указывают на большую предсказательную достоверность.
 Последний тип достоверности, который мы обсудим, — это  конструктная достоверность . Чтобы понять валидность конструкции, мы должны сначала определить термин конструкция. В психологии конструкция   относится к внутреннему признаку, который нельзя наблюдать напрямую, но который должен быть выведен из последовательного поведения, наблюдаемого у людей. Самоуважение, интеллект и мотивация — все это примеры конструкта.
  Действительность конструкции , таким образом, относится к степени, в которой оценка точно измеряет конструкт.Это отвечает на вопрос: действительно ли мы измеряем то, что, как нам кажется, мы измеряем?
 Взаимосвязь между достоверностью и надежностью 
  Надежность , которая рассматривается в другом уроке, относится к степени, в которой оценка дает согласованную информацию об оцениваемых знаниях, навыках или способностях. Оценка считается надежной, если при каждом проведении теста получаются одни и те же результаты.
 Важно понимать взаимосвязь между надежностью и действительностью.Оценка может быть надежной, но недействительной.
 Вернемся к нашему исходному примеру. Если вы взвешиваетесь на весах, они должны дать вам точное измерение вашего веса. Если весы говорят вам, что каждый раз, когда вы наступаете на них, вы весите 150 фунтов, это надежно. Однако, если вы действительно весите 135 фунтов, тогда весы недействительны.
 Резюме урока 
 Итак, валидность — это степень, в которой оценка точно измеряет то, что она предназначена для измерения.На валидность влияют различные факторы, включая способность читать, самоэффективность и уровень тестовой тревожности. Валидность измеряется с помощью коэффициента, где высокая достоверность ближе к 1, а низкая достоверность ближе к 0. Три типа валидности для целей оценки: содержательная, прогностическая и конструктивная валидность.
 Цели урока 
 После просмотра этого урока вы должны уметь:
 Определить «валидность» с точки зрения оценок
 Перечислите внутренние и внешние факторы, связанные с действительностью
 Опишите, как коэффициенты используются для измерения достоверности
 Объясните три типа достоверности: содержание, построение и прогнозирование
 Магия проверки | Культ педагогики 
  Слушайте этот пост как подкаст: 
 При поддержке Kiddom и mysimpleshow
  У меня к вам вопрос с несколькими вариантами ответов.
 Предположим, вы стоите у дверей класса и приветствуете прибывающих учеников. Один из них — назовем его Гейбом — приходит и видит, что в ежедневной повестке дня вы написали: «Выберите темы для выступлений». Сразу же его плечи опускаются.
 «О, чувак, — говорит он ни к кому конкретно, — я  ненавижу  речи!»
 Что скажешь?
 А. Что? Выступления классные.
 B. Вы все время говорите! Тебе это понравится.
 С.Шокер! У Гейба есть еще одна жалоба.
 Д. Гейб, мы тихо входим в комнату, пожалуйста.
 E. Что ты ненавидишь в речах, Гейб?
 С вариантами от А до D вы спорите с Гейбом, игнорируете его чувства, нападаете на него лично или полностью игнорируете то, что он сказал.
 Но с вариантом E вы реагируете с любопытством. Вы пытаетесь узнать больше. С вариантом E вы уже на пути к подтверждению точки зрения Гейба.
  Проверка  — это акт признания и подтверждения чувств или точки зрения другого человека.Признание того, что эти мысли и чувства  верны для этого человека . Это очень простой и поразительно быстрый способ добиться прогресса в разговоре: он снимает напряжение, укрепляет доверие и быстрее помогает вам и собеседнику найти решение.
 Единственная проблема с валидацией состоит в том, что поначалу это действительно сложно сделать. Мы так привыкли отстаивать свою позицию, оставаться в некотором роде сжатыми в своей позиции, что переход к тому месту, где мы пытаемся взглянуть на вещи с другой точки зрения, может поначалу казаться неестественным, почти болезненным.Но как только вы попробуете это по-настоящему, вы увидите, что некоторые из ваших самых сложных разговоров станут намного лучше.
 Почему валидация работает 
 Люди хотят, чтобы их понимали. Они хотят, чтобы их слышали.
 Когда человек не чувствует, что его слышат, он просто крепче цепляется за свою позицию. Это действительно так просто, и это одна из причин, почему многие конфликты длятся так долго и часто достигают нелепых масштабов. Люди по обе стороны любого конфликта пытаются объяснить и защитить себя, чтобы заставить другого человека видеть что-то так, как они это видят.
 И, к сожалению, наши типичные ответы обычно усугубляют ситуацию:
  Спорить с точкой зрения другого человека , например сказать, что речи прекрасны в ответ на заявление Гейба, — естественная реакция, но, вероятно, не повлияет на его мнение. Скорее всего, он захочет вернуться с аргументом о том, почему речи — отстой, а вы просто будете повторять туда-сюда. Пока он не почувствует себя услышанным, Гейбу будет трудно рассматривать  вашу точку зрения .
  Игнорирование чувств другого человека , например, указание Гейбу на то, что он все время говорит и, следовательно, не может не любить речи, не только не изменит его мнение, но и заставит его почувствовать себя непонятым. К его изначальным негативным эмоциям, связанным с речами, теперь присоединилось чувство разочарования, которое вы просто не понимаете. И в зависимости от того, насколько серьезна основная проблема, ваше легкомысленное увольнение может действительно навредить.
  Игнорирование заботы человека  путем сосредоточения внимания на чем-то другом, как мы сделали, когда мы просто применили правило о молчании, может заставить человека почувствовать, что он просто не имеет значения.Напоминание Гейбу о том, что нужно тихо войти в комнату, на самом деле не меняет его мнения о выступлениях. Это не сняло никаких негативных эмоций. И, полностью игнорируя его беспокойство, мы говорим ему, что его чувства просто не важны.
  Ad hominem атаки , такие как ехидный комментарий о том, что Гейб все время жалуется, — это еще один способ отвергнуть и делегитимизировать точку зрения другого человека. Когда наши ученики выражают озабоченность, а мы обвиняем их в неподчинении, задаче «глупых вопросов», попытках задержать или тратить время впустую, мы атакуем их лично, избегая содержания того, что они говорят.Этот ответ может быть самым разрушительным: человек не только все еще чувствует то же, что и раньше, но и добавил к вам слой обиды.
 Во всех этих случаях другой человек не узнал ничего нового, вы не пришли к новому пониманию и не решили никаких проблем, и, скорее всего, вы создали новые негативные чувства. Продолжайте повторять этот цикл, и у вас возникнут проблемные отношения.
 В школах, где наш бизнес требует  постоянного взаимодействия с другими людьми , конфликты и недопонимания всегда доступны нам.И они вызывают всевозможные проблемы: они нарушают учебное время, мешают пониманию учащимися, перерастают в серьезную борьбу за власть, которая приводит к серьезным дисциплинарным мерам, и это только учащиеся. Среди взрослых в здании неразрешенные разногласия создают всевозможные конфликты между сотрудниками, приводят к снижению удовлетворенности работой и в конечном итоге могут закончиться увольнением учителей с работы.
 С валидацией дело обстоит иначе. Когда люди практикуют оценивать чувства и мнения друг друга при первых признаках неприятностей, конфликты редко обостряются.Вместо этого они превращаются в разговоры. Они дают возможность учиться друг у друга.
 Как выполнить трехэтапную проверку 
 Шаг 1. Отражение содержания 
 Самое важное, что нужно сделать, — просто перефразировать главное, что вам говорит человек, чтобы убедиться, что вы все поняли. Это позволит им понять, что вы слушаете, и если вы уберете из своего голоса весь сарказм и «отношение», вы будете казаться заинтересованными и любопытными, а не осуждающими.
 В некоторых случаях, например, с Гейбом, вам, возможно, придется начать с вопроса типа «Что вы ненавидите в речах?»
 Предположим, он дает вам какой-то ответ, например: «Мне не нравится быть перед всеми этими людьми», тогда вы просто повторите это.Вы можете сказать: «Значит, это все люди, которые смотрят, что вам не нравится».
 Если объяснение человека длиннее или сложнее, вы можете использовать такие фразы:
 Я слышу, как вы говорите ________. Это правильно?
 Дайте-ка я посмотрю, правильно ли я вас понимаю…
 Другими словами, _____
 Шаг 2. Признайте эмоции 
 Другой человек действительно почувствует себя услышанным, если вы обозначите эмоцию, которую он описывает, или зададите вопрос, чтобы прояснить эмоцию.Вот несколько примеров:
 Звучит разочаровывающе.
 Похоже, вы беспокоитесь.
 Так вы были сбиты с толку?
 Как вы к этому относились?
 С Гейбом вы можете просто сказать: «Когда вы разговариваете перед людьми, вам становится неудобно». Это отражает как содержание, так и эмоции одним махом.
 Шаг 3. Сообщите о принятии 
 Важная часть проверки — дать человеку понять, что вы принимаете его чувства такими, какие они есть.Вы можете чувствовать себя иначе, и их чувства могут создать для вас проблемы, но они такие, какие есть. Попробуйте некоторые из этих фраз:
 Я понимаю, почему вы так думаете.
 Многие люди так думают.
 Это понятно.
 Это может быть (расстраивать, расстраивать, нервировать, пугать), когда это происходит.
 Теперь, если вы категорически не согласны с тем, что говорит человек, и просто не можете заставить себя принять это, попробуйте найти ту часть, с которой вы ДЕЙСТВИТЕЛЬНО согласны, ту часть, с которой вы можете иметь отношение.Например, обсуждая предлагаемую новую академическую политику в школе, вам может действительно не понравиться сама идея, но вы можете начать с того, что вы также очень заботитесь об успехах учеников и согласны с тем, что нынешняя система нуждается в исправлении.
 В некоторых случаях вам может даже понадобиться вспомнить время, когда вы чувствовали или верили в то же, что и человек, с которым разговариваете. Даже если сейчас вы чувствуете по-другому, вы можете подтвердить, что это чувство или убеждение можно понять с определенной точки зрения.
 А потом? 
 После того, как вы выполнили эти три вещи — отразили содержание, признали эмоцию и выразили согласие — что будет дальше? Иногда вообще ничего. Вы можете просто закончить разговор на этом, и другой человек вернется к своим мыслям, наконец освободится от защиты своей точки зрения и будет готов перейти к месту более глубокого созерцания.
 Или человек может продолжать говорить о том, что его беспокоит — возможно, гораздо более спокойным и продуктивным образом — и все, что вам нужно сделать, это тихо слушать.Они могут прийти к собственному решению без особой необходимости в вашей помощи.
 В других случаях вам, возможно, придется и дальше задавать открытые вопросы, например: «Не могли бы вы рассказать мне об этом подробнее?» чтобы человек мог продолжать говорить, и вы могли бы прийти к новому пониманию этого вопроса.
 Еще одна вещь, которая может произойти, — это то, что человек  начнет подтверждать вашу позицию , даже если вы даже не просите об этом. Это не то, чего вы должны ожидать, и вам, возможно, придется представить это самостоятельно, сказав что-то вроде: «Могу я рассказать вам, как я это вижу?» Но во многих случаях вы будете удивлены тем, как быстро проверенный человек захочет отплатить за услугу.
 Ответный удар: почему мы сопротивляемся проверке 
 Несмотря на невероятную эффективность рефлексивного прослушивания и проверки, вы все равно можете не захотеть этого делать. Вот несколько вероятных возражений:
 Я не согласен с этим человеком, поэтому не могу подтвердить его мнение. 
 Это сложно, потому что вы, вероятно, все еще пытаетесь донести свою точку зрения. Как, черт возьми, вы можете перейти к признанию их чувств? Подтверждать точку зрения другого человека — это  — не то же самое, что соглашаться с ним .Вы просто даете человеку понять, что слышите его.
 Конечно, важно, чтобы ваши слова отражали это: если ученик говорит: «Я плохо разбираюсь в математике», вы не говорите: «Да, да». Вместо этого вы могли бы просто повторить их слова в виде вопроса: «Вы не думаете, что хорошо разбираетесь в математике?» Это побудит их рассказать вам больше.
 Но их позиция НЕДЕЙСТВИТЕЛЬНА. Зачем мне это поощрять? 
 Помните, что вы  не соглашаетесь с , а просто повторяете и уточняете их позицию.И имейте в виду, что, признавая ту его часть, которая истинна, и давая человеку понять, что вы четко понимаете его позицию, вы на самом деле поможете ему меньше цепляться за нее. Другими словами, они могут с большей вероятностью увидеть  вашу точку зрения , потому что им кажется, что они имеют дело с рациональным человеком, который нашел время, чтобы понять их точку зрения.
 Это все обидчивые Б.С. Это не я. 
 Хорошо, подтверждение не должно выглядеть и звучать так, как будто вы находитесь в кабинете терапевта.Вы можете разработать свой собственный стиль. Это может показаться жестким, это может быть быстрым, и это не обязательно должно сопровождаться объятиями и кексами, если вы не такой.
 Один из моих тренеров по кроссфиту, Донна, постоянно нас оценивает и, поверьте, никто не хочет с ней связываться. Однажды я делал это действительно сложное упражнение, называемое растяжкой лицом к стене, и она подошла, чтобы сказать мне, что я делаю это неправильно, что мне нужно спуститься ниже, и, естественно, я скулил по этому поводу. И она позволила мне поскулить несколько секунд, затем кивнула мне и крикнула:  «Кроссфит — это сложно, Дженнифер!» 
 По сути, это была проверка.Это расстроило меня и возобновило мою решимость стараться еще больше.
 У меня есть дела поважнее. Почему я должен тратить время на это? 
 Вот в чем дело: если вы сделаете рефлексивное слушание и проверку регулярной частью своего способа общения с людьми, вы в конечном итоге сэкономите КУЛЬТУ времени.
 Представьте себе каждый разговор как развилку дороги. Один путь — это тот, где вы спорите, отвергаете или высмеиваете позицию другого человека. Это долгий путь, полный постоянных ссор, гнева и проблем, которые со временем накапливаются, превращаясь в гораздо более серьезные и острые проблемы.Другой путь на удивление короток: он начинается с нескольких минут рефлексивного слушания и подтверждения, другой человек чувствует себя услышанным, эмоции остаются на разумном уровне, и жизнь продолжается.
 Проблема в том, что  люди думают, что  первый путь короче: вы можете быстро выключить человека оглушительным возвращением или полностью заставить его замолчать, просто будучи громким и агрессивным. Но  мнение этого человека нисколько не изменилось . У вас почти не было того влияния, которое, как вы думаете, у вас было; они просто еще сильнее чувствуют то, что чувствуют, и вдобавок ко всему теперь они думают, что ты тоже придурок.Вы только усугубили проблему.
 Следует помнить, что проверка не требуется во всех взаимодействиях, но если вы часто сталкиваетесь с другими людьми, это определенно стоит попробовать.
 Примеры сценариев 
 Проблема поведения учащихся 
 Утро четверга, и мои ученики должны читать молча 10 минут. Я замечаю, что Кендра кладет книгу лицевой стороной вниз и вместо этого рисует на обложке своей записной книжки.
 Теперь я мог бы поставить ей какую-нибудь оценку поведения, или отругать ее, или просто сказать ей, чтобы она вернулась к чтению. Или я мог бы подойти, сесть на корточки у ее стола и просто сказать  совершенно нейтральным голосом : «Ты не читаешь. Что происходит?»
 Кендра может сказать: «Это сбивает с толку».
 Оттуда я могу отразить ей содержание, признать ее чувства и выразить согласие. Я могу сказать: «Вы сбиты с толку, и это затрудняет чтение.У меня определенно был такой опыт «.
 Тогда я могу начать помогать Кендре решить проблему, сказав: «Вы можете показать мне место, которое вас смущает?» Оттуда мы сможем выяснить, как ее отвязать, или, может быть, выбрать другую книгу.
 Если проблема Кендры на самом деле была вовсе не в книге, а в более серьезной проблеме, такой как что-то, происходящее дома, то, что я потратил несколько минут, чтобы поговорить с ней, мог бы быть невероятно ценным, чтобы помочь ей справиться с этим. В любом случае, мы избежали негативного взаимодействия, которое могло бы перерасти в гораздо более серьезную проблему поведения, если бы мы с Кендрой были в неправильном настроении.
 Коллега Проблема 
 Трейси, которая преподает в классе по соседству с моим, однажды за обедом замечает группу: «Я просто не могла уговорить своих учеников успокоиться этим утром из-за шума, доносившегося из других комнат».
 Я почти уверен, что «другая комната», о которой она говорит, принадлежит мне, потому что в то утро мои ученики выполняли очень активный групповой проект.
 Теперь это одна из тех ситуаций, которые легко могут превратиться в более серьезную проблему: я мог притвориться, что не слышу Трейси, поскольку она не обращалась ко мне напрямую, и просто обиделся на нее за пассивную агрессию.Вполне возможно, что позже я закроюсь в комнате другого учителя и буду говорить о Трейси за ее спиной.
 Или я мог бы защищаться и противостоять Трейси прямо за столом, говоря, что я не думаю, что мой класс был таким шумным, и, возможно, если она перестанет заставлять своих детей сидеть спокойно в течение 45 минут, ей будет легче уладить их вниз.
 Хорошо, я бы точно так не сказал. Я слишком слабак. Но я бы так подумал.
 Более здоровый и продуктивный подход — подтвердить озабоченность Трейси.
 Как я уже сказал, это непросто, но, черт возьми, это действительно могло бы существенно изменить мои отношения с Трейси. И дело в том, что основная причина, по которой это нелегко, заключается в том, что я озабочен защитой себя, а  прав, . Но если я могу отступить хотя бы на мгновение и поставить себя на место Трейси, чтобы признать, что  она действительно была разочарована , что я, вероятно, тоже был бы разочарован, и что, хотя я делал это не намеренно, я отчасти был виноват в этом разочаровании, я могу смириться с этим и сделать что-то, чтобы это исправить.
 Я мог бы начать с разъяснения ситуации: «Шум шел из моей комнаты?»
 Предполагая, что она скажет «да», я мог бы сказать: «Мне очень жаль. Когда вас что-то отвлекает, неприятно пытаться сосредоточить внимание ваших детей.
 Это все, что мне действительно нужно было сделать. Трейси могла не ответить, или она могла немного отступить и добавить больше информации, возможно, давая мне знать, что работа, которую она заставляла студентов делать в тот день, по общему признанию, была отчасти скучной, или что-то в этом роде. Независимо от того, что будет дальше, я сделал шаг в сторону улучшения отношений с ней и лучшего понимания того, как мои действия влияют на других.
 Сила смягчения 
 Конфликт с людьми в нашей жизни неизбежен. Мы хотим разного, у нас был разный жизненный опыт. Мы просто не будем смотреть на вещи одинаково. К сожалению, наш естественный инстинкт состоит в том, чтобы реагировать на эти различия с жесткостью, давая больше, защищая собственное эго, копаясь в пятках. Какая-то часть нашего мозга сообщает нам, что это сильный ответ.
 Но может быть реальная сила в том, чтобы смягчиться, ослабить хватку на несколько минут, чтобы воспринять новую информацию, посмотреть чьей-то правде прямо в глаза и просто впустить ее в комнату.Для этого требуется гораздо больше смелости, самообладания и уверенности в себе. И почти каждый раз это смягчает и другого человека, открывая его для лучшего понимания вас.
 Вот тогда и может начаться настоящий прогресс. ♦
  Вернись, чтобы получить больше.  
  Присоединяйтесь к моему списку рассылки  и еженедельно получайте советы, инструменты и вдохновение — в быстрых, небольших пакетах — все, что поможет сделать ваше обучение более эффективным и увлекательным. Вы получите доступ к нашей библиотеке бесплатных загрузок, предназначенной только для участников, в том числе к электронному буклету  20 способов сократить время на оценку вдвое , который помог тысячам учителей сэкономить время на выставлении оценок.Более 50 000 других учителей уже присоединились — заходите!
 Общий язык принципов оценивания 
  
 Вопрос о действительности 2: Есть ли у вас и у ваших коллег общее понимание языка оценивания? 
 Чтобы быть подотчетными друг другу, нам нужен метаязык для нашей практики. Следующие ниже принципы оценивания влияют на повседневную работу учителей.
 Обоснованность, надежность и справедливость — это слова, которые придают точность работе, которую мы выполняем как оценщики. Каждая концепция подчеркивает разные аспекты качества оценки. Они являются частью нашего набора инструментов как информированные профессионалы. QCAA предоставил полезный глоссарий терминов оценки, который мы немного расширили.
  Срок действия   Самое близкое, что я могу придумать, — это подлинность … [задача] целостна, это правда, она значима … Она должна иметь отношение к жизни студентов и к нашему миру, что действительно важно для взаимодействия … Это должна быть полезная оценка, позволяющая им почувствовать связь с обучением (интервью с учителями).
 В своем обзоре меняющегося понимания валидности в оценочной литературе Стобарт (2009) заявляет, что валидность стала всеобъемлющим принципом оценки. Три аспекта валидности ВСЕ должны быть очевидны при оценке в классе, чтобы ее можно было считать высококачественной оценкой. Это  контент,  валидность,  валидность конструкции,  и  последующая валидность .
  Достоверность содержания  — Является ли задача оценивания хорошим представлением требуемых навыков и знаний? Это может включать представление основных идей дисциплины, а также соответствие тому, чему учили студентов.
  Construct validity  — Оценивает ли дизайн задачи то, что она должна была оценить? Это может включать свидетельство доступности в проекте, согласования всех элементов, достижимости объема задачи и соответствия режима поставленной цели. Это тесно связано с принципами надежности и справедливости.
  Consequential validity  — Достигает ли оценка целей, для которых она была предназначена? Кто добился успеха и как можно улучшить оценивание, чтобы добиться большего успеха для неуспешных учеников? Справедливы ли ценности и идеологии задачи, а также ее потенциальные и социальные последствия? (Мессик, 1989).Вместо того, чтобы рассматриваться как статическое свойство задачи оценки, это то, что задача есть или не имеет, валидность «зависит от того, для чего предназначен тест [или задача], как он используется и каковы результаты. интерпретируется »(Стобарт, 2009. С. 162). Это тесно связано с принципами справедливости.
  Создание аргумента в пользу действительности  Валидность — это тип практического исследования (Kane, 2016). Связи между каждым дизайнерским решением должны быть логичными и прочными. Задавая друг другу эти вопросы и разделяя намерения, стоящие за каждым дизайнерским решением, учителя приводят аргумент в пользу обоснованности своих планов оценивания в классе.Такая постоянная приверженность качеству, которая требует от нас открытости для критики и коллегиального обзора, представляет собой интеллектуальную подотчетность на местном уровне. Вы можете увидеть, как учителя в двух школах приводили аргументы в пользу обоснованности своей работы, внизу этой страницы и в тематических исследованиях на вкладке «Витрина».
  Надежность   Надежность относится к «степени, в которой результаты могут быть признаны  приемлемыми  согласованностью или точностью для  конкретного использования » (Harlen 2013, p.9).
 Ключевой вопрос состоит в том, чтобы задать вопрос: «Придут ли два или более эксперта по оценке к одному и тому же суждению на основе доказательств?» Стобарт объясняет (2009, стр. 174), что высоконадежная задача оценки «может отбирать так мало конструкта, что не дает надежной оценки этой области или навыка. Точно так же нам могут потребоваться достоверные оценки производительности, которые трудно стандартизировать, поэтому результаты могут быть менее надежными ». Харлен (2005) определил, что отношения между достоверностью и надежностью больше похожи на качели, на которых достигается оптимальный баланс.Таким образом, хотя безупречная надежность невозможна, интеллектуальная подотчетность сообществу сверстников, системе и студентам за разработку надежных, качественных и целенаправленных оценок может позволить проводить регулярные проверки надежности.
  Собственный капитал   Право ребенка на справедливую и справедливую оценку (Elwood & Lundy, 2010). Элвуд и Ланди выделяют три принципа для практики оценки качества:
 Справедливость в оценке очевидна, когда она отвечает интересам учащегося, является недискриминационной и обеспечивает полное участие.
 Справедливость при оценивании включает в себя ряд соображений, таких как оценивание с учетом культурных особенностей, которое включает уважение культурных и языковых различий, педагогическую поддержку учащихся в доступе к требованиям грамотности при выполнении заданий или заданий, а также осведомленность о справедливости методов оценивания (Уиллис, Эди И Кленовский, 2013). Справедливость также включает в себя разработку задач, которые позволяют учащимся с ограниченными возможностями получить доступ к основным знаниям о задаче и продемонстрировать свое понимание с помощью различных средств представления, а также позволяют всем учащимся расширить свои способности с помощью задач, которые способствуют «когнитивному растяжению» (Wyatt-Smith & Кольбер, 2014.п. 38). Консультации с родителями и сообществами — это один из способов оценить, демонстрируют ли оценивание и педагогические практики уважение к культурным потребностям и потребностям обучения. Подлинность и адаптация к местным школьным условиям — еще один отличительный признак задачи справедливой оценки.
  
  Обсудить с коллегой: 
 Какие из этих принципов оценки являются приоритетными в вашем контексте?
 Как вы в настоящее время рассказываете коллегам о своих планах оценивания?
 Что определяет ваше понимание качества?
 Приведите пример того, как вы адаптировали оценивание продуктивным и этичным образом.
 Интеллектуальная подотчетность  Интеллектуальная подотчетность в школьных системах — это процесс построения доверия и усиления коллективной ответственности учащихся за достижение ценных результатов (Sahlberg, 2010). Это отличается от типов подотчетности, которые подчеркивают соответствие и аудита, которые пытаются контролировать работу учителей на расстоянии. Онара О’Нил, философ, специализирующийся на доверии и подотчетности в общественной жизни, объясняет, что доверие возрастает, когда мы даем друг другу адекватные, полезные и простые доказательства того, что мы заслуживаем доверия, опираясь на нашу повседневную практику.Это форма интеллектуальной ответственности. Это происходит через самоуправление в рамках отчетности, когда профессионалы отчитываются о том, что они сделали, тем, у кого «достаточно времени и опыта, чтобы оценить доказательства и сообщить о них» (O’Neill, 2002. стр. 58). ).
 Интеллектуальная подотчетность опирается на  информированный профессионализм , то есть профессиональное суждение, выработанное на основе общих критических запросов между профессиональными коллегами. Качественные суждения основаны на опыте оценки множества примеров оценочных свидетельств.Определение качества сложных работ — это навык, «который не сводится к набору мер или формальных процедур, которые неспециалист может применить для получения« правильной »оценки» (Sadler, 2009, стр. 160). Профессионалы развивают сложное понимание скрытых и явных качеств (Wyatt-Smith & Klenowski, 2013). В рамках нашей роли умных профессионалов учителя также несут ответственность за постоянное изучение процессов оценивания, как академических, так и социальных, чтобы затем они могли информировать и формировать оценку продуктивным и этичным образом (Torrance, 2017).
 Как это выглядит на практике? 
  Если  , то это цель…  , то  , это возможности, которые нужны студентам…  , поэтому   эти типы результатов очевидны для студентов. Школа A — привела аргумент в пользу обоснованности своей работы, создав обзор своего дизайна. Школа A Аргумент в пользу обоснованности наряду с планом обучения. Школа A Обзор модуля 11 Обзор модуля Crucible, чтобы получить обратную связь от рецензентов, прежде чем они начнут преподавать.
 Школа B использовала комментарии об изменениях дорожек, чтобы аргументировать обоснованность своего проекта. Школа B План подразделения Crucible с комментариями учителя. Рецензенты доложили учителям о фактах, полученных в рамках коллегиальной оценки Школы B, проведенной университетской командой.
 Артикул: 
 Элвуд, Дж., И Ланди, Л. (2010). Пересмотр оценки с учетом прав ребенка: последствия для политики, процесса и практики.  Исследования в области образования ,  25  (3), 335-353.
 Кейн, М. Т. (2016). Объяснение действительности.  Оценка в образовании: принципы, политика и практика ,  23  (2), 198-211.
 Харлен В. (2005). Доверие к мнению учителей: исследования, подтверждающие надежность и обоснованность оценок учителей, используемые для обобщающих целей.  Исследования в сфере образования ,  20  (3), 245-270.
 Мессик, С. (1989). Срок действия. В R. L. Linn (Ed.),  Американский совет по образованию / серия Macmillan о высшем образовании.Образовательное измерение  (стр. 13-103). Нью-Йорк: Macmillan
 Мосс, П. (2016) Смещение фокуса валидности для использования тестов, Оценка в образовании: принципы, политика и практика, 23: 2, 236-251, DOI: 10.1080 / 0969594X.2015.1072085
 О’Нил, О. (2002).  Вопрос доверия: лекции BBC Reith 2002 . Издательство Кембриджского университета.
 О’Нил, О. (2013). Интеллектуальная подотчетность в образовании.  Oxford Review of Education ,  39  (1), 4-16.
 Сэдлер, Д. Р. (2009). Неопределенность в использовании заранее установленных критериев оценки и выставления оценок.  Assessment & Evaluation в высшем образовании ,  34  (2), 159-179.
 Зальберг, П. (2010). Переосмысление подотчетности в обществе знаний.  Журнал изменений в образовании, 11  (1), 45-61.
 Стобарт, Г. (2009). Определение достоверности оценок национальных учебных программ.  Образовательные исследования, 51  (2), 161-179. DOI: 10.1080 / 00131880
1305
 Торранс, Х.(2017). Обвинение жертвы: оценка, экзамены и ответственность студентов и учителей в неолиберальном управлении.  Дискурс: исследования в области культурной политики образования ,  38  (1), 83-96.
 Уиллис, Дж., Эди, Л., и Кленовски, В. (2013). Концептуализация оценочной грамотности учителей в эпоху реформы учебных программ и системы оценивания.  Австралийский исследователь образования ,  40  (2), 241-256.
 Уятт-Смит, К., & Кольбер, П. (2014). Отчет о внутренней работе стандартов, суждений и умеренности: ранее нерассказанное повествование, основанное на фактах. Отчет ACER доступен по адресу http://research.acer.edu.au/cgi/viewcontent.cgi?article=1006&context=qld_review
 Уятт-Смит, К., и Кленовски, В. (2013). Явные, скрытые и метакритерии: типы критериев, используемых в практике профессионального суждения.  Оценка в образовании: принципы, политика и практика ,  20  (1), 35-52.
 Педагогические дилеммы в ситуациях динамического оценивания: точки зрения на видеоданные из тестов на компетентность на тренажерах 
 При инициировании фокус-групп инструкторов попросили в первую очередь обсудить отображаемое понимание учениками устного вопроса, задаваемого инструкторами в видеороликах и как они оценили бы разные ответы, полученные студентами. Цель заключалась в том, чтобы получить представление об их практике оценивания, понимая, как они рассуждают в ситуации оценки и как они будут рассуждать в отношении строительных лесов, которые имели место во время оценивания.Однако дискуссия сосредоточилась на нескольких важных аспектах получения ответа на вопрос, а именно на том, как формулируется вопрос, как разворачивается диалог и что составляет правильный ответ, а также на последствиях для последовательности и справедливости оценка. Эти дискуссии были минимально модерированными, так как они естественным образом сосредоточились на очень актуальных аспектах оценок. В целом фокус-группы создали 2 часа видеозаписи, которая была полностью расшифрована службой транскрипции.Эти расшифровки стенограммы были сосредоточены на словесных высказываниях между участниками. На следующем этапе корпус данных был проанализирован с использованием дискурс-аналитического подхода. Анализ дискурса в этнографических исследованиях способствует анализу значений, выходящих за рамки самих слов, тем самым исследуя дискурс как ситуативную, историческую и случайную практику (Аткинсон и др., 2011). В данном исследовании это означает, что ответы респондентов анализируются в контексте более широкого контекста; Неотъемлемым аспектом института МЕТ является соблюдение академических стандартов в соответствии с политикой высшего образования, а также удовлетворение требований морской индустрии.В ходе аналитического процесса разделы записанных обсуждений были обозначены цветом в зависимости от темы и содержали следующие категории: валидность, надежность, оценка эксперта, оценка учащегося, идеи для улучшения и проблемы для улучшения. Хотя все категории интересны, для более подробного анализа были выбраны дискуссии о валидности, надежности и оценке учащихся. В это время материалы данных стимулированного отзыва были пересмотрены, чтобы проверить точность транскрипции и заполнить ранее неуслышанные высказывания, где это возможно.Кроме того, в соответствии с этическими целями все участники были анонимны и им был присвоен номер респондента (например, R1, R2 и т. Д.). Все имена, упомянутые в их разговоре, были заменены псевдонимами.
 Что является правильным вопросом? 
 В этом разделе основное внимание уделяется обсуждению  обоснованности  вопроса инструктора с точки зрения профессионального мастерства, требуемого от капитана-моряка. Здесь цель вопроса «Какова связь между ROT, передаточным числом и скоростью», заданным инструктором, ведущим курс, с которого были собраны данные (эпизод 1), была сочтена довольно практической.R1 объясняет, что его цель — убедиться, что учащийся может смотреть на индикатор скорости поворота и прогнозировать ROT. Далее вопрос формулируется в контексте возможности управления поворотом от автопилота (R1), а также в связи с умелым использованием функции следа в ARPA (R2). Эта линия вопросов хорошо соответствует учебным целям курса. Однако другой респондент (R3) утверждает, что этот вопрос далек от практического; скорее, это вопрос соотнесения абстрактных вещей друг с другом, что-то, что не обязательно означает, что это можно сделать на практике:
 Можно было ответить на вопрос, не имея возможности выполнить поворот.Итак, в данном случае оценивается не навык, а другой тип учебной цели в этом случае … и, конечно, на довольно высоком уровне. Сопоставлять вещи друг с другом. То есть определенные абстрактные вещи во взаимосвязи друг с другом. (R3).
 Другой респондент продолжает этот аргумент, описывая ограничения при использовании высших когнитивных функций по сравнению с обучением на основе правил во время стрессовых ситуаций для своих коллег:
 Если они смогут использовать знания на месте, им понадобятся знания, которые Это больше, чем высшие когнитивные функции, оно должно основываться на правилах и опираться на опыт, чтобы они могли справляться со стрессом — вот почему я думаю, что здесь важнее этот вид навыков.(R4).
 Объяснение связано с текущими исследованиями в области когнитивной нейробиологии, показывающими, как стресс способствует быстрому сдвигу нейронных функций от когнитивных систем более высокого уровня, локализованных в гиппокампе и префронтальной коре головного мозга человека, к системам привычек, включающим миндалевидное тело и спинное полосатое тело (Vogel et al., 2016). Следовательно, в этом случае очевидно, как респондент привносит в обсуждение свои теоретические знания о человеческом познании. Обсуждение показывает, как напряженность между профессиональным и академическим подходами к МЕТ становится практической проблемой для инструкторов, размышляющих над сложными вопросами относительно того, обучать ли моряков, которые могут выполнять рефлексию в действии на высоком уровне теоретической абстракции, или обучать моряков, которые могут регулярно и безопасно выполнять навигационные операции (см.Мануэль 2017). Впоследствии, после просмотра эпизода 2, R4 уточняет, что подразумевает теоретический термин «на месте» — кратко упомянутый в предыдущей цитате — в таких ситуациях.
 Ну тут вопрос более контекстный. Это… здесь в материальном мире есть вещи, которые помогают учащимся понять. Компас вращается и указывает, стрелки и вещи, с которыми работает этот человек. Это действительно ситуативное познание. И если вы удалите это, когда вы… в другом вопросе, тогда вы удалите все эти опоры.Итак, это … Я думаю, если вы зададите вопрос определенным образом, вам будет дан ответ определенным образом. Эти два вопроса, вероятно, измеряют два разных типа знания. (R4).
 Здесь R4 принимает теоретический взгляд на наблюдаемые взаимодействия, используя в своем объяснении ситуативные теории познания. Как указывает Säljö (2019), когнитивные практики человека обычно происходят во взаимодействии с другими людьми, а также с использованием материальных артефактов, таких как документы, компьютеры или, в данном случае, индикатор скорости поворота.Следовательно, объяснение R4 согласуется с понятием  гибридных умов  — то есть ума, который одновременно опирается на практики, которые являются как социальными, так и материальными по своей природе, и формируется благодаря им (Säljö 2017). Согласно этой точке зрения, знания или опыт должны быть способны использовать как сотрудников, так и материальные артефакты для эффективного выполнения работы. Поскольку за последние десятилетия МЕТ претерпел значительные изменения: от системы ученичества к академическому образованию время, потраченное на изучение производственной практики на море, частично заменяется обучением в контексте высшего образования.По сути, подготовка к тому, чтобы стать мастером мореплавания, по-прежнему является вопросом обучения, чтобы стать частью команды на мостике и работы с набором навигационных инструментов. Ситуационные и социокультурные точки зрения на тесты компетентности на тренажерах подчеркивают, как знания или опыт должны позволять человеку использовать как материальные артефакты, так и знания и опыт коллег для качественного выполнения работы. Однако во время проверки компетентности в рамках этого курса студенты действовали независимо, беря на себя роль вахтенного офицера без поддержки со стороны командира или наблюдателя.Практика проведения индивидуальных тестов имеет давнюю традицию в академических кругах, направленную на обеспечение того, чтобы оценивались именно знания человека и чтобы оценки были справедливыми. Однако эта практика вступает в противоречие со стандартами компетентности МЕТ, которые направлены на предоставление достоверных оценок, то есть на оценку выполнения учащимися рабочих задач в соответствии со стандартами, которые требуются на борту судов (Ghosh et al., 2014). .
 Далее, R4 затрагивает различие между различными видами знаний, но не развивает этот вопрос в приведенной выше цитате.Однако разница между , зная, что , и , зная, как , очевидна во всех обсуждениях (Ryle 1945). Кроме того, взаимосвязь между , знающим, что , и , знающим, как , является предметом давних дебатов как в философии, так и в образовательных исследованиях, поскольку их можно рассматривать либо как отдельные друг от друга, либо как сложно переплетенные. В ходе этого обсуждения связанные с этим аспекты вызывают живую дискуссию. Например, возвращаясь к цитате из R3, вопрос рассматривается как вопрос, который оценивает , зная, что , а не , зная, как , и цитаты из R4 указывают на точку зрения в пользу оценки , зная, как , то есть постоянно спорил.С другой стороны, R1 выступает в пользу более теоретического вопроса, указывая на необходимость обладать обобщенными знаниями для работы на разных судах, а также на абсолютную необходимость знать теорию, лежащую в основе того, как автопилот вычисляет поворот в случае технической неисправности. В то время как обе стороны приводят убедительные аргументы в пользу своей точки зрения, обсуждение показывает сложность формулировки экзаменационных вопросов для измерения правильного аспекта и на соответствующем уровне текущего понимания учащимися.В этой обучающей задаче инструкторы должны использовать как свои знания в области навигации, так и свои педагогические знания в области преподавания, обучения и знания.
 Оценка учащихся 
 Во время обсуждения проявленного понимания учащихся в различных эпизодах стала заметна тенденция, когда преподаватели иногда оценивали поведение и уверенность в себе, а не точность их ответов (см. Тиммерманс и др., 2016). В первой фокус-группе взаимосвязь между уверенностью в себе, правильностью и развитием диалогов также была замечена в ходе обсуждения в эпизоде 3.Однако интересно, что респонденты изначально не могли идентифицировать строительные леса, имевшие место в эпизоде, где студент проявил большую уверенность: «Здесь все прошло хорошо… Студент знал… Он мог ответить…». (R8). Другой респондент согласен с этим, отметив «но этот студент выглядит довольно уверенно» (R9). Однако R1 оспаривает эту точку зрения, говоря: «Но сначала он ошибается, не так ли?» В ответ на это разногласие интервьюер переигрывает эпизод.После повторного просмотра эпизода 3 R8 заметил и сообщил, как преподаватель получил правильный ответ, предоставив ученику одну из переменных; кроме того, R3 указывает на сходство с учебными каркасами в эпизоде 1.
 В фокус-группе 2 оценки показали более четкую направленность на оценку поведения и воспринимаемого характера учащихся, чем отображаемое понимание в их ответах. Например, в обсуждении ученика в эпизоде 2 ученик описывается R5 как «супер-ученик», а R2 как «хороший парень и заинтересован».R2 продолжает свои рассуждения, говоря, что даже если ученик думает вслух и приходит к правильному ответу только на полпути, он все равно демонстрирует некоторую уверенность в том, что он «хороший ученик» и «вроде как на той же волне», что и инструктор. . Напротив, ученик также может считаться менее образованным, если ответы даются неопределенным образом. Например, учащийся из серии 1, который дал довольно хороший ответ, но неуверенно, был оценен респондентами второй фокус-группы следующим образом.«Ну, на меня он не произвел особенно хорошего впечатления. Это слабый человек. Ему нужно репетировать »(R6). Другой респондент в фокус-группе проблематизирует такие оценки впоследствии во время дискуссий следующим утверждением:
 Сразу же пытаются оценить, насколько хорош ученик. Студент 1 слаб. Студент 2 отличный, Студент 3 тоже слабоват, да? Но может случиться так, что это результат того, как диалог разворачивается до того момента, который мы видим здесь сейчас. (R7).
 Эти результаты согласуются с предыдущими исследованиями по оценке. Например, Хирш (2012) показывает, что учителя склонны оценивать поведение и воспринимаемый характер учащихся, а не их отображаемые знания. Фактически, выставление оценок оказывается проблематичным, поскольку может быть трудно разделить достижения учащихся и их уверенность в себе, а также их успеваемость и поведение в классе или их личную связь с учителем (Klapp Lekholm and Cliffordson 2009). ). С другой стороны, ученики могут хорошо осознавать важность того, чтобы их воспринимали как «хороших учеников», используя продуманные стратегии для установления отношений с учителями и игры в классе (Ball et al.2012). Это включает в себя высокую социальную компетенцию, то есть умение расшифровывать довольно скрытую учебную программу и действовать в соответствии с ней (Sivenbring, 2019).
 Что положительно в обсуждениях в фокус-группах, которые разворачиваются после целенаправленного и неоднократного просмотра видеоматериалов, так это то, как респонденты совместно работают над выявлением своих возможных предубеждений и вынесением таких проблем на критическое обсуждение. Как указано в исследовании использования видео в аналитических целях, возможности для повторных просмотров считаются лучшим другом аналитика, поскольку «взаимодействия слишком обширны и плотны, чтобы уловить детали их организации с первого раза» (Хиндмарш и Тутт 2012, стр.61) Более того, показано, как замечая педагогические проблемы и вынося их на обсуждение, другие также могут заметить, задуматься и обсудить такие проблемы. Проблемы, отмеченные в приведенных случаях беседы, побудили респондентов обсудить свои собственные ожидания в отношении разных студентов, которых они обучают, и целесообразно ли, чтобы преподаватель также оценивал студентов, которых они обучали во время курса. Более того, результаты показывают, как использование видеозаписей тестов на компетентность может снизить предвзятость в оценках, предлагая возможности для повторных и совместных оценок.
 Вопросы надежности, равного обращения и справедливости 
 Ожидается, что в MET, как и во всех академических учреждениях, преподаватели и оценщики будут продвигать надежное и справедливое тестирование в соответствии с национальной политикой высшего образования, подчеркивая право студентов на равное обращение и закон уверенность. В то время как практика использования строительных лесов во время оценивания позволяет приобретать специфические навыки, монтаж строительных лесов, выполняемых во время проверки компетентности для получения морских свидетельств, поднимает вопросы относительно надежности оценок, а также равного обращения и правовой определенности для студентов MET (Sellberg et al.2019). Предыдущие исследования подчеркивают, что методы оценки в МЕТ были разработаны и внедрены в произвольном порядке, т. Е. Недостаточно основаны на эмпирических результатах или подтвержденном опыте, и приводят к неточным и непоследовательным методам оценки, которые приносят больше вреда, чем пользы, если воспринимаются как надежные. показатели профессиональной деятельности (Ernstsen and Nazir 2018). Во время обсуждений в фокус-группах с инструкторами становится очевидным, что они сами очень критически относятся к надежности и справедливости тестов на компетентность на симуляторах:
 Я много борюсь с этим вопросом.Я провожу много времени на тренажере, провожу много обследований и чувствую это. Это нечестно. Я не даю справедливой оценки. Так много параметров, которые влияют … только на то, что они выполняют сценарий … у кого-то есть небольшой … они не выполняют одни и те же сценарии. (R1).
 В сценариях на тренажере ученики начинают с разных позиций, чтобы пересечь Дуврский пролив. Следовательно, этот дизайн сценария предоставляет студентам различные предпосылки для выполнения задачи.Более того, во время тестов пять студентов проходят один и тот же сценарий, деля виртуальный мир с разных мостов. Хотя симуляторы воспринимаются как предлагающие контролируемую среду, все же существуют аспекты навигации в транспортном потоке, которые трудно контролировать, поскольку взаимодействие учащихся друг с другом в сценарии может разворачиваться непредсказуемым образом. Следовательно, в тестах компетентности на основе симулятора дизайн сценария, в котором учащиеся начинают переход с одной и той же позиции и перемещаются по смоделированному сценарию, в котором весь трафик встреч предварительно спроектирован, может уменьшить несоответствия во время тестов компетенции на основе симулятора.
 Другая проблема, поднятая в ходе дискуссий, — как надежно оценивать компетенцию и роль предварительно составленных оценочных листов при проведении оценок:
 Что важно, какова цель, каковы цели обучения? Как мы их оцениваем и как мы, так сказать, следуем нашим оценкам? А затем… как мы проводим оценку в соответствии с критериями, где мы проводим черту того, что хорошо, это на грани или это действительно хорошо? Как будто мы … чувствуем, что нам нужно больше модели для работы.(R5).
 Кроме того, R7 указывает, что заранее составленный оценочный лист, даже если он тщательно разработан, трудно надежно внедрить:
 Это не касается вопросов, поскольку оно основано на наблюдениях во время сценариев. И трудно понять, на чем мы должны сосредоточиться на самом деле … Что в этом хорошего? И это во многом полагается на чувства, как будто я чувствую, что это хорошо, а что нет.
 Здесь R7 относится к курсу по командной работе на мостике при морских операциях, где оценочный лист был разработан и внедрен в соответствии со стандартами Морского института и исследованиями о том, как оценивать нетехнические навыки (см.Conceição et al. 2017). В соответствии с рекомендациями о том, как использовать такие модели оценки, в ходе курса оценивается только наблюдаемое поведение, что снижает количество несоответствий, очевидных в этом наборе данных, где диалог после устных вопросов разворачивается эклектичным образом. Однако, как видно из опасений R7, внедрить такие модели оценки непросто, что показывает, что модель сама по себе не является гарантией надежности оценок. Как указано в исследовании, проведенном в авиации, где такие модели оценки имеют давнюю традицию, надежность межэкспертных тестов между экзаменаторами оказалась от умеренной до низкой (например,г., Weber et al. 2013; Рот 2015). Одна из причин этого заключается в том, что даже если модели оценки разбивают наблюдения на отдельные измеримые единицы навыков, летные экзаменаторы основывают свои оценки на большом количестве наблюдений, собранных в единое событие, даже при использовании рейтинговых шкал (Roth 2015). Это может быть связано с тем, что технические навыки и нетехнические навыки трудно выделить и нацелить во время оценки, а также потому, что умелое поведение требует понимания в целом (Sellberg and Lundin, 2018).В этом контексте респонденты в этом исследовании описывают противоречие между умелой профессиональной практикой и стремлением к деконструкции и измерению. Их рассуждения можно резюмировать в цитате одного из преподавателей:
 Я думаю, что… С одной стороны, измеримость… В измеримости есть справедливость. А с другой стороны, есть решения инструкторов. Все прошло хорошо или нет? Я понимаю стремление быть справедливым и пафос справедливости, это здорово во многих отношениях.Но в то же время это как … У вас есть определенные знания, чувство, когда вы можете оценивать ученика. Нам нужно сделать это как можно более справедливым, но мы должны сохранить такие аспекты, как умение быть умелым, быть человеком и иметь это чувство … Это не совсем соответствует тому, как наука строится в техническом университете, но все же важно. (R4).
 Как указано в (Sellberg 2018), стремление повысить надежность за счет разделения морских операций на набор отдельных объектов может вести НДПИ в неверном направлении.Противоречие между научной рациональностью и профессиональным отражением в действии широко обсуждалось, часто в связи с работами Шена (1983, 1987), а иногда и в пользу одного из другого. Фактически, подход Шена (1987) приводит аргументы в пользу использования практиками научных методов для дальнейшего развития их рефлексии в действии и рефлексии в действии. Такой подход может быть наиболее плодотворным для развития обучения и оценки в МЕТ, то есть дальнейшего развития профессионального рефлексивного практического опыта инструкторов, как моряков, так и учителей (см.Schön 1987).
 Изучение действительности процесса оценки педагогических достижений штата Вашингтон для получения лицензии учителя 
 Абстрактные 
 В этом исследовании изучалась обоснованность процесса PPA штата Вашингтон, который был разработан для оценки кандидатов в учителя для целей лицензирования. Три достоверности были исследованы с использованием точки зрения Мессика. Валидность содержания была рассмотрена с использованием суждения оценщиков для установления соответствия между стандартами WAC и INTASC.Доказательная достоверность относится к уверенности преподавателей и руководителей в: (1) выводах о том, что кандидаты в преподаватели обладают способностью продемонстрировать, что они соответствуют стандартам; и (2) все критерии необходимы и достаточны для лицензирования начинающего учителя. Последовательная основа достоверности относится к эффекту использования процесса WA PPA на программы подготовки учителей и студентов-учителей. Источники данных включали суждения оценщиков относительно согласования стандартов, исследовательские анкеты и интервью.На анкету ответили девятнадцать участников, одиннадцать из них были опрошены. Анализ данных согласования показал, что девять из десяти стандартов WAC были оценены как частично согласованные с INTASC. Каждый принцип INTASC адекватно отражен в нескольких стандартах WAC. Следовательно, процесс PPA WA имеет существенную достоверность содержания; хотя есть некоторые недостающие области, включая оценку расположения учителей. Результаты показали, что университет был оценен как частично соответствующий INTASC.Каждый принцип INTASC адекватно отражен в нескольких стандартах WAC. Следовательно, процесс PPA WA имеет существенную достоверность содержания; хотя есть некоторые недостающие области, включая оценку расположения учителей. Полученные данные показали, что требования к оценке университетов были призваны компенсировать слабость процесса WA PPA для оценки способностей кандидатов в учителя соответствовать государственным стандартам обучения (WAC). Процесс WA PPA имеет значительную доказательную и косвенную силу.Участники чувствовали себя уверенно в своих суждениях о способности студентов-учителей соответствовать стандартам. Они считают, что все критерии необходимы и достаточны для лицензирования начинающего учителя. Тем не менее, ряд участников не были полностью уверены в выводах, сделанных ими о способностях студентов-учителей, основанных на данных, собранных в ходе процесса PPA штата Вашингтон. Они были обеспокоены прояснением стандартов, отсутствием достаточных доказательств в поддержку стандартных суждений WA PPA и необходимостью получения дополнительной информации от сотрудничающих учителей.Тем не менее, процесс PPA WA вместе с другими процессами оценки университетов способствует принятию обоснованных решений о квалификации учителей для лицензирования в штате Вашингтон.
 .

Валидность в педагогике это: Валидность — это… Что такое Валидность?

Валидность — это… Что такое Валидность?

Особенности определения валидности педагогического теста

Насколько надежны и точны ваши онлайн-тесты?

Валидность (достоверность) тестов

Как взвесить учебные цели/действия

Другие способы повысить валидность онлайн-тестов

Надежность теста

Что делает тест последовательным и согласованным?

Как повысить надежность теста?

Отношение надежности и валидности

1. Способы установления валидности методики

Технология тестирования в системе дополнительного образования детей: возможности применения ⋆

21. Определения валидности. Важнейшие составляющие валидности. Психодиагностика

Читайте также

19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм

22.

23. Конструктная валидность. Конвергентная и дискриминантная валидности

27.

28. Текущая и эмпирическая валидности

31. Очевидная, экологическая, иллюзорная (ложная) валидности

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических

Глава 5. Оценка валидности утверждений

«Важнейшие окна»

Причины искажения валидности

Глава 5. Оценка валидности утверждений

4. Год и его важнейшие точки

Управление персоналом, образование, личное развитие.

Истоки экспериментальной психологии

Тест, тестирование

Виды тестов

Результаты тестирования

Ключ к пониманию различных форм «хорошего» обучения

Учет валидности при разработке оценки

Примеры и рекомендации доказательств валидности

Список литературы

в оценках: содержание, конструкция и прогнозируемая достоверность — видео и стенограмма урока

Факторы, влияющие на валидность

Измерение действительности

Типы валидности

Взаимосвязь между достоверностью и надежностью

Резюме урока

Цели урока

Магия проверки | Культ педагогики

Почему валидация работает

Как выполнить трехэтапную проверку

Шаг 1. Отражение содержания

Шаг 2. Признайте эмоции

Шаг 3. Сообщите о принятии

А потом?

Ответный удар: почему мы сопротивляемся проверке

Я не согласен с этим человеком, поэтому не могу подтвердить его мнение.

Но их позиция НЕДЕЙСТВИТЕЛЬНА. Зачем мне это поощрять?

Это все обидчивые Б.С. Это не я.

У меня есть дела поважнее. Почему я должен тратить время на это?

Примеры сценариев

Проблема поведения учащихся

Коллега Проблема

Сила смягчения

Общий язык принципов оценивания

Вопрос о действительности 2: Есть ли у вас и у ваших коллег общее понимание языка оценивания?

Как это выглядит на практике?

Артикул:

Педагогические дилеммы в ситуациях динамического оценивания: точки зрения на видеоданные из тестов на компетентность на тренажерах

Что является правильным вопросом?

Оценка учащихся

Вопросы надежности, равного обращения и справедливости

Изучение действительности процесса оценки педагогических достижений штата Вашингтон для получения лицензии учителя

Абстрактные

About the Author

admin

Добавить комментарий Отменить ответ

Рубрики

Related Posts