Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (выпуск 1-2)

СОДЕРЖАНИЕ

Вводная часть к выпускам ………………………………………………

1. Профессиональные стандарты, трудовые функции

и трудовые действия …………………………………………….

2. Образовательные стандарты, компетентность и компетенции

3. Паспортизация компетенций как способ установления связи

между образовательными и профессиональными

стандартами………………………………………………………

4. Оценка готовности выпускников образовательных

организаций к профессиональной деятельности на основе

педагогических измерений ……………………………………..

5. Многостадийные измерения в аккредитации специалистов…

6. Виды измерителей для аккредитации…………………………..

7. Планирование содержания оценочных средств………………

Заключение………………………………………………………………..

Список литературы………………………………………………………

ВВОДНАЯ ЧАСТЬ К ВЫПУСКАМ

В соответствии с Федеральным законом от 21 ноября 2011 г. № 323-

ФЗ «Об основах охраны здоровья граждан Российской Федерации» право

на осуществление медицинской деятельности в России имеют лица,

получившие медицинское или иное образование в соответствии с

федеральными государственными образовательными стандартами и

имеющие свидетельство об аккредитации специалиста. Под

аккредитацией специалиста понимается процедура определения

соответствия готовности лица, получившего высшее или среднее

медицинское или фармацевтическое образование, к осуществлению

профессиональной деятельности.

Для создания системы аккредитации приказом Министерства

здравоохранения Российской Федерации от 21 августа 2014 г. № 463 был

образован специальный Совет при Министерстве здравоохранения

Российской Федерации, который определил основные подходы к

созданию системы аккредитации.

В частности, предложено проводить:

1) первичную аккредитацию специалистов в отношении лиц,

завершивших освоение основных образовательных программ высшего

медицинского образования, высшего фармацевтического образования,

среднего медицинского образования, среднего фармацевтического

образования, иного образования, претендующих на осуществление

медицинской деятельности или фармацевтической деятельности;

2) первичную специализированную аккредитацию специалистов

в отношении лиц, завершивших освоение программ подготовки кадров

высшей квалификации и программ профессиональной переподготовки,

а также лиц, получивших образование на территории иностранного

государства;

3) периодическую аккредитацию специалистов в отношении лиц,

завершивших освоение программы непрерывного медицинского

образования.

Предполагается, что развитие системы аккредитации будет носить

поэтапный характер. В качестве первого этапа, масштабная реализация

которого планируется на

2016 год, выделена процедура первичной

аккредитации лиц, завершивших обучение по основной образовательной

программе высшего образования по специальностям «стоматология» и

«фармация». В

2017 году начнется проведение массовых процедур

первичной аккредитации лиц, завершивших обучение по основной

образовательной программе высшего образования по всем медицинским

специальностям, а также процедур первичной специализированной

аккредитации лиц, завершивших обучение по программам

ординатуры/интернатуры.

Остальные категории лиц допускаются к медицинской деятельности

через процедуру сертификации в соответствии с приказом Министерства

здравоохранения Российской Федерации от

29 ноября 2012 г.

№ 982н

«Об утверждении условий и порядка выдачи сертификата специалиста

медицинским и фармацевтическим работникам, формы и технических

требований сертификата специалиста».

В основу процедур аккредитации положены требования федеральных

государственных

образовательных

стандартов

и требования

профессиональных стандартов. Первый набор требований представлен в

форме совокупности компетенций, а второй - в форме совокупности

трудовых функций, описанных и конкретизированных с помощью

трудовых действий специалистов в процессе профессиональной

деятельности.

Регламентирующие принципы процедур аккредитации направлены на

обеспечение высокой объективности

(надежности), обоснованности

(валидности) и сопоставимости оценок испытуемых. Поэтому

оценивание специалистов при аккредитации предполагает обязательное

обращение к теории измерений в социальных науках и всем ее

прикладным компонентам: методикам разработки измерителей, анализа

качества измерителей и результатов измерений и построения шкал для

интерпретации оценок испытуемых.

В связи с этим методические рекомендации по оцениванию

специалистов здравоохранения при аккредитации включают 4 выпуска,

которые охватывают, в большинстве своем, практически все

перечисленные вопросы.

Первый выпуск методических рекомендаций содержит общие подходы

к разработке оценочных средств

(измерителей) для первичной

аккредитации специалистов здравоохранения. В него включены краткие

представления об измерениях. Приводится модель оценочных средств,

позволяющая оптимально сочетать требования образовательных и

профессиональных стандартов. Значительное внимание уделяется

проблеме выбора переменных измерения, для решения которой

предлагается методика разработки дескрипторов компетенций,

связывающая их с трудовыми действиями профессиональных стандартов.

Второй выпуск методических рекомендаций посвящен технологии

разработки заданий в тестовой форме. В нем содержатся требования к

заданиям различных форм и анализируются типичные недостатки.

Большая

часть

теоретического

материала

иллюстрируется

многочисленными примерами заданий по стоматологии и фармации.

В третьем выпуске методических рекомендаций содержится краткая

информация по анализу качества заданий и эмпирических результатов их

выполнения представительной выборкой испытуемых. Для проведения

анализа предлагается краткий математико-статистический аппарат,

реализация которого не требует специальной подготовки по математике,

поскольку может быть осуществлена с помощью различных

статистических

пакетов,

например,

помощью широко

распространенного пакета для социальных наук Statistical Package for

Social Sciences - SPSS.

Материал четвертого выпуска методических рекомендаций

предназначается для изложения современных методик шкалирования

первоначальных

(сырых) баллов испытуемых. Он ориентирован на

задачу интерпретации оценок при аккредитации специалистов

здравоохранения. Данные методики содержат подходы к установлению

пороговых баллов

(критериев освоения трудовых функций) и

предполагают сочетание двух уровней измерения: количественного,

представленного 100-балльной шкалой, и качественного, содержащего

экспертно-выделенные диапазоны освоения трудовых действий или

компетенций.

В целом предлагаемые методические рекомендации содержат всю

необходимую краткую информацию, позволяющую организаторам и

авторам оценочных средств приступить к их разработке, а также

эффективно использовать эти средства при проведении аккредитации

специалистов здравоохранения. Для более полного освоения

практического аппарата по разработке оценочных средств и их

применению в процедурах аккредитации специалистов требуется

изучение дополнительного теоретического материала, содержащегося

в списках литературы, приведенных в конце каждого выпуска

методических рекомендаций.

1. ПРОФЕССИОНАЛЬНЫЕ СТАНДАРТЫ, ТРУДОВЫЕ

ФУНКЦИИ И ТРУДОВЫЕ ДЕЙСТВИЯ

В макете профессиональных стандартов, подготовленном Минтруда

России, содержится ряд разделов, подробно описывающих требования к

лицам, осуществляющим профессиональную деятельность. В первом

разделе

«Общие сведения» указывается наименование вида

профессиональной деятельности и основная цель ее осуществления. Во

втором разделе, получившем название функциональной карты видов

профессиональной деятельности, соотносятся обобщенные трудовые

функции с их детализацией в виде трудовых функций. Раздел третий

нацелен на развернутую характеристику обобщенных трудовых функций.

С этой целью в нем для каждой трудовой функции, сформулированной во

втором разделе, перечисляются трудовые действия, сопровождающиеся

необходимыми знаниями и умениями. Четвертый раздел содержит

сведения об организациях-разработчиках профессионального стандарта.

Число обобщенных трудовых функций во многих профессиональных

стандартах для лиц, осуществляющих медицинскую деятельность,

невелико. Например, в профессиональном стандарте для специалистов по

педиатрии и профессиональном стандарте для специалистов в области

фармацевтической деятельности содержится по одной обобщенной

трудовой функции, с которой связаны по пять трудовых функций в обоих

случаях. На фоне незначительного числа трудовых функций разительный

контраст представляют трудовые действия, в которых раскрывается

каждая функция. Как правило, в упомянутых выше стандартах для

каждой из функций число трудовых действий более десяти. В других

профессиональных стандартах, например, для специалистов в области

стоматологии, содержится шесть трудовых функций, которые

представлены в виде 74 трудовых действий.

Таким образом, описание трудовых функций с последующей

конкретизацией в форме трудовых действий и сопутствующих им знаний

и умений делает профессиональные стандарты чрезвычайно объемными

и затрудняет их использование при аккредитации специалистов в области

здравоохранения. Понятно, что проверить уровень владения каждым

специалистом всеми трудовыми действиями при аккредитации просто

невозможно, поэтому при планировании содержания оценочных средств

желательно обращаться к укрупненным группам трудовых действий,

сформированных по признакам близости и принадлежности к одной

трудовой функции. Пример таких укрупненных групп будет приведен

позже в этом же выпуске при рассмотрении методики планирования

содержания оценочного средства.

Среди перечисленных разделов профессиональных стандартов

наибольшую смысловую ценность для разработчиков оценочных

средств, используемых при аккредитации специалистов, имеет третий

раздел, включающий подробные перечни трудовых действий, а также

знания и умения, освоение которых является необходимым, но

недостаточным условием успешного выполнения всех трудовых

действий. Проблема установления достаточности здесь видится в том,

что освоение специалистами знаний и умений, перечисленных

в профессиональных стандартах, вовсе не говорит о наличии

способностей к их успешному применению. Последнее обстоятельство

как раз и послужило причиной появления компетентностного подхода,

поскольку хорошо подготовленные в теоретической области выпускники

образовательных организаций нередко оказывались плохими

специалистами, неспособными успешно реализовать в профессиональной

деятельности свой теоретический потенциал.

Достаточные условия успешности профессиональной деятельности

обеспечивают сформированные компетенции, представленные уже не

в профессиональных, а в образовательных стандартах. Таким образом,

при оценивании специалистов с целью определения или подтверждения

их готовности к осуществлению профессиональной деятельности

необходимо учитывать требования и профессиональных, и

образовательных стандартов путем установления соответствия между

ними. При этом необходимо понимать, что требования

профессиональных стандартов первичны, а компетенции должны

вытекать из них, обеспечивая способности к выполнению трудовых

действий.

Задача, которая здесь возникает, связана с выбором метода для

установления такого соответствия. Для решения этой задачи во втором

разделе выпуска

1 методических рекомендаций рассматриваются

некоторые особенности компетентностного подхода, реализованного во

ФГОС для системы высшего образования, а в третьем разделе

предлагается методика паспортизации компетенций с помощью описания

их дескрипторов на языке трудовых функций. Такие описания

обеспечивают оптимальное решение задачи установления соответствия

между требованиями ФГОС и требованиями профессиональных

стандартов.

2. ОБРАЗОВАТЕЛЬНЫЕ СТАНДАРТЫ, КОМПЕТЕНТНОСТЬ

И КОМПЕТЕНЦИИ

По наиболее распространённой трактовке, компетентность - это

интегративное понятие, которое распадается на спектр дискретных

компетенций. Оценка уровня компетентности указывает на статус

испытуемого при его аттестации, аккредитации или сертификации. Она

характеризует в целом способности выпускников образовательных

учреждений или работающих специалистов к профессиональной

деятельности и складывается из оценок по совокупности компетенций.

Формирование каждой компетенции у испытуемого происходит на базе

освоения ряда связанных знаний и умений полидисциплинарного

характера.

Компетенции имеют три ключевые характеристики:

 отсроченный характер проявления в профессиональной

деятельности после окончания обучения;

 причинный характер связей с эффективностью профессиональной

деятельности;

 мета-латентную природу.

Эти характеристики позволяют рассматривать компетенции как

глубоко лежащие устойчивые поведенческие свойства человеческой

личности,

прогнозирующие эффективность профессиональной

деятельности на основе освоенных знаний, умений и навыков.

В целом результаты сравнения характеристик компетенций и знаний и

умений приведены в табл.1

Таблица 1

Сравнение характеристик компетенций и характеристик

знаний и умений

Знания, умения

Компетенции

1. Имеют латентный характер

1. Имеют мета-латентный характер

2. Проявляются

процессе

2. Проявляются в профессиональной

обучения

деятельности после окончания обучения

3. Имеют

опосредованный

3. Имеют причинный характер связей

характер

связей

с эффективностью

последующей

эффективностью последующей

деятельности

4. Имеют теоретический или

4. Имеют

практико-ориентированный

прикладной характер

характер

5. Имеют дисциплинарный или

5. Имеют только полидисциплинарный

междисциплинарный характер

характер

6. Могут

оцениваться

как

6. Должны оцениваться только с

традиционными средствами, так

помощью измерителей

и с помощью измерителей

7. Формируются

освоением

7. Формируются освоением

дидактических единиц

содержательных полидисциплинарных

модулей

При классификации компетенций в высшем образовании принято

выделять несколько видов. В актуализированных ФГОС (версия 3+) есть

общекультурные, общепрофессиональные и профессиональные

компетенции, которые рекомендуется дополнить профессионально-

специализированными (дополнительными) компетенциями, выбранными

в соответствии с профильной направленностью образовательной

программы.

Оценка

уровня

освоения

компетенций

выпускниками

образовательных учреждений включает два этапа подготовительной

работы. К этим этапам относятся:

а) кластеризация компетенций;

б) паспортизация компетенций.

Необходимость кластеризации связана с большим числом

компетенций во ФГОС, превышающим возможности процедур

аттестации или аккредитации выпускников учебных заведений. Для

корректного оценивания уровня компетентности выпускников,

достигнутого по результатам обучения, число оцениваемых переменных

необходимо сократить путем объединения смежных компетенций в

отдельные группы - кластеры.

Кластер компетенций - это набор тесно связанных между собой

компетенций, объединенных по определенным признакам. Внутри

кластеров могут быть выделены иерархические уровни, либо просто

перечислены компетенции. Число кластеров должно быть не менее трех

и не более пяти, хотя в отдельных ситуациях допустимо рассматривать

шесть или семь кластеров.

Например, во ФГОС

(версия

3+) высшего образования по

направлению подготовки 33.05.01 «Фармация» (уровень специалитета)

содержатся три вида профессиональной деятельности, к которым

готовятся

выпускники, освоившие программу специалитета:

фармацевтическая,

организационно-управленческая,

научно-

исследовательская. Для этих трех видов помимо общекультурных

компетенций у выпускника в процессе обучения необходимо

сформировать

9 общепрофессиональных и

23 профессиональных

компетенций.

Даже в том случае, если оценку освоения

общепрофессиональных компетенций отнести к государственной

итоговой аттестации выпускников по направлению подготовки 33.05.01

«Фармация» и не добавлять в планируемые результаты освоения

образовательной программы профессионально-специализированные

компетенции, а при аккредитации выпускников сосредоточить все

усилия исключительно на оценке уровня освоения профессиональных

компетенций, то число их все равно будет слишком велико для

обоснованного, а не формального оценивания. Поэтому

профессиональных компетенции необходимо объединить в

5 или

в 6 кластеров.

Потребность в кластеризации компетенций возникает практически по

всем направлениям подготовки специалистов здравоохранения.

Например, во ФГОС для подготовки врачей-стоматологов общей

практики (уровень высшего образования «Специалитет») содержится 7

видов профессиональной деятельности, для которых сформулировано 11

общепрофессиональных и

19 профессиональных компетенций. Если

объединять профессиональные компетенции в соответствии с видами

профессиональной деятельности, можно сформировать семь кластеров,

что превышает возможности аппарата факторного анализа, для которого

число кластеров не должно быть больше пяти или, в крайнем случае,

шести.

Простой шаг к выходу из этого затруднения, связанного с

необходимостью оценивания уровня освоения выпускниками большого

числа компетенций, достаточно прост, и он указан в самих ФГОС. В них

предлагается включать в набор требуемых результатов освоения

образовательной программы компетенции, отнесенные к тем видам

профессиональной деятельности, которые будут актуальны в работе

специалиста. Поэтому перед разработкой оценочных средств для

аккредитации специалистов необходимо провести предварительный

анализ видов профессиональной деятельности и выбрать из них только

те, которые необходимы для практикующего специалиста. Затем можно

провести кластеризацию только тех компетенций, которые связаны с

выбранными видами профессиональной деятельности.

Например, вряд ли для аккредитации будущих провизоров следует

предусматривать задания для оценивания компетенций, связанных с

научно-исследовательской деятельностью. Таким образом, после

минимизации числа видов профессиональной деятельности останется 20

компетенций, которые желательно на втором шаге разбить на

5-6

кластеров. Если выделить только

2 кластера, соответствующие

оставшимся двум видам профессиональной деятельности, то они будут

иметь излишне укрупненный вид, поскольку объединяя по 10 или более

компетенций, можно получить две совокупности достаточно

разнородных и слабо связанных компетенций. В связи с этим число

кластеров рекомендуется увеличить до пяти или шести путем ввода

дополнительных оснований по структурированию компетенций. Если на

каждый кластер сделать не более

5 заданий для аккредитации

провизоров, то в результате можно будет оценить 5 переменных, каждая

из которых говорит об освоении 4-5 компетенций данного кластера и

характеризует способность к выполнению одного из двух видов

профессиональной деятельности.

В целом, кластеризация компетенций

- это крайне необходимая

работа, проводить которую следует двумя путями: вначале на этапе

предварительной кластеризации с компетенциями работают эксперты, а

затем подключается аппарат факторного анализа и проводится

факторизация данных апробации измерителя на представительной

выборке испытуемых, для которых он предназначен (см. выпуск 3). По

результатам анализа данных апробации выносятся окончательные

суждения либо принимаются корректирующие решения, позволяющие с

большой вероятностью утверждать, что в содержании измерителя

отражены планируемые переменные, а разработанные задания оценивают

освоение запланированных компетенций.

3. ПАСПОРТИЗАЦИЯ КОМПЕТЕНЦИЙ КАК СПОСОБ

УСТАНОВЛЕНИЯ СВЯЗИ МЕЖДУ

ОБРАЗОВАТЕЛЬНЫМИ И ПРОФЕССИОНАЛЬНЫМИ

СТАНДАРТАМИ

Паспортизация предполагает описание компетенций или их

кластеров в форме наблюдаемых признаков проявления (дескрипторов

или показателей) и других характеристик. Такие описания полезны по

многим причинам. В частности, они нужны авторам, поскольку

представляют собой практические ориентиры в разработке оценочных

средств для аккредитации специалистов, поскольку обычно носят

прагматический характер и связывают концептуальные формулировки

компетенций с целевыми индикаторами в виде умений по выполнению

практико-ориентированных

и профессионально

ориентированных

действий (трудовых действий). Помимо этого, дескрипторы компетенций

нужны экспертам при установлении порогового балла

- критерия

компетентности - для процедуры определения соответствия готовности

испытуемых к осуществлению профессиональной деятельности.

Непременным требованием при подборе дескрипторов компетенций

является высокий уровень операционализации (представления в виде,

пригодном для измерения), достигаемый за счет обращения к трудовым

действиям. Такое обращение вполне логично. Так как компетенции

характеризуют

способности

испытуемых

выполнению

профессиональной деятельности, то их необходимо описывать

в соответствующих терминах.

Перед паспортизацией компетенций в качестве первого

подготовительного шага необходимо установить их принадлежность

различным трудовым функциям, как показано на примере

профессиональных стандартов для специалиста в области

фармацевтической деятельности в табл. 2. Обращение к данной таблице

позволит связать требования профессиональных и образовательных

стандартов, а затем представить дескрипторы компетенций через

трудовые действия и соответствующие им знания и умения, как показано

ниже в последующих шагах.

Таблица 2

Соответствие компетенций ФГОС и трудовых функций

профессиональных стандартов

Номер

Формулировка трудовой

Формулировки компетенций

трудовой

функции

и их коды (из ФГОС)

функции

(из профессиональных

стандартов)

Оптовая,

розничная

Готовность решать стандартные

торговля,

отпуск

задачи

профессиональной

лекарственных препаратов

деятельности с использованием

и других товаров аптечного

информационных,

ассортимента

библиографических

ресурсов,

медико-

биологической

фармацевтической

терминологии, информационно-

коммуникационных технологий

и с учетом основных требований

информационной безопасности

(ОПК-1)

Готовность к коммуникации в

устной и письменной формах на

русском и иностранном языках

для

решения

задач

профессиональной деятельности

(ОПК-2)

Готовность к осуществлению

реализации

лекарственных

средств в соответствии с

правилами оптовой торговли,

порядком розничной продажи и

установленным

законодательством

порядком

передачи лекарственных средств

(ПК-4)

И т. д.

Второй подготовительный шаг позволяет соотнести компетенции и

трудовые действия, представленные для каждой трудовой функции в

профессиональных стандартах. Соотнесение можно провести в формате

табл. 3., где приведен пример для одной из компетенций табл. 2

Таблица 3

Компетенции и трудовые действия

Код

Формулировка

Трудовые действия

компетенции

ПК-4

Готовность

1. Фармацевтическая

осуществлению реализации

экспертиза

рецептов,

лекарственных

средств

требований,

включая

в соответствии с правилами

проверку

оформления

оптовой торговли, порядком

прописи,

способа

розничной

продажи

применения и безопасности

установленным

лекарственного препарата в

законодательством порядком

отношении лекарственной

передачи

лекарственных

формы,

дозировки,

средств

взаимодействия с другими

препаратами, указанными

в рецепте

2. Консультации

по

группам

лекарственных

препаратов и синонимам в

рамках

одного

международного

непатентованного

наименования и ценам на

них

И т. д.

…

На третьем подготовительном шаге из профессиональных стандартов

выбираются знания и умения, которые необходимо освоить для владения

трудовыми действиями, представленными в табл. 3. Эти знания и умения

соотносятся с компетенциями, поскольку они являются основой

формирования компетентных специалистов, способных к выполнению

трудовых действий. Результаты соотнесения представляют в форме табл.

4 и заполняют ее для каждой компетенции из предыдущей таблицы.

Таблица 4

Соотнесение компетенций из ФГОС со знаниями и умениями,

необходимыми для их формирования, из профессиональных

стандартов

Код

Формулировка

Номер

Необходим

компетенции

трудового

ые знания

действия

и умения

ПК-4

Готовность к

осуществлению реализации

лекарственных

средств

в соответствии с правилами

…

оптовой торговли, порядком

розничной

продажи и

установленным

законодательством

порядком

передачи

лекарственных средств

Сохранение формулировки компетенции во втором столбце создает

неразрывную связь между ФГОС и профессиональными стандартами,

помогая разработчикам заданий для аккредитации специалистов. После

выполнения подготовительных шагов можно перейти к разработке

паспортов компетенций с тем, чтобы ориентироваться на

компетентностный характер оценочных процедур и обеспечивать тем

самым возможность прогнозирования успешности профессиональной

деятельности специалистов по результатам их аккредитации.

После подготовки трех таблиц

(2,

3 и

4) можно приступить к

паспортизации компетенций. В паспорт компетенции рекомендуется

включить:

1. Общую характеристику компетенции.

Указывается вид компетенции, ее формулировка и вид

профессиональной деятельности, выполнение которой обеспечивает ее

формирование. Приводится перечень профессиональных стандартов (при

наличии) или квалификационных справочников, являющихся основой

формирования дескрипторов данной компетенции.

2. Планируемые уровни сформированности компетенции.

Раскрывается детализированное описание признаков проявления

(дескрипторов) компетенции в терминах трудовых действий специалиста,

ранжированных по трем уровням проявления: высокий, базовый,

минимальный (табл. 5). Предполагается, что одна и та же компетенция

может быть связана с различными трудовыми функциями или

действиями. В последнем столбце таблицы приводятся примеры

формулировок, адекватных различным уровням проявления

компетенции.

Таблица 5

Описание признаков проявления (дескрипторов)

компетенции

Описание дескрипторов

Уровни

Формулировка

компетенции

проявления

компетенции

на разных уровнях через

компетенции

трудовые действия

Способность критически

оценивать и свободно

Высокий уровень

применять ………………….,

компетентности

способен руководить

действиями …………………

Владеет основными

навыками применения

Базовый уровень

……………………………….,

компетентности

способен самостоятельно

выполнять…………

Способность понимать

Минимальный

основные требования

уровень

…………………., выполнять

компетентности

действия совместно с

другими участниками……

Как и компетенции, трудовые действия можно подвергать

кластеризации в тех случаях, когда их более пяти в профессиональных

стандартах.

При разработке заданий для аккредитации специалистов по паспортам

компетенций необходимо четко помнить, что главной особенностью

таких заданий является их компетентностная природа, обеспечиваемая

обращением к профессиональным действиям, а не к классической триаде:

знать, уметь, владеть. Дополнительные трудности в процесс создания

таких паспортов вносит их полидисциплинарный характер, поэтому для

их разработки необходима кооперация выпускающих кафедр

медицинских вузов.

4. ОЦЕНКА ГОТОВНОСТИ ВЫПУСКНИКОВ

ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ К ПРОФЕССИОНАЛЬНОЙ

ДЕЯТЕЛЬНОСТИ НА ОСНОВЕ ПЕДАГОГИЧЕСКИХ ИЗМЕРЕНИЙ

Необходимость обращения к педагогическим измерениям при

оценивании готовности специалистов к профессиональной деятельности

в процессе их аккредитации вызвана особенностями компетенций. Как

видно из табл.

1, уровень освоения компетенций не поддается

традиционной оценке. В силу мета-латентной природы компетенций и их

отсроченного характера проявления оказываются бесполезными

экзамены или другие традиционные контрольно-оценочные средства,

которые создаются и применяются исключительно на основе интуиции

педагога и не обладают специальными характеристиками качества,

дающими ответы на два ключевых вопроса:

«Та ли компетенция

оценивается? Можно ли предсказать по полученным оценкам

компетентности испытуемых их дальнейшие успехи в работе?». Ответы

на эти вопросы позволяет получить аппарат теории педагогических

измерений, лежащий в основе создания измерителей и обеспечивающий

высокую надежность и валидность результатов их применения.

В самом общем случае под измерением понимается процедура

приписывания чисел некоторым характеристикам объектов в

соответствии с определенными правилами, по результатам которой

могут получаться как количественные (метрическая шкала или шкала

отношений), так и качественные (номинальная или порядковая шкалы)

оценки. В высшем образовании в традиционном контроле обычно

обращаются

порядковым

шкалам

(неудовлетворительно,

удовлетворительно, хорошо и отлично) либо к номинальной шкале (зачет

- незачет, аттестован - не аттестован). Шкала отношений, в которой

существует абсолютный нуль в качестве единой точки отсчета, при

оценке испытуемых не может быть построена, а метрическая шкала

обычно применяется в тех случаях, когда при педагогических измерениях

обращаются к современной теории тестов. В эпоху развития

компетентностного подхода массовое применение нашла уровневая

шкала, сочетающая количественный и качественный уровни измерения.

Другим нововведением является обращение к термину «измеритель»,

заменившему прежний термин «тест» в силу широкого распространения

многоуровневых измерений, осуществляемых с помощью разнообразных

оценочных средств.

Результаты измерений от оценок, полученных традиционным путем,

отличают две ключевые характеристики, получившие название

«надежность» и «валидность» результатов измерений. Надежностью

называется характеристика точности результатов измерения и их

устойчивости к действию случайных факторов. Таким образом, чем

надежнее результаты измерений, тем выше их объективность и,

соответственно, меньше ошибка измерения.

Проблема повышения объективности результатов оценивания обычно

не возникает в текущем контроле, но она обретает особую актуальность

при использовании оценок для принятия административно-

управленческих решений, например, для вынесения решения об

аккредитации выпускника образовательной организации или

работающего специалиста. Поиск путей повышения надежности

результатов педагогических измерений должен опираться на анализ

причин их снижения. К числу таких наиболее часто встречающихся

причин, часть из которых неизбежна, а другая часть может быть

минимизирована в процессе измерений, можно отнести:

1. Субъективизм при оценке результатов выполнения заданий

измерителя. Отход от жесткой стандартизации форм заданий,

наблюдающийся в настоящее время в аттестации и аккредитации в связи

с появлением компетентностного подхода, приводит к росту ошибки

измерения. Включение заданий со свободно конструируемым ответом

неизбежно снижают объективность оценок испытуемых. При анализе

результатов выполнения заданий со свободно конструируемыми

ответами всегда наблюдаются различия между подходами различных

экспертов, несмотря на стандартизацию оценочных рубрик,

разрабатываемых к заданиям измерителя. Очевидным следствием этих

различий является снижение надежности результатов измерений.

2. Угадывание. Как показывают специальные исследования,

угадывание существенно снижает надежность результатов измерений,

особенно в группах испытуемых со слабой подготовкой при ответах на

наиболее трудные задания измерителя в тех случаях, когда они

рассчитаны на выбор ответов.

3. Двусмысленность формулировок заданий, логические просчеты,

наличие неработающих дистракторов в заданиях с выбором ответа

и другие нарушения технологических требований к качеству форм

заданий приводят к тому, что некорректные задания пропускают

наиболее сильные испытуемые, что в целом приводит к росту ошибки

измерений.

4. Недостаточную длину измерителя. Излишняя минимизация

длины оценочного средства приводит к снижению его надежности.

Проблема недостаточной длины измерителя является типичной при

аттестации и аккредитации специалистов или выпускников, что вполне

понятно, поскольку преимущественно используются задания, требующие

развернутых ответов испытуемых и имитирующие ситуации их

профессиональной деятельности. В отличие от заданий с выбором

ответов выполнение каждого ситуационного или компетентностного

задания требует значительного времени, поэтому их просто невозможно

включить в достаточном объеме (не менее 25) в тест.

5. Высокую

гетерогенность

содержания

измерителей,

характерную для аттестационных и аккредитационных процедур,

приводящую к тому, что каждое задание оценивает сразу несколько

переменных. По этой причине задания «работают», образно говоря, на

оценивание совокупности трудовых функций и компетенций. Поскольку

компетенции всегда формируются на основе освоения обучающимся

полидисциплинарного набора знаний и умений, оценочные средства

будут гетерогенны по своему содержанию.

6. Отсутствие

понятной

стандартной,

однозначно

интерпретируемой испытуемыми инструкции к измерителю или его

частям. Инструкции должны быть предельно стандартизованы и точны.

Любые неоднозначности, двусмысленности и отступления от требований

стандартизации в инструкции ведут к снижению надежности измерений.

7. Отсутствие стандартных оценочных рубрик к заданиям для

работы экспертов при проверке результатов выполнения заданий

испытуемыми.

Для приближенного оценивания надежности результатов измерений

можно использовать различные методы, представленные в литературе по

измерениям в образовании и реализуемые, чаще всего, с помощью

статистического пакета для социальных наук SPSS. Приемлемые оценки

надежности при использовании измерений в аккредитации или

аттестации должны быть не менее

0,84-0,86. В целом при оценке

надежности нельзя полагаться лишь на один показатель, поскольку

каждая оценка имеет свои ограничения. Для достоверной проверки

качества измерений следует учитывать несколько показателей

надежности, поэтому оценку надежности проводят несколько раз и после

того, как убеждаются в том, что оценка надежности превышает

выбранный критерий, используют результаты для принятия

аттестационных или аккредитационных решений.

Валидность

- это характеристика способности оценочного

средства служить поставленной цели измерения. Обычно постановка

целей создания измерителя носит комплексный характер, поэтому часто

стараются проверить валидность с разных позиций. Например,

измеритель для аккредитации специалистов должен служить цели отбора

аккредитованных испытуемых и прогностическим целям, так как мало

выделить лучших испытуемых в момент первичной аккредитации, нужно

также спрогнозировать успешность дальнейшей профессиональной

деятельности выпускников вуза. В целом измеритель для первичной

аккредитации должен быть валиден по содержанию (содержательная

валидность), по измеряемым переменным (конструктная валидность) и

по способности прогнозировать успехи в профессиональной

деятельности

выпускников

образовательных

учреждений

(прогностическая валидность).

Оценку валидности всегда получают путем соотнесения

(установления коррелированности) результатов измерения с внешними

критериями. В качестве таких критериев могут выступать экспертные

оценки качества содержания измерителя и его адекватности целям

измерения

(содержательная валидность), результатам по другим

оценочным процедурам

(конструктная валидность), успешности

дальнейшей работы (прогностическая валидность). Высокая корреляция

между анализируемыми результатами испытуемых и внешними

критериями подтверждает высокую валидность результатов измерений.

Основная трудность при такой валидизации носит не практический, а

методологический характер, поскольку она состоит в выборе значимого

внешнего критерия.

При оценке качества измерителей, предназначенных для аттестации и

аккредитации испытуемых, конечно, на первом плане должна находиться

содержательная валидность, которая определяется как характеристика

репрезентативности содержания измерителя по отношению к

запланированным для освоения компетенциям или трудовым функциям.

Если измеритель позволяет проверить все то, что задумано авторами в

его спецификации, он считается валидным. Представление о

содержательной валидности не следует связывать только с полнотой

отображения в измерителе оцениваемых переменных, необходимы также

правильные пропорции содержательных элементов. Конечно, во всех

случаях справедлив общий вывод - чем глубже и полнее отображение,

тем выше уверенность в содержательной валидности измерителя.

При разработке измерителей для аккредитации специалистов,

ориентированных на оценку способности выпускника выполнять свои

трудовые функции, значительное внимание должно уделяться анализу

конструктной валидности. Для этого следует использовать методы

факторного анализа и многомерного шкалирования, позволяющие

разнести результаты измерения по отдельным шкалам и соотнести их с

группами заданий измерителя. Однако эти методы не тривиальны и их

использование требует дополнительного рассмотрения, которое

предполагается привести в последующих методических рекомендациях с

примерами, содержащими анализ данных апробации оценочных средств.

Оценить прогностическую способность измерителя для первичной

аккредитации специалистов можно с помощью анализа корреляционных

связей между оценками испытуемых при аккредитации и последующими

оценками успешности профессиональной деятельности выпускников,

которые необходимо собрать через один или два года после начала

работы. В том случае, если корреляция высока, т. е. лучшие по

результатам аккредитации оказываются лучшими в работе, можно

говорить о высокой прогностической валидности оценочного средства.

В табл. 6 представлены различные виды вопросов, которые должен

ставить перед собой создатель измерителя в процессе его валидизации.

Таблица 6

Виды вопросов, задаваемых при валидизации теста

Виды

Вопрос

Способ получения

валидности

ответа

Содержательная

Соответствует ли содержание

Экспертиза и данные

валидность

заданий целям измерения?

факторного

анализа

говорят о соответствии

содержания заданий целям

измерения

Конструктная

Насколько сильно результаты

Результаты

валидность

выполнения

нового

корреляционного анализа

измерителя

связаны

данных по новому и

результатами

выполнения

признанному оценочным

признанного измерителя той

средствам показали, что

же выборкой испытуемых или

они измеряют одну и ту же

с оценками экзаменаторов?

переменную

или

переменные

Прогностическая

Может

ли

измеритель

Результаты

валидность

предсказать

успехи

или

корреляционного анализа

неудачу в последующей

результатов

измерения

работе?

показывают их тесную

связь

оценками

последующей

профессиональной

деятельности

При количественных

оценках

валидности

как

меры

коррелированности ее величина не должна быть менее 0,3. Достаточно

редко она бывает

0,5 или

0,6. Процесс валидизации измерителя

осложняется необходимостью установления меры согласованности

оценок экспертов, которых обычно бывает не менее трех человек.

Можно указать шесть основных источников повышения валидности

измерителя:

1. Подбор оптимальной трудности заданий для обеспечения

планируемого характера распределения баллов испытуемых.

2. Проведение нескольких экспертиз качества содержания

измерителя.

3. Подбор валидных заданий с высокой дискриминативностью

(способностью различать испытуемых).

4. Соответствие содержания измерителя его спецификации

(содержательному плану).

5. Четкое формулирование существенных признаков измеряемой

переменной и ее отличий от других переменных, не планируемых к

включению в данный измеритель.

6. Создание

банка

калиброванных заданий, обладающих

устойчивыми статистиками, и использование банка при композиции

измерителя.

5. МНОГОСТАДИЙНЫЕ ИЗМЕРЕНИЯ В АККРЕДИТАЦИИ

СПЕЦИАЛИСТОВ

Для повышения надежности и валидности результатов измерений при

аттестации и аккредитации персонала в последние годы стали широко

применяться многоступенчатые или, иначе говоря, многостадийные

измерения. Обычно в таких измерениях число стадий совпадает с числом

диапазонов, выделенных для описания признаков проявления трудовых

функций или компетенций, и на каждой стадии используются различные

виды оценочных средств. Например, в соответствии с рекомендациями в

табл.

5 для аккредитации специалистов предлагается выделять три

диапазона компетентности: минимальный, базовый и высокий. Поэтому в

рассматриваемой ниже модели измерителя (рис. 1) также присутствуют

три стадии измерений, соотнесенные с различными видами оценочных

средств, позволяющие обеспечить эффективное функционирование

процедур

аккредитации

соответствии

требованиями

профессиональных стандартов. При этом предполагается, что задания

обладают запланированной трудностью. А именно, они разработаны

таким образом, что нижняя часть измерителя включает наиболее легкие

задания, соотнесенные с минимальной готовностью к профессиональной

деятельности или компетентностью, средняя часть по трудности

соответствует диапазону базовой готовности или компетентности, а

верхняя часть содержит наиболее трудные задания, выполнить которые

способен только очень компетентный специалист.

В предложенной модели содержание легких заданий нижней части

ориентировано на проверку освоения знаний и умений, лежащих в основе

выполнения трудовых действий. Содержание заданий среднего и

верхнего диапазонов также ориентировано на требования

профессиональных стандартов, однако задания этих диапазонов

отличаются от заданий нижней части по цели создания и по трудности в

сторону ее увеличения. Средняя часть предназначается для оценки

сформированности базовых практических навыков, поэтому содержит

практические задания средней же трудности. Верхняя часть - это мини-

кейсы с наиболее трудными заданиями проблемного характера,

правильное выполнение которых свидетельствует о высокой

компетентности специалиста. По вертикальной оси отложены баллы

испытуемых, представленные в стобалльной шкале.

Численность заданий каждой стадии измерений нуждается в

уточнении. Для выбора оптимальной длины каждой части измерителя

необходимы сами задания, результаты их апробации на

представительной выборке испытуемых, анализ данных апробации и

выбор допустимого времени проведения аккредитационных процедур,

включающих либо исключающих перерывы между отдельными

стадиями. В качестве минимального числа заданий можно

порекомендовать разработчикам взять для первой стадии 25-30 заданий,

для второй стадии - 4 или 5 практических заданий, а для верхней части -

не менее 3-5 мини-кейсов (рис. 1).

Рис. 1. Модель аккредитационного оценочного средства для

первичной аккредитации

Для разработки оценочного средства необходимо выполнить

следующие этапы работ:

 идентификация цели измерения в виде совокупности измеряемых

переменных, установление связи ее с функциями оценивания и областью

применения его результатов;

 формирование авторского коллектива;

 обучение авторского коллектива;

 выбор модели оценочного средства (число стадий измерения и

форм оценочного средства для каждой стадии);

 разработка технического задания на создание оценочного средства;

 анализ профессиональных стандартов по соответствующему виду

профессиональной деятельности;

 кластеризация компетенций и трудовых действий, разработка

дескрипторов;

 разработка спецификаций вариантов оценочного средства;

 разработка заданий;

 разработка оценочных рубрик и подготовка рекомендаций для

экспертного анализа;

 экспертиза заданий;

 коррекция заданий;

 формирование

представительных

выборок

испытуемых,

стратифицированных в соответствии с основными факторами;

 разработка инструкций для испытуемых и для организаторов,

проводящих апробацию измерителя;

 апробация заданий на выборке испытуемых;

 статистическая обработка результатов апробации;

 интерпретация результатов обработки и выбор путей коррекции

измерителя;

 повторная коррекция заданий провести чистку измерителя и

добавить новые задания для улучшения его характеристик (оптимизация

трудности заданий, повышение их валидности, улучшение

системообразующих свойств заданий, повышения надежности и

валидности результатов измерений);

 повторная апробация заданий (неоднократно, если есть в этом

потребность);

 оценка надежности и валидности (содержательной, конструктной,

прогностической) результатов применения измерителя;

 установление пороговых баллов для принятия аккредитационных

решений.

Возникает своеобразный цикл, так как после чистки и коррекции

измерителя разработчику приходится возвращаться к этапу сбора

эмпирических данных. Как правило, измерители для экзаменов высокой

значимости, используемые при принятии ответственных управленческих

решений, например, при аккредитации специалистов, проходят не менее

3-4 апробаций, результаты которых позволяют получить устойчивую

шкалу баллов.

Конечно, основную трудность в разработке измерителей для

аккредитации специалистов представляют этапы выбора переменных

измерения - трудовых функций, планирования содержания измерителя и

разработки качественных заданий. Если эти этапы не удались, то вся

остальная работа будет просто бесполезной. Поэтому планирование

содержания оценочного средства на основе спецификации подробно

рассматривается в следующем разделе.

Крайне важен этап обработки эмпирических результатов апробации,

для выполнения которого необходимы специальные программные

средства для профессиональной разработки тестов (Iteman, ConQuest,

Testan и др).

6. ВИДЫ ИЗМЕРИТЕЛЕЙ ДЛЯ АККРЕДИТАЦИИ

Для проведения аккредитации специалистов можно использовать

тесты,

практические

задания,

мини-кейсы,

анкеты

стандартизированные интервью. Все виды перечисленных оценочных

средств либо их сочетание в целом могут быть названы измерителями в

том случае, когда по своим характеристикам они отвечают требованиям

теории педагогических измерений.

Тесты включают задания разных форм, которые будут подробно

рассмотрены в следующем втором выпуске методических рекомендаций.

Результаты выполнения заданий с выбором ответов, как правило,

оцениваются дихотомически (1 - в случае правильного ответа или 0 - во

всех остальных случаях). Для заданий с конструируемыми ответами

используются

политомические оценки,

которые приводятся

в стандартизированных оценочных рубриках, определяющих возможные

степени полноты и правильности ответов испытуемых. Результаты

выполнения практических заданий, предполагающих решение

профессиональных задач в реальной или имитационной среде,

оценивают эксперты в соответствии со стандартизированными

правилами, обычно в политомической шкале.

В отличие от авторских заданий, каждое тестовое задание должно

иметь определенные статистические оценки его системообразующих

характеристик, удовлетворяющие требованиям теории педагогических

измерений. Обычно для получения тестового задания проводят не менее

двух-трех его апробаций, по результатам которых выполняется

коррекция содержания, формы, трудности задания, его валидности и

статистических свойств. Анализ и коррекция характеристик тестовых

заданий должны быть основаны на дескриптивной

(описательной)

статистике, дополняемой методами корреляционного и факторного

анализа. Работа по коррекции теста непроста и занимает значительный

период времени, обычно

- не менее двух или более лет. Она

консолидирует систему тестовых заданий

- постепенно нарастает

внутренняя связь и целостность заданий, совершается переход от

совокупности авторских заданий к профессионально разработанному

тесту.

Еще один вид оценочных средств, перспективный для аккредитации

специалистов, называется кейс-измерителями. Они включают

специальные проблемные задачи, в которых испытуемому предлагают

осмыслить реальную ситуацию профессиональной

деятельности,

отражающую практическую проблему и актуализирующую

определенный комплекс профессиональных навыков. Отличительной

особенностью такой проблемы является отсутствие однозначных

решений, побуждающее испытуемого искать пути оптимизации

подходов, модифицировать условия, анализировать методы решений и

аргументировать свой выбор метода. Таким образом, благодаря наличию

нескольких правильных ответов, которые могут и не соперничать по

степени истинности, процесс оценивания сразу отклоняется от

традиционных заданий с выбором ответов, где испытуемым

навязываются готовые истины и решения.

Кейс-измерители делают довольно краткими (описание проблемной

ситуации занимает

0,5 или, в крайнем случае, одну страницу). Это

связано с тем, что в каждый измеритель стараются поместить не менее 4-

5 кейсов, чтобы охватить более широкий спектр профессиональных

проблем. При разработке кейс-измерителей в электронном или текстовом

виде формируется модель, имитирующая профессиональную ситуацию, а

затем к ней подбирается 3-5 вопросов, каждый из которых может иметь

как один оптимальный ответ, так и несколько ответов. Работа

испытуемого над кейсом в режиме аккредитации может осуществляться с

привлечением различного рода информации, Интернета и литературных

источников для обоснования испытуемым собственных подходов

к выбору оптимального решения.

На первый взгляд, технология разработки кейс-измерителей довольно

проста. Однако эта видимая простота оборачивается значительными

трудностями, когда кейс-измерители используются для аккредитации

специалистов. В этом случае важно не просто подобрать ситуационные

задания, адекватные задачам будущей профессиональной деятельности,

но и обеспечить надежность и сопоставимость результатов

педагогических измерений. Следовательно, при разработке кейс-

измерителей для аккредитации необходимо статистическое обоснование

качества измерений. Поскольку речь идет о неоднозначных решениях,

оценивание результатов выполнения заданий приходится проводить

экспертными методами и разрабатывать специальные рекомендации для

работы экспертов.

Эти рекомендации не носят столь

стандартизированный характер, как описание оценочных рубрик для

тестовых заданий с конструируемым ответом. Однако они четко

ориентируют экспертов на выбор числа баллов и, по возможности,

предусматривают все планируемые ответы испытуемых, в том числе

частично правильные.

Кейс-задание №1

Проблемная ситуация. Мужчина,

57 лет, обратился к врачу с

жалобами на нестабильное АД (колебания от 120/80 до 170/105 мм

рт. ст.) в течение полугода, сопровождающееся головными болями.

Из анамнеза известно, что пациент страдает АГ около 6 лет, однако,

несмотря на рекомендации врачей, постоянной антигипертензивной

терапии не принимал. Семейный анамнез: мать - 79 лет, страдает АГ,

ИБС, перенесла ИМ; отец - умер в 50 лет, ИМ.

При осмотре: состояние относительно удовлетворительное. ИМТ - 36

кг/м². Кожные покровы чистые, обычной окраски. В легких дыхание

везикулярное, хрипов нет. Тоны сердца приглушены, акцент II тона над

проекцией аорты, ритмичные. ЧСС - 70 уд. в мин, АД - 160/100 мм

рт. ст. Живот мягкий, при пальпации безболезненный во всех отделах.

Печень и селезенка не увеличены. Дизурий нет. Симптом поколачивания

по поясничной области отрицательный.

В анализах: общий холестерин - 6,9 ммоль/л, ТГ - 2,7 ммоль/л, ХС-

ЛПВП - 1,0 ммоль/л; глюкоза натощак - 6,2 ммоль/л, через 2 часа после

приема 75 г глюкозы - 6,4 ммоль/л; креатинин - 1,5 мг/дл, СКФ (по

формуле Кокрофта-Голта) - 70 мл/мин; МАУ - 100 мг/сутки.

Вопросы

Выберите правильный ответ

Вопрос 1. Наиболее вероятный диагноз?

А) Артериальная гипертония II стадии, II степени, риск ССО

Метаболический синдром. Хроническая болезнь почек II стадии.

Б) Артериальная гипертония II стадии, III степени, риск ССО

Метаболический синдром. Хроническая болезнь почек III стадии.

В) Артериальная гипертония II стадии, III степени, риск ССО

Метаболический синдром. Хроническая болезнь почек II стадии.

Г) Артериальная гипертония II стадии, II степени, риск ССО

Метаболический синдром. Хроническая болезнь почек III стадии.

Д) Артериальная гипертония II стадии, II степени, риск ССО

Метаболический синдром. Хроническая болезнь почек IV стадии.

Е) Артериальная гипертония II стадии, III степени, риск ССО

Метаболический синдром. Хроническая болезнь почек IV стадии.

Дайте обоснование своего выбора диагноза.

Вопрос

2. Препарат из какой группы антигипертензивных

лекарственных средств вы бы рекомендовали пациенту в составе

комбинированной терапии и почему?

Дополнительные условия к проблемной ситуации для вопросов

3 и 4:

Через

6 месяцев регулярной антигипертензивной терапии

(комбинация амлодипина в дозе

5 мг/сутки и препарата из группы

антигипертензивных лекарственных средств, выбранной в прошлом

вопросе) + розувостатин 20 мг/сутки + соблюдение диеты в состоянии

пациента произошли следующие изменения: АД колеблется в пределах

120-130/70-80 мм рт. ст., глюкоза натощак

5,4 ммоль/л, общий

холестерин - 5,0 ммоль/л, ТГ - 1,5 ммоль/л, ХС-ЛПВП - 1,7 ммоль/л,

креатинин - 1,1 мг/дл, СКФ (по формуле Кокрофта-Голта) = 64 мл/мин;

МАУ - 10 мг/сутки.

Выберите правильный ответ

Вопрос 3. Какова должна быть дальнейшая лечебная тактика?

А) Добавить к терапии препарат из группы тиазидоподобных

диуретиков + динамическое наблюдение.

Б) Оставить антигипертензивную терапию без изменений

динамическое наблюдение.

В) Увеличить дозировку используемых антигипертензивных

препаратов + динамическое наблюдение.

Г) Добавить к терапии препарат из группы бета-адреноблокаторов +

динамическое наблюдение.

Сформулируйте обоснование своего выбора тактики.

Вопрос

4. Предложите свой вариант изменений в состоянии

пациента под воздействием выбранного лечения и лечебной тактики.

Обоснуйте преимущества предложенной вами лечебной тактики.

В общем случае в структуре кейса-измерителя можно выделить

следующие части:

1.Пояснительную записку, включающую цели создания задания кейса и

перечень проверяемых компетенций или трудовых функций.

2. Характеристики

контингента

испытуемых, для которых

предназначено задание.

3. Текст задания кейса, который включает постановку проблемы и

возможные приложения.

4. Вопросы, требующие решения проблем по тексту задания.

5. Оценочные рубрики к заданию, включающие оценочные градации ко

всем возможным решениям.

6. Методические рекомендации для экспертов по оценке результатов

проверки ответов на задание.

7. Дополнительные материалы для работы с заданием кейса (если они

есть).

Для работы авторов рекомендуется использовать макет кейс-

измерителя, приведенный в табл. 7.

Таблица 7

МАКЕТ КЕЙС-ИЗМЕРИТЕЛЯ

Структура

1. Инструкция.

2. Основная часть - текст кейса.

3. Вопросы к основной части (рекомендуемое число: не менее 3 и

не более 5).

4. Оценочные рубрики для работы экспертов по проверке заданий

Требования к объему и оформлению

Объём текста по описанию проблемной ситуации должен быть не

более 1 с., желательно 0,5 с., через 1,5 интервал.

Все поля - 2 см, выравнивание по ширине страницы. Страница

формата А4, в редакторе Word, шрифт Times New Roman, размер

шрифта - 12.

Инструкция пишется ПРОПИСНЫМИ БУКВАМИ ЖИРНЫМ

ШРИФТОМ.

Текст задания - без курсива, строчными буквами, выравнивание

по центру.

Оценочные рубрики приводятся в форме таблицы для каждого

вопроса. Число оценочных рубрик - не более 4 или 5. Например - 0, 1,

3. Таблица содержит 2 колонки. Слева - число баллов, справа -

описание требований к ответу испытуемого, соответствующее этому

числу баллов

Процесс

применения

разработанного

кейс-измерителя

валидизированной шкалой при аккредитации можно разбить на

следующие этапы:

 ознакомление испытуемых с текстом проблемы и материалов

кейса;

 анализ ситуаций кейса; выделение основной проблемы и

контекстных факторов, влияющих на правильность решений в условиях

причинно-следственной связи;

 организация собеседования (если оно проводится) с испытуемым

по ситуациям кейса, выбранным подходам к решению проблем и поиску

оптимальных решений, презентации результатов дискуссий;

 анализ последствий принятия того или иного решения;

 экспертное оценивание ответов испытуемых по рубрикам к

вопросам и построение шкал или шкалы результатов по кейсу;

 интерпретация результатов оценивания и их сообщение

испытуемым.

К числу основных требований, предъявляемых к качеству кейсов,

относятся:

 адекватность поставленной цели создания;

 оптимальность по уровню трудности для контингента испытуемых;

 ориентация на проблемы и ситуации профессиональной

деятельности;

 аутентичность профессиональных проблем, затронутых в кейсе;

 значимость включаемых ситуаций и проблем;

 наличие ряда контекстных факторов, обеспечивающих

многозначность возможных правильных решений.

В силу неизбежного существования определённого количества

информации, которая не будет известна всем испытуемым (особенности

медицинских научных школ, названия лекарств и т. д.), в задания кейса

необходимо внести ровно столько пояснений, сколько нужно для

понимания проблемы. Вместе с тем, факты в заданиях должны носить

правдоподобный, а иногда и достоверный характер, поскольку само их

существование не должно приводить к сомнениям и обсуждениям.

В основу таких заданий закладываются отдельные эпизоды из опыта

профессиональной деятельности медицинских учреждений или иных

структур, но сознательно скрываются их названия или контекст событий,

который может указывать на реальных участников описываемых проблем.

Обычно в задания кейсов включают довольно большое количество

контекстной информации с тем, чтобы порождать многозначность

подходов к получению решений. Сознательное включение множества

контекстных сведений не противоречит требованию минимизации,

поскольку в хорошем кейсе нет ничего лишнего, любая деталь

методически продумана и предназначена для определенного пути

получения одного из решений. Материал кейса всегда структурирован, а

контекстные факторы и последовательность их включения с целью

пояснения проблемы заранее продуманы автором, при этом факты и

события зачастую умышленно подаются так, чтобы причинно-

следственные связи между ними не лежали на поверхности.

Испытуемому нужно приложить усилия, чтобы раскрыть связи между

событиями, явлениями, процессами и решить проблему.

Анкеты и интервью предоставляют дополнительную информацию об

испытуемых и их уровне подготовленности к выполнению

профессиональной деятельности. Анкеты относятся к инструментарию,

позволяющему собрать надежные и валидные данные об измеряемых

переменных в тех случаях, когда процесс создания анкет проходит

определенные научно обоснованные стадии. Вначале осуществляется

формулирование проверяемой и нулевой гипотез, и решаются проблемы

учета всех сопутствующих факторов, влияющих на результаты

анкетирования. Затем разрабатывается план исследований, включающих

проведение анкетирования, обработку данных, их анализ и

интерпретацию в соответствии с планом эксперимента. Разработка

структуры анкеты и ее вопросов осуществляется в строгом соответствии

с научно обоснованными требованиями, которые приводятся в

многочисленной литературе по проблемам психодиагностики и

измерений в социальных науках. Помимо содержания и формы

представления вопросов эти требования охватывают также внешний вид

анкет, систему кодировки данных, их анализа и интерпретации.

Интервью можно рассматривать как научно обоснованный метод

сбора дополнительных данных о результатах применения измерителей,

если сосредоточить вопросы к испытуемому на его ответах на задания

измерителя. Специалисты различают континуум видов интервью,

постепенно меняющихся от неструктурированного или открытого

интервью к высоко структурированному и закрытому интервью,

требующему от респондентов однозначных ответов в рамках

фиксированных форматов.

7. ПЛАНИРОВАНИЕ СОДЕРЖАНИЯ ОЦЕНОЧНЫХ СРЕДСТВ

Вне зависимости от выбора вида оценочного средства очень важный

шаг в его разработке связан с планированием содержания заданий.

Процесс планирования содержания выполняется с помощью

спецификации измерителя. Спецификация оценочного средства может

иметь форму таблицы, содержащей примерную раскладку процентного

соотношения заданий, установленного в соответствии с важностью и

трудоемкостью трудовых функций или трудовых действий. Раскладку

числа заданий начинают с его априорного выбора при планировании

содержания измерителя, которое затем неоднократно меняют в сторону

увеличения или уменьшения в процессе работы над измерителем и

совершенствованием его характеристик.

Для многостадийных измерений спецификация может содержать

отдельные таблицы для каждой части оценочного средства. Помимо

таблиц в спецификацию принято включать информацию:

 о цели создания оценочного средства;

 о регламенте процедуры аккредитации;

 об общей структуре оценочного средства;

 о целевых показателях, на которые ориентировано содержание

заданий оценочного средства и т. д.

Ниже приводится пример спецификации трехстадийного оценочного

средства, предназначенного для первичной аккредитации выпускников

фармацевтов.

СПЕЦИФИКАЦИЯ

ОЦЕНОЧНОГО СРЕДСТВА ДЛЯ ПЕРВИЧНОЙ

АККРЕДИТАЦИИ ВЫПУСКНИКОВ ПО СПЕЦИАЛЬНОСТИ

33.05.01 «ФАРМАЦИЯª

ЦЕЛЬ СОЗДАНИЯ ОЦЕНОЧНОГО СРЕДСТВА:

выявление соответствия уровня подготовки выпускников по

специальности

33.05.01

«Фармация» требованиям профессионального

стандарта «Провизор».

ОПИСАНИЕ ОБЩЕЙ СТРУКТУРЫ ОЦЕНОЧНОГО СРЕДСТВА

I этап. Тестирование

- для оценки сформированности знаний и

умений, необходимых для выполнения трудовых функций

(профессиональные

стандарты)

и освоения

профессиональных

компетенций (ФГОС).

II этап. Оценка практических навыков (умений) в симулированных

условиях

- для определения владения выпускниками практическими

навыками профессиональной деятельности в соответствии с

требованиями профессионального стандарта.

III этап. Решение ситуационных задач

- для оценки освоения

выпускниками трудовых функций профессионального стандарта.

РЕГЛАМЕНТ ПРОЦЕДУРЫ АККРЕДИТАЦИИ

Время

Число

Название этапа

Вид заданий

выполнения,

заданий

мин

Задания с выбором

Тестирование

ответа

Оценка практических

навыков (умений) в

Практические

симулированных

задания

условиях

Решение ситуационных

Мини-кейсы

задач

ЦЕЛЕВЫЕ ПОКАЗАТЕЛИ, НА КОТОРЫЕ ОРИЕНТИРОВАНО СОДЕРЖАНИЕ

ЗАДАНИЙ ОЦЕНОЧНОГО СРЕДСТВА

1. Оптовая,

2. Проведение

3. Обеспечение

4.Информирование

5. Изготовление

розничная

приемочного

хранения

населения и

лекарственных

торговля, отпуск

контроля

лекарственных

медицинских

препаратов в

лекарственных

поступающих

средств и других

работников о

условиях

Трудовая

препаратов и

в организацию

товаров аптечного

лекарственных

аптечных

функция

других товаров

лекарственных

ассортимента

препаратах и других

организаций

аптечного

средств и других

товарах аптечного

ассортимента

товаров аптечного

ассортимента

Код

A/01.7

A/02.7

A/03.7

A/04.7

A/05.7

Трудовые

Фармацевтическая

Проведение

Сортировка

Оказание

Подготовка к

действия

экспертиза

приемочного

поступающих

консультативной

изготовлению

рецептов,

контроля

лекарственных

помощи по правилам

лекарственных

требований,

поступающих

средств, иных

и режиму

препаратов по

включая проверку

лекарственных

товаров аптечного

вания

рецептам и

оформления

средств и других

ассортимента

венных

требованиям:

прописи, способа

товаров аптечного

с учетом их физико-

атов, их

выполнение

применения

ассортимента и

химических

ию в домашних

необходимых

и безопасности

проверки

свойств, требований

ях.

расчетов;

подготовка

лекарственного

сопроводительных

к условиям, режиму

ие

рабочего места,

препарата

документов

хранения особых

консультативной

оборудования и

в отношении

в установленном

групп

помощи по правилам

лекарственных

лекарственной

порядке.

лекарственных

эксплуатации

средств, выбор и

формы, дозировки,

средств.

медицинских изделий

взаимодействия

Изъятие из

Обеспечение,

в домашних условиях.

подготовка

с другими

обращения

контроль

Оказание

вспомогательных

препаратами,

лекарственных

соблюдения

информационно-

веществ,

указанными

средств и товаров

режимов и условий

консультационной

рациональной

в рецепте.

аптечного

хранения,

помощи при выборе

упаковки.

Выбор

Консультации

ассортимента,

необходимых для

безрецептурных

оптимального

по группам

пришедших

сохранения

лекарственных

технологического

лекарственных

в негодность;

качества,

препаратов и других

процесса и

препаратов и

с истекшим сроком

эффективности,

товаров аптечного

подготовка

синонимам в

годности,

безопасности

ассортимента.

необходимого

рамках одного

фальсифицирован-

лекарственных

Оказание

технологического

международного

ной,

средств и других

консультативной

оборудования

непатентованного

контрафактной

товаров аптечного

помощи по вопросам

для изготовления

наименования

и недоброкачествен

ассортимента, их

применения и

лекарственных

и ценам на них.

ной продукции.

физической

совместимости

препаратов.

Розничная

Регистрация

сохранности.

лекарственных

Изготовление

продажа, отпуск

результатов

Изъятие

препаратов, их

лекарственных

приемочного

лекарственных

взаимодействиям, в том

препаратов

контроля

средств и других

числе с пищей.

по рецептам и без

в соответствии

поступающих

товаров аптечного

И мирование

рецепта врача,

с правилами

лекарственных

ассортимента,

вр

о новых

с консультацией

изготовления и

средств и других

пришедших

со

енных

по способу

с учетом всех

товаров аптечного

в негодность,

ле

венных

применения,

стадий

ассортимента

с истекшим сроком

пр

атах, синонимах

противопоказаниям,

технологичес-

побочным

в установленном

годности,

гах,

кого процесса,

действиям,

порядке.

фальсифицированно

о возможных побочных

включая контроль

взаимодействию

Предметно-

й, контрафактной,

действиях

качества на

с пищей

количественный

недоброкачественной

лекарственных

стадиях

и другими

учет

продукции.

препаратов, их

технологического

группами

лекарственных

Начисление

взаимодействиях

процесса.

лекарственных

средств.

естественной

препаратов и

убыли при хранении

Осуществление

других товаров

лекарственных

упаковки и

аптечного

средств.

маркировки /

ассортимента.

Ведение предметно-

оформления

Таксировка

количественного уч

изготовленных

рецептов

ета определенных

лекарственных

и требований.

групп

препаратов.

Регистрация

лекарственных

Ведение

рецептов

средств.

регистрации

и требований

Ведение отчетной

данных об

в установленном

порядке.

документации в

изготовлении

Контроль при

установленном

лекарственных

отпуске

порядке

препаратов

лекарственной

(заполнение

формы

паспорта

(соответствие

письменного

наименования

контроля

рецепту /

в случае

требованию,

использования в

дозировки

производстве

наркотических

лекарственных

средств,

психотропных,

находящихся на

ядовитых

и сильнодействую

предметно-

щих веществ

количествен-

возрасту пациента,

ном учете,

целостности

оформление

упаковки,

обратной

правильности

стороны

маркировки).

рецепта).

Принятие решения

о замене

Ведение

выписанного

предметно-

лекарственного

количественного

препарата на

учета

синонимичные

определенных

или аналогичные

групп

препараты

лекарственных

в установленном

порядке.

средств и других

Внутренний

веществ,

контроль за

подлежащих

соблюдением

такому учету

порядка отпуска

лекарственных

препаратов

и товаров

аптечного

ассортимента.

Делопроизводство

по ведению

кассовых,

организационно-

распорядительных

, отчетных

документов.

Оптовая продажа

лекарственных

средств и товаров

аптечного

ассортимента.

Предпродажная

подготовка,

организация

и проведение

СТРУКТУРА ПЕРВОЙ ЧАСТИ ОЦЕНОЧНОГО СРЕДСТВА

Число заданий для оценки освоения знаний и умений, необходимых

при выполнении трудовых функций профессионального стандарта

1.Оптовая,

2. Проведение

3. Обеспечение

4. Информирова

5. Изготовление

розничная

приемочного

хранения

ние населения

лекарственных

торговля,

контроля

лекарственных

и медицинских

препаратов

отпуск

поступающих

средств

работников о

в условиях

Дисциплина

лекарственных

в организацию

и других

лекарственных

аптечных

препаратов

лекарственных

товаров

препаратах и

организаций

и других

средств

аптечного

других товарах

товаров

и других

ассортимента

аптечного

товаров

ассортимента

аптечного

ассортимента

Код

A/01.7

A/02.7

A/03.7

A/04.7

A/05.7

1. Фармакология

2. Фармтехнология

3. Управление

и экономика

фармации

4. Фармацевтическая

химия

5. Фармакогнозия

6. Биотехнология

Итого

СТРУКТУРА ВТОРОЙ ЧАСТИ ОЦЕНОЧНОГО СРЕДСТВА

Число

Проверяемые укрупненные практические навыки

заданий

Сердечно-легочная реанимация

Прием, учет и отпуск лекарственных

препаратов

Фармацевтическое консультирование

пациента, замена препарата

Технология лекарственных форм

Фармацевтический и фармакогностический

анализ

СТРУКТУРА ТРЕТЬЕЙ ЧАСТИ ОЦЕНОЧНОГО СРЕДСТВА

Проверяемые трудовые

Номер задания

функции

Ситуационная задача (мини-кейс) 1

1, 2 и 4

Ситуационная задача (мини-кейс) 2

3 и 4

Ситуационная задача (мини-кейс) 3

1, 4 и 5

В целом структура спецификации измерителя в развернутой форме

может включать:

 цель создания (для каждой части измерителя, если есть отличия),

 модель измерителя,

 перечень нормативных документов

(для каждой части

измерителя, если есть отличия),

 описание общей структуры измерителя и временных интервалов

между его частями (если они предусмотрены),

 число заданий различной формы и правила оценивания

(для каждой формы заданий измерителя),

 число параллельных вариантов измерителя,

рекомендуемое время выполнения (для каждой части измерителя),

 соотношение заданий по различных компетенциям, трудовым

функциям с их перечнями (для каждой части) и по трудовым действиям,

 рекомендации по периоду апробации,

 рекомендуемый порядок расположения заданий.

Спецификация очень важна для работы авторов заданий, экспертизы

качества содержания измерителя и создания параллельных вариантов. В

последнем случае в ней закрепляется структура содержания,

обязательная для всех вариантов измерителя.

Естественно, что в процессе работы над измерителем первоначальная

раскладка заданий может претерпевать некоторые изменения. Это

объясняется тем, что не все задания окажутся удачными и уместными в

той мере, как это считается на этапе планирования содержания. Поэтому

с одной частью заданий разработчику приходится расстаться после

экспертизы содержания, с другой - в процессе углубленного анализа,

проводимого по результатам статистической обработки эмпирических

результатов измерения. В связи с этим, после коррекции измерителя

необходима доработка спецификации для приведения ее в соответствие с

окончательными пропорциями содержания.

Следование общим принципам отбора содержания аккредитационных

оценочных средств, приведенным ниже, способствует росту

содержательной валидности измерителей. Первый принцип

репрезентативности

- регламентирует процедуру отбора содержания

таким образом, чтобы обеспечить оптимальную полноту и правильность

пропорций

содержания

измерителя.

Полнота

достигается

представительным

отображением в содержании требований

профессиональных стандартов.

Второй принцип - значимости - предписывает включать в измеритель

задания, проверяющие владение специалистами наиболее значимыми

трудовыми действиями, без которых невозможна успешная

профессиональная деятельность.

Третий принцип

- системности

- предполагает подбор заданий,

содержание которых связано между собой определенной иерархией и

общей структурой модели деятельности специалиста.

Оценка качества содержания заданий должна проводиться по

определенной методике независимыми экспертами, не участвовавшими в

разработке измерителя. Как правило, число экспертов составляет не

менее трех человек по каждому измерителю. Не менее важно провести

экспертизу оценочных рубрик к заданиям, которые имеют форму

с развернутым ответом. При экспертизе заданий и рубрик следует

опираться на описания дескрипторов трудовых функций и компетенций.

Экспертиза качества содержания измерителя и оценочных рубрик,

несомненно, довольно субъективна, несмотря на все усилия

руководителей экспертиз получить независимые суждения как можно

большего числа экспертов и устраивать их встречи по обсуждению своих

позиций. Поэтому экспертиза является только первым шагом в работе по

совершенствованию содержания измерителя. Однако этот первый шаг

необходим, поскольку опыт многочисленных служб тестирования

говорит о том, что статистические оценки качества содержания заданий,

полученные в результате обработки данных его апробации, всегда

показывают лучшие характеристики, если предварительно работали

эксперты. В целом, экспертиза качества содержания измерителя

существенно способствует повышению его содержательной и

конструктной валидности.

ЗАКЛЮЧЕНИЕ

1. Оценивание уровня освоения компетенций и владения трудовыми

функциями в процессе аккредитации специалистов обеспечивает

необходимые и достаточные условия их компетентности. Поэтому при

оценивании специалистов с целью определения или подтверждения их

готовности к осуществлению профессиональной деятельности

необходимо учитывать требования и профессиональных, и

образовательных стандартов.

2. Для оценивания готовности специалистов к осуществлению

профессиональной деятельности необходимо обращение к аппарату

теории педагогических измерений, обеспечивающей надежные и

валидные оценки.

3. Для повышения надежности и валидности результатов измерений

при аттестации и аккредитации специалистов рекомендуется

использование многостадийных измерений, позволяющих сочетать

различные виды измерителей для отдельных стадий.

4. При разработке измерителей следует осуществлять процесс

планирования их содержания с помощью спецификации, которая может

иметь как краткую, так и развернутую форму. Для многостадийных

измерений спецификация может содержать отдельные таблицы для

каждой части оценочного средства.

СПИСОК ЛИТЕРАТУРЫ

1. Звонников В. И. Оценка качества результатов обучения при

аттестации

(компетентностный подход)

В. И. Звонников,

М. Б. Челышкова. - М. : Логос, 2013.

2. Звонников В. И. Современные средства оценивания результатов

обучения : учеб. пособие / В. И. Звонников, М. Б. Челышкова. - М. :

Акад., 2014.

3. Крокер Л. Введение в классическую и современную теорию тестов :

[пер. с англ.] / Л. Крокер, Д. Алгина; под общ. ред. В. И. Звонникова,

М. Б. Челышковой. - М. : Логос, 2010.

4. Олейникова О. Н. Профессиональные стандарты: принцип

формирования, назначение и структура

метод. пособие

О. Н. Олейникова, А. А. Муравьева. - М. : АНО Центр ИРПО, 2011.

5. Об утверждении Порядка организации и осуществления

образовательной деятельности по образовательным программам высшего

образования

- программам бакалавриата, программам специалитета,

программам магистратуры : Приказ Министерства образования и науки

Российской Федерации от 19 декабря 2013 г. № 1367 // Минобрнауки РФ.

6. Defending Standardized Testing. Ed. by R. Phelps. Lawrence Erlbaum

Associates Publishers, London, 2005.

ВВЕДЕНИЕ КО ВТОРОМУ ВЫПУСКУ

Второй выпуск методических рекомендаций посвящен технологии

написания заданий для тестов и мини-кейсов. В выпуске

рассматриваются требования к различным формам заданий, выполнение

которых позволяет существенно повысить точность и валидность

результатов измерений.

Помимо требований к самим заданиям в выпуске представлены

правила разработки оценочных рубрик, обретающих особую

актуальность в связи с расширением использования заданий с

развернутым ответом. При оценивании уровня освоения практико-

ориентированных

знаний

умений,

представленных

в профессиональных стандартах, а также уровня освоения компетенций,

задания с выбором ответов оказываются практически бесполезны.

Поэтому приходится обращаться к ситуациям свободного

конструирования ответов испытуемыми, предполагающим участие

экспертов в проверке ответов. Наличие четко сформулированных рубрик

позволяет предельно стандартизовать проверку развернутых ответов, тем

самым повысив сопоставимость и объективность оценок экспертов.

Все требования и рекомендации в выпуске сопровождаются

многочисленными примерами заданий, разработанных авторами

медицинских вузов России. Особое внимание уделяется типичным

ошибкам разработчиков заданий. Ошибки также иллюстрируются

примерами.

В конце методических рекомендаций приводится список

дополнительной литературы как отечественных, так и зарубежных

авторов. Литература из этого списка позволит авторам заданий

ознакомиться более подробно с начальным этапом технологии создания

оценочных средств.

1. ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ, ОБЩАЯ

КЛАССИФИКАЦИЯ

По наиболее часто встречающейся в отечественной и зарубежной

литературе классификации заданий выделяют:

1) задания с выбором, в которых испытуемые выбирают правильный

ответ из данного набора ответов;

2) задания с конструируемым ответом (кратким регламентированным

или развернутым в произвольной форме), требующие при выполнении от

испытуемого самостоятельного получения ответов;

3) задания на установление соответствия, выполнение которых

связано с выявлением соответствия между элементами двух множеств;

4) задания на установление правильной последовательности,

в которых испытуемому требуется указать порядок элементов, действий

или процессов, перечисленных в условии.

Предложенные четыре формы заданий являются традиционными для

педагогических измерений, но в наши дни они претерпевают

многочисленные изменения, связанные с сочетанием отдельных

элементов основных форм. Однако детальное обсуждение инноваций

в формах заданий не входит в цели написания кратких методических

рекомендаций, поэтому все обсуждение будет вестись вокруг четырех

классических форм.

Эти же формы могут использоваться не только в тестах, но и в мини-

кейсах, поэтому в дальнейшем тексте будет встречаться словосочетание

«задания измерителя». Однако применение заданий с выбором ответов,

которыми нередко сопровождают формулировку условия мини-кейса с

целью большей стандартизации результатов их выполнения

испытуемыми, просто недопустимо. Конечно, объективность результатов

измерения повышается благодаря такому приему, поскольку при

проверке отпадает необходимость в экспертах, но, вместе с тем,

практически сводятся к нулю все достоинства мини-кейса. Исчезает

ситуация творчества и возможность модификации граничных условий

при конструировании испытуемыми ответов, словом, все то, что

позволяет оценить компетентность специалиста и способствует

прогнозированию успешности его будущей профессиональной

деятельности.

Вне зависимости от формы задания в измерителе должны подчиняться

общим требованиям:

 каждое задание имеет свой порядковый номер, который может

изменяться после статистической оценки трудности задания и выбора

стратегии предъявления заданий;

 каждое задание имеет метку, которая присваивается заданию

в момент его создания и остается неизменной при любой коррекции

измерителя;

 каждое задание с выбором имеет эталон правильного ответа;

задания с развернутым конструируемым ответом сопровождаются

рекомендуемым ответом, обладающим желательной полнотой;

 в задании все элементы располагаются на четко определенных

местах, фиксированных в рамках выбранной формы;

 для заданий разрабатывается стандартная инструкция по

выполнению, которая не меняется в рамках каждой формы и предваряет

формулировку заданий в измерителе;

 для каждого задания разрабатывается правило выставления

дихотомической или политомической оценки, общее для всех заданий

одной формы и сопровождающееся инструкцией по проверке со

стандартизированными процедурами подсчета сырых

(первичных)

баллов испытуемого.

Процесс измерений предельно стандартизируется, если:

 ни одному испытуемому не дается никаких преимуществ перед

другими;

 заранее разработанная система подсчета баллов применяется ко

всем ответам испытуемых без исключения;

 в измеритель включены задания одной формы либо разных форм

с регламентированными весовыми коэффициентами, значения которых

получены статистическим путем на основе регрессионного анализа;

 оценивание различных групп испытуемых проводится

в одинаковое время, в сходных условиях;

 группа испытуемых выровнена по мотивации;

 все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки

и других нарушений, поэтому обычно стараются создать

5-7

параллельных по содержанию и трудности вариантов одного измерителя,

которые основаны на одной и той же спецификации. В целом выбор

формы заданий и числа вариантов измерителя зависят от содержания

контролируемого содержания, целей контроля, требуемого уровня

надежности результатов измерений. В частности, при аттестации или

аккредитации нередко стараются включить больше заданий с выбором

ответа, поскольку они в силу высокой технологичности за счет

автоматизации процедур проверки позволяют увеличить объем

содержания, охваченный при измерениях, что способствует росту

надежности и содержательной валидности результатов педагогических

измерений.

Больше всего затруднений у авторов вызывает разработка

компетентностно-ориентированных заданий, которые, в основном,

имеют форму заданий с развернутыми ответами. Причины таких

затруднений вызваны новизной самой задачи, неумением авторов

формулировать задания с развернутым ответом и оценочные рубрики к

ним, а также недостаточным знанием сферы профессиональной

деятельности специалистов. Действительно, разработка таких заданий -

процесс новый и не ординарный, требующий от их авторов и знаний, и

опыта, и творческого отношения к работе по написанию заданий.

Проблема здесь видится в том, что в идеале содержание

компетентностно-ориентированного задания должно включать в себя

учебную информацию, а процесс получения ответа на него и содержание

ответа к заданию необходимо связать с будущей профессиональной

деятельностью выпускников или специалиста. Конечно, возможны и

некоторые отступления от этой классической ситуации проверки

компетенций, когда формулировка задания изначально переносит

испытуемого в профессиональную среду, что менее предпочтительно, но

вполне допустимо. Главное, чтобы компетентностные задания

предполагали получение практико-ориентированного результата,

связанного с оцениванием дескрипторов компетенций.

Нередко идея компетентностной ориентации подменяется

повышенной трудностью задания, включением в него развернутой

стимульной основы, постановкой нескольких вопросов, требующих

длинных развернутых ответов. Сами по себе такие задания не являются

компетентностными, хотя и проверяют более сложные уровни

деятельности, чем простое воспроизведение изученных фактов, и

требуют развернутого ответа.

2. ЗАДАНИЯ С МНОЖЕСТВЕННЫМ ВЫБОРОМ

В заданиях с множественным выбором можно выделить основную

часть, содержащую постановку проблемы, и готовые ответы,

сформулированные преподавателем. Среди ответов правильным чаще

всего бывает только один, хотя не исключаются и другие варианты с

выбором нескольких правильных, в том числе и в разной степени,

ответов.

Неправильные,

но

правдоподобные

ответы

называются

дистракторами. Если в задании два ответа, один из которых дистрактор,

то вероятность случайного выбора правильного ответа путем угадывания

равна 50%. Число дистракторов делают таким, чтобы задание не стало

слишком громоздким и трудно читаемым, но, вместе с тем, стараются не

допустить излишне большой вероятности угадывания правильного

ответа. Поэтому чаще всего в заданиях бывает не менее трех или четырех

дистракторов, хотя в отдельных случаях, когда есть такая необходимость,

их число может достигать шести-семи.

Задания с двумя ответами обычно используют для экспресс-

диагностики, например, в адаптивном тестировании при аккредитации

специалистов, когда необходимо оперативно выявить индивидуальный

уровень подготовленности испытуемого с тем, чтобы оптимизировать

подбор заданий адаптивного теста. Использование заданий с двумя и

тремя ответами в аккредитации или аттестации приводит к росту ошибки

измерения из-за угадывания, поэтому их никогда не включают

в аккредитационные тесты, где для большей надежности стараются

сделать все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей

привлекательности даже для самых слабых испытуемых группы, то они

перестают выполнять свою функцию, и на деле получается задание с не

запланированным, а с меньшим числом ответов. В самом плохом случае,

когда все дистракторы в задании не работают, большинство испытуемых

выполнит задание верно, выбрав единственный правдоподобный

правильный ответ. В идеале каждый дистрактор должен в равной мере

привлекать всех испытуемых, выбирающих неправильный ответ. Мера

привлекательности дистракторов оценивается после первой апробации

измерителя на репрезентативной выборке с помощью подсчета долей

испытуемых, выбравших каждый из дистракторов в качестве

правильного ответа. Конечно, точное равенство долей является

определенной идеализацией, практически недостижимой при

эмпирической проверке, но, тем не менее, создавая задания, к этому

равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора

испытуемыми с различным уровнем подготовленности позволяет сделать

вывод о валидности неправильных ответов. Если дистрактор чаще

привлекает слабых испытуемых, выполнивших верно незначительное

число заданий в тесте, то он считается валидным. В противном случае,

когда дистрактор кажется привлекательным, в основном сильным

испытуемым, его валидность невысока, и задание подлежит переработке.

В целом можно сказать, что тестовое задание считается

«хорошо

работающим», если знающие испытуемые выполняют его правильно, а

незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с

выбором одного правильного ответа сопровождаются инструкцией:

«ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТАª.

Задания с несколькими правильными ответами сопровождаются

специальной инструкцией, подчеркивающей необходимость выбора всех

правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ

ПРАВИЛЬНЫХ ОТВЕТОВª.

Когда дистракторов слишком мало, а правильных ответов намного

больше, то их легко угадать. В качестве выхода из подобной ситуации

можно включить в число ответов только один неправильный, а

испытуемых попросить выбрать один ошибочный ответ, исключив его из

числа правильных. В этом случае инструкция имеет вид: «ОБВЕДИТЕ

НОМЕР НЕПРАВИЛЬНОГО ОТВЕТАª. Как правило, задания на

выбор неправильного ответа не приветствуются специалистами по

измерениям, хотя допускается включение одного или двух таких заданий

в тест.

Иногда, по замыслу автора, при разработке задания закладываются

несколько правильных ответов, среди которых есть более правильный и

менее предпочтительный. В этом случае задание сопровождается

инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО

ОТВЕТАª.

При компьютерной выдаче заданий инструкция может иметь вид:

«ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ)

ПРАВИЛЬНОГО ОТВЕТАª.

Задания с выбором нескольких правильных ответов обычно не

рекомендуется включать в измерители при аккредитации или аттестации,

поскольку появляются частично правильные ответы, которые при

дихотомической оценке резко снижают сопоставимость результатов

измерений. Обращение к политомической шкале для оценивания

результатов выполнения заданий с несколькими правильными ответами,

которую устанавливают пропорционально числу правильно выбранных

ответов, также нежелательно, поскольку неоправданно увеличивается

вклад результатов по заданиям с выбором в общую оценку.

По этим причинам, задания с несколькими правильными ответами

обычно стараются не включать в аккредитационные тесты, результаты

которых используются для административно-управленческих решений.

Появление частично правильных ответов испытуемых, возникающих при

выборе не всех запланированных верных ответов в каждом таком

задании, приводит к снижению объективности и сопоставимости баллов

испытуемых. Если избежать нескольких правильных ответов

невозможно, то с целью повышения стандартизации оценочных процедур

вводят определенное решающее правило. Например, если испытуемый

выбирает все правильные ответы, то он получает один балл, во всех

других случаях - нуль баллов.

Обычно если все задания сформулированы в одной форме, то

инструкция приводится в начале теста. В противном случае, когда в тест

включены задания разных форм, инструкция меняется при каждом

изменении формы. В целом, рекомендуется менять инструкцию как

можно реже

- ровно столько раз, сколько требует стратегия

предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой

их выполнения, простотой подсчета итоговых баллов по тесту,

возможностью автоматизации процедур проверки ответов испытуемых и

вытекающей отсюда минимизацией субъективного фактора при

оценивании результатов выполнения теста. С их помощью можно более

полно охватить проверяемый объем знаний и умений и, следовательно,

повысить содержательную валидность измерителя. Несомненным

достоинством формы заданий с выбором является ее универсальность,

она годится практически для любой области проверки.

Как уже отмечалось ранее, определенные трудности возникают при

использовании заданий с выбором для проверки умений продуктивного

уровня, связанных с применением знаний в незнакомой ситуации,

творческими аспектами деятельности, либо для оценки уровня освоения

компетенций. Тогда задания с выбором готовых ответов использовать

чаще всего невозможно. В условиях массового аккредитационного

тестирования,

когда

необходимо

привлечь

эффективные

компьютеризованные технологии для подсчета баллов испытуемых и

получить высокую объективность и сопоставимость результатов

измерения, достоинства заданий с выбором явно перевешивают

недостатки. Поэтому эта форма должна быть включена в состав

аккредитационных измерителей.

Задания с выбором ответа должны удовлетворять ряд требований,

выполнение которых позволяет повысить качество измерителя. В случае

разработки заданий с одним правильным ответом в отечественной и

иностранной литературе к таким требованиям обычно относят

следующие:

1. В тексте задания должна быть устранена всякая двусмысленность

или неясность формулировок.

2. Основная часть задания формулируется предельно кратко, как

правило, не более одного предложения из семи-восьми слов.

3. Задание имеет предельно простую синтаксическую конструкцию,

в основной текст задания вводится не более одного придаточного

предложения.

4. В основную часть задания следует включать как можно больше

слов, оставляя для ответа не более двух-трех наиболее важных, ключевых

слов для данной проблемы.

5. Все ответы к одному заданию должны быть приблизительно одной

длины, либо правильный ответ может быть короче других, но не во всех

заданиях измерителя.

6. Из текста задания необходимо исключить все вербальные

ассоциации, способствующие выбору правильного ответа с помощью

догадки.

7. Частота выбора одного и того же номера места для правильного

ответа в различных заданиях измерителя должна быть примерно

одинакова, либо номер места для правильного ответа выбирается в

случайном порядке.

8. Основная часть задания освобождается от всякого иррелевантного

для данной проблемы материала.

9. Из ответов обязательно исключаются все повторяющиеся слова

путем ввода их в основной текст заданий.

10. В ответах не рекомендуется использовать слова:

«все»,

«ни

одного», «никогда», «всегда» и т. д., так как в отдельных случаях они

способствуют угадыванию правильного ответа.

11. Из числа дистракторов исключаются ответы, вытекающие один из

другого. При формулировке дистракторов не рекомендуется

использовать выражения:

«ни один из перечисленных»,

«все

перечисленные» и т.д.

12. Все дистракторы к каждому заданию должны быть равновероятно

привлекательными для испытуемых, не знающих правильного ответа.

13. Ни один из дистракторов не должен являться частично

правильным ответом,

превращающимся при определенных

дополнительных условиях в правильный ответ.

14. Ответ на одно задание не должен служить ключом к правильным

ответам на другие задания измерителя. По сути это означает, что не

следует использовать дистракторы из одного задания в качестве ответов

к другим заданиям измерителя.

15. Если задание имеет среди прочих альтернативные ответы, то не

следует сразу после правильного приводить альтернативный ответ, так

как внимание отвечающего обычно сосредотачивается только на этих

двух ответах.

16. Все ответы должны быть параллельными по конструкции,

грамматически согласованными с основной частью задания.

При разработке заданий необходимо обеспечить их относительную

независимость, исключающую цепочную логику выполнения, когда

ответ из одного задания служит условием для другого задания

измерителя.

Для оценки результатов выполнения заданий с множественным

выбором обычно используется дихотомическая оценка, особенно в тех

случаях, когда предполагается только один правильный ответ и

отсутствуют частично правильные ответы. За правильное выполнение

задания испытуемый получает один балл, а за неправильный ответ или

пропуск

- нуль. Суммирование всех единиц позволяет вычислить

индивидуальный (первичный или сырой) балл испытуемого, который

в случае дихотомической оценки просто равен количеству правильно

выполненных заданий в тесте.

Например, в задании 1 есть только один верный ответ. Испытуемый

получит 1 балл в случае верного выбора и 0 баллов при выборе любого

неверного ответа.

Задание 1. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

К ОСОБО ЧУВСТВИТЕЛЬНЫМ К СВЕТУ ЛЕКАРСТВЕННЫМ

ВЕЩЕСТВАМ ОТНОСЯТ:

а) галеновые препараты,

б) гексаметилентетрамин,

в) эфирные масла,

г) серебра нитрат,

д) жирные масла.

Задание 2 предполагает выбор наиболее правильного ответа, поэтому

результаты его выполнения можно оценить либо дихотомически (0 - не

выбран наиболее правильный ответ или 1 - выбран наиболее правильный

ответ), либо политомически

(например,

2 балла - выбран наиболее

правильный ответ, 1 и 0 баллов - в остальных случаях).

Задание 2. ВЫБЕРИТЕ НАИБОЛЕЕ ПРАВИЛЬНЫЙ ОТВЕТ.

НАИБОЛЕЕ СПЕЦИФИЧНЫМ КЛИНИЧЕСКИМ ПРОЯВЛЕНИЕМ

ХСН СЧИТАЮТ:

А) одышку,

Б) ортопноэ,

В) ночные удушья,

Г) ритм «галопа»,

Д) отек легких.

В задании 3 представлен вариант модификации формы заданий с

множественным ответом, поскольку для выбора предлагаются различные

сочетания перечисленных в задании

4 опций. Такое задание с

множественным выбором имеет двойную структуру, включая набор

высказываний или положений, которые оцениваются путем

сопоставления с предлагаемыми ответами.

Задание 3. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

У ПАЦИЕНТА С ЖАЛОБАМИ НА ОДЫШКУ ПРИ ХОДЬБЕ, НЕ

ПОЛУЧАЮЩЕГО ЛЕЧЕНИЯ, ДИАГНОЗ ХРОНИЧЕСКОЙ

СЕРДЕЧНОЙ НЕДОСТАТОЧНОСТИ МАЛОВЕРОЯТЕН ПРИ:

1. Нормальном уровне мозгового натрийуретического пептида в

сыворотке крови.

2. Нормальной ЭКГ.

3. Нормальном пиковом потреблении кислорода при нагрузочном

тесте.

4. Снижении жизненной емкости легких.

Варианты для выбора ответа:

А) верно 1,2,3,

Б) верно 1,3,

В) верно 2,4,

Г) верно только 4,

Д) верно все.

В процессе создания заданий отдельные требования к форме

неосознанно нарушаются. Как правило, это бывает связано с тем, что все

внимание разработчика поглощено содержанием, а не формой.

Нарушение отдельных требований порождает ряд характерных

недостатков, возникающих даже у опытных авторов в процессе работы

над заданиями теста. К числу наиболее распространенных недостатков

тестовых заданий с выбором ответа можно отнести:

 отсутствие логической корректности в формулировках, заданий

теста, приводящее к незапланированным правильным ответам;

 нарушение правильных пропорций в форме задания, когда ответы

намного длиннее основной части задания;

 нарушение требования краткости, вызванное включением лишних

слов или представлением в тестовой форме того содержания, которое не

годится для проверки с помощью теста;

 выбор ответов по разным основаниям;

 наличие вербальных ассоциаций, способствующих угадыванию

правильного ответа;

 отсутствие стандартизированной инструкции.

Например, в задании

4 содержатся два недостатка. Во-первых,

нарушено требование стандартизации инструкции. Вместо простого и

ясного требования выбрать правильный ответ, испытуемому

предлагается отметить его не указанным действием. Во-вторых, задание

содержит логическое противоречие, поскольку пятый ответ не

согласуется с постановкой основной части. Испытуемые, скорее всего,

просто не будут его выбирать, поэтому на деле это задание имеет только

четыре ответа.

Задание 4.

ОТМЕТЬТЕ НАЛОГИ, КОТОРЫМИ МОЖЕТ ОБЛАГАТЬСЯ

УЧРЕЖДЕНИЕ ЗДРАВООХРАНЕНИЯ, ФИНАНСИРУЕМОЕ ИЗ

БЮДЖЕТА:

а) НДС,

б) налог на имущество юридических лиц,

в) подоходный налог,

г) транспортный налог,

д) не облагается налогами.

Столь же нелогично выглядит ответ

«Д» в задании

5, который

является правильным и противоречит инструкции на выбор наиболее

правильного ответа. Обычно при использовании заданий банка принято

перемешивать ответы к заданиям, помещая их в разные варианты. Легко

представить, как нелепо будет выглядеть это же задание, если ответ «Д»

будет размещен в начале, на первом или втором месте.

Задание 5. ВЫБЕРИТЕ НАИБОЛЕЕ ПРАВИЛЬНЫЙ ОТВЕТ.

КОРОНАРОАНГИОГРАФИЯ ПОКАЗАНА ПАЦИЕНТАМ СО

СТАБИЛЬНОЙ СТЕНОКАРДИЕЙ I И II ФК В СЛЕДУЮЩИХ

СЛУЧАЯХ:

А) при наличии инфаркта миокарда в анамнезе,

Б) при появлении объективных признаков ишемии при низких

нагрузках,

В) при тяжелых желудочковых аритмиях,

Г) при подготовке к хирургической операции на крупных сосудах,

Д) все ответы правильные.

В задании

6 нарушено требование краткости из-за включения

повторяющихся слов в ответы.

Задание 6. ВЫБЕРИТЕ НАИБОЛЕЕ ПРАВИЛЬНЫЙ ОТВЕТ.

«ДВОЙНОЕ ПРОИЗВЕДЕНИЕ», ОТРАЖАЮЩЕЕ ПОТРЕБНОСТЬ

МИОКАРДА В КИСЛОРОДЕ, ЭТО:

А) произведение ЧСС на общее периферическое сосудистое

сопротивление,

Б) произведение ЧСС на систолическое артериальное давление,

В) произведение ЧСС на диастолическое артериальное давление,

Г) произведение ЧСС на среднее артериальное давление,

Д) произведение ЧСС на давление заклинивания легочных

капилляров.

Задание

6 легко поддается коррекции путем включения

повторяющихся слов в основную часть. После коррекции оно будет

иметь следующий вид:

«ДВОЙНОЕ ПРОИЗВЕДЕНИЕ», ОТРАЖАЮЩЕЕ ПОТРЕБНОСТЬ

МИОКАРДА В КИСЛОРОДЕ, ЭТО ПРОИЗВЕДЕНИЕ ЧСС НА:

А) общее периферическое сосудистое сопротивление,

Б) систолическое артериальное давление,

В) на диастолическое артериальное давление,

Г) среднее артериальное давление,

Д) давление заклинивания легочных капилляров.

В задании 7 также нарушено требование краткости, но по другой

довольно типичной причине. Ответы содержат формулировки

определения, поэтому задание становится громоздким. Внести

коррекцию довольно просто. Для этого достаточно поместить

правильный ответ

«Б» в основную часть задания, а для выбора

предложить набор названий различных коэффициентов.

Задание 7. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ИНТЕГРАЛЬНЫЙ КОЭФФИЦИЕНТ КАЧЕСТВА - ЭТО:

А) отношение числа случаев с достигнутым медицинским результатом

к общему числу оцениваемых случаев оказания медицинской помощи,

Б) отношение числа случаев полного соблюдения адекватных

технологий к общему числу оцениваемых случаев оказания медицинской

помощи,

В) отношение числа случаев удовлетворенности потребителя к

общему числу оцениваемых случаев,

Г) отношение нормативных финансовых затрат к фактически

произведенным.

Не вполне корректным выглядит задание 8, в формулировке основной

части которого не указывается, что речь идет о должности медицинского

персонала.

Задание 8. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

РАСЧЕТ ГОДОВОГО БЮДЖЕТА РАБОЧЕГО ВРЕМЕНИ

ДОЛЖНОСТИ ОСНОВЫВАЕТСЯ НА:

А) затратах труда медицинского персонала,

Б) законодательстве о режиме труда и отдыха,

В) расчетных нормах нагрузки (обслуживания),

Г) численности обслуживаемого населения.

В задании

9 ответы подобраны по различным основаниям, что

в значительной степени затрудняет выбор первого правильного ответа.

Задание 9. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

СОЗДАНИЕ ДЕТСКИХ РЕАБИЛИТАЦИОННЫХ ЦЕНТРОВ

ПОЗВОЛЯЕТ:

А) рационально использовать имеющийся коечный фонд

детских больниц,

Б) совершенствовать и улучшать качество лечения детей

диспансерных групп,

В) проводить социальную реабилитацию больных детей,

Г) ликвидировать работу функциональных подразделений по

восстановительному лечению в детских поликлиниках.

В задании

10 основная часть грамматически не согласована с

ответами. В результате испытуемые будут выбирать только первый

ответ, поскольку именно он согласуется с условием.

Задание 10. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ПРИ КОМПЕНСИРОВАННОЙ ФОРМЕ ПОВЫШЕННОГО

СТИРАНИЯ III СТЕПЕНИ НЕОБХОДИМО:

А) изготовление диагностических моделей,

Б) пространственная ориентация моделей в артикуляторе,

В) анализ межальвеолярного расстояния,

Г) компактостеотомия и гингивотомия,

Д) временные конструкции,

Е) постоянный протез.

Аналогичный недостаток встречается в задании 11, где испытуемые

будут выбирать только первый или последний ответ.

Задание 11. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ДЛЯ ХРОНИЧЕСКОЙ СТАДИИ ОСТЕОМИЕЛИТА ХАРАКТЕРНО

СЛЕДУЮЩЕЕ:

А) наличие одного или нескольких свищевых ходов,

Б) боль в причинном зубе,

В) припухлость и гиперемия лица,

Г) подвижность причинного зуба,

Д) повышение температуры тела.

Подобные недостатки легко устраняются, если изменить

формулировки основной части задания. Например, задание 12 имеет

подобный недостаток.

Задание 12.ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ДЛЯ

АРТЕРИАЛЬНОЙ

ГИПЕРЕМИИ

ХАРАКТЕРНО

СЛЕДУЮЩЕЕ:

А) алая окраска тканей,

Б) понижение температуры тканей,

В) цианоз,

Г) снижение энергообеспечения.

Формулировка его в другом виде (задание 13) позволит устранить

отсутствие согласования условия и ответов.

Задание 13. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ПРИ АРТЕРИАЛЬНОЙ ГИПЕРЕМИИ НАБЛЮДАЕТСЯ:

А) алая окраска тканей,

Б) понижение температуры тканей,

В) цианоз,

Г) снижение энергообеспечения.

Некорректным является задание 14, в котором дистракторы частично

пересекаются и выбор второго и третьего ответа равносилен выбору

первого ответа.

Задание 14.ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ИНФИЛЬТРАЦИЯ

НАДКОСТНИЦЫ

АЛЬВЕОЛЯРНОГО

ОТРОСТКА В ОСТРОЙ СТАДИИ ОСТЕОМИЕЛИТА НАБЛЮДАЕТСЯ

С:

А) вестибулярной и оральной стороны,

Б) вестибулярной стороны,

В) оральной стороны,

Г) язычной стороны,

Д) небной стороны.

Задание

15 плохо согласовано по конструкции, на его чтение и

понимание у испытуемого уйдет дополнительное время, которое будет

связано с логической некорректностью его формулировки.

Задание 15. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

КОРНИ ЗУБОВ НИЖНЕЙ ЧЕЛЮСТИ, БЛИЗКО ПОДХОДЯЩИЕ

К НИЖНЕЧЕЛЮСТНОМУ КАНАЛУ:

А) первого моляра,

Б) второго моляра,

В) первого премоляра,

Г) клыка.

Задание 16 включает последний ответ, который явно противоречит

постановочной части, утверждающей наличие возможности введения

лекарства.

Задание 16. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ВВЕДЕНИЕ ЛЕКАРСТВА В КРЫЛОВИДНО-НЁБНУЮ ЯМКУ СО

СТОРОНЫ БОКОВОЙ ПОВЕРХНОСТИ ЛИЦА ВОЗМОЖНО, ЕСЛИ

ВВОДИТЬ ИГЛУ:

А) через кожу под серединой скуловой дуги,

Б) через кожу над серединой скуловой дуги,

В) под скуловой костью,

Г) такой возможности нет.

В задании 17 автор пытается включить дополнительную инструкцию в

условие, используя для этого слово

«УКАЖИТЕ». Испытуемый

неизбежно истратит дополнительное время на выбор своих действий,

поскольку это слово не согласовано с общей инструкцией,

предписывающей действие по выбору ответа.

Задание 17. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

УКАЖИТЕ НЕСТЕРОИДНЫЙ ПРОТИВОВОСПАЛИТЕЛЬНЫЙ

ПРЕПАРАТ, КОТОРЫЙ МОЖНО НАЗНАЧИТЬ ПАЦИЕНТУ

С ЯЗВЕННОЙ БОЛЕЗНЬЮ ЖЕЛУДКА:

А) имесулид,

Б) диклофенак,

В) индометацин,

Г) кетопрофен,

Д) пироксикам.

Столь же нелепо выглядит слово «ПЕРЕЧИСЛИТЕ» в задании 18, где

абсолютно непонятно, каким образом должен испытуемый перечислять

узлы при общей инструкции на выбор правильного ответа.

Задание 18. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ПЕРЕЧИСЛИТЕ УЗЛЫ РЕКТИФИКАЦИОННОЙ УСТАНОВКИ:

А) перегонный куб, ректификационная колонна, конденсатор,

сборник,

Б) перегонный куб, ректификационная колонна, дефлегматор,

конденсатор, сборник,

В) перегонный куб, ректификационная колонна, дефлегматор,

сборник,

Г) перегонный куб, ректификационная колонна, аппарат сокслета,

конденсатор, сборник,

Д) экстрактор, ректификационная колонна, дефлегматор, конденсатор,

сборник.

Задание

19 можно привести как классический пример, имеющий

лексическую избыточность за счет повторяющихся слов «парциальное

давление пара у поверхности материала» в ответах. После переноса этих

слов в постановочную часть задание станет намного короче.

Задание 19.ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

СУШКА ПРОТЕКАЕТ ПРИ УСЛОВИЯХ, КОГДА:

А) парциальное давление пара у поверхности материала p_м больше

парциального давления пара в воздухе p_п,

Б) парциальное давление пара у поверхности материала p_м меньше

парциального давления пара в воздухе p_п,

В) парциальное давление пара у поверхности материала p_м равно

парциальному давлению пара в воздухе p_п,

Г) парциальное давление пара у поверхности материала p_м больше

или равно парциальному давлению пара в воздухе p_п,

Д) парциальное давление пара у поверхности материала p_м меньше

или равно парциальному давлению пара в воздухе p_п.

В задании 20 есть сразу несколько недостатков: первый ответ имеет

вербальную ассоциацию с условием, а второй и последний ответы

грамматически не согласованы с ним.

Задание 20. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ОДНИМ ИЗ УСЛОВИЙ ВОЗНИКНОВЕНИЯ КАРИЕСА ЯВЛЯЕТСЯ:

А) кариесогенная флора,

Б) нерастворимые белки,

В) резидентная флора,

Г) высокая резистентность эмали,

Д) растворимые белки.

Совершенно некорректным выглядит задание

21, где каждый из

ответов является частично верным, а первый ответ, по сути,

противоречит самой логике выполнения заданий с множественным

выбором, предполагающей сопоставление каждого ответа с основной

частью, а не ответов между собой. Другой недостаток этого же задания

связан с разными основаниями по подбору ответов.

Задание 21. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ОСОБЕННОСТИ ТЕЧЕНИЯ ОСТЕОМИЕЛИТА У ДЕТЕЙ:

А) все ответы верные,

Б) чаще локализуется на нижней челюсти,

В) чаще локализуется в области молочных моляров,

Г) чаще диффузное течение процесса,

Д) секвестрации подвергаются зачатки постоянных зубов.

Задание 22 имеет подобный логический просчет, который приводит к

появлению недопустимого ответа

«все вышеперечисленное верно».

Проблема здесь состоит не только в нарушении логической структуры

задания с множественным выбором, но носит чисто технологический

характер. При выборе заданий из банка ответы перемешиваются, поэтому

последний ответ может попасть на любое место.

Задание 22. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

ПРИ ХРАНЕНИИ В АПТЕКЕ ЛЕКАРСТВЕННЫХ СРЕДСТВ,

СОЗВУЧНЫХ ПО НАЗВАНИЮ С СИЛЬНО РАЗЛИЧАЮЩИМИСЯ

ВЫСШИМИ ДОЗАМИ, ИХ НЕ РЕКОМЕНДУЕТСЯ РАСПОЛАГАТЬ:

А) в соответствии с фармакологическими группами,

Б) в алфавитном порядке,

В) рядом,

Г) в соответствии с физико-химическими свойствами,

Д) все вышеперечисленное верно.

В задании 23 содержится неправдоподобный дистрактор. Понятно,

что если речь идет о качестве, то выбор последнего ответа абсолютно

неуместен.

Задание 23. ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

СЕРТИФИКАТ КАЧЕСТВА СВИДЕТЕЛЬСТВУЕТ О:

А) высоком качестве лекарственного средства,

Б) легальности продажи,

В) соответствии серии лекарственного средства действующей НД

(ФСП),

Г) валидированном процессе производства,

Д) рекламации.

Задание 24 имеет неверные пропорции, характерные для случаев,

когда в тесте пытаются проверить понятийный аппарат, не прикладывая

достаточно усилий для разработки кратких заданий. Повторяющиеся

слова в ответах еще больше способствуют росту длины ответов,

превращая задание в сложночитаемое нагромождение слов. Для

коррекции подобных заданий самоопределение рекомендуется перенести

в постановочную часть, а определяемое слово - в один из ответов.

Задание 24.ВЫБЕРИТЕ ПРАВИЛЬНЫЙ ОТВЕТ.

АППАРАТУРНАЯ СХЕМА ПРОИЗВОДСТВА - ЭТО:

А) схема, отражающая на одном чертеже все имеющиеся на

производстве на разных участках технологические оборудования, с

указанием направления технологического процесса,

Б) схема, отражающая на одном чертеже все имеющиеся на

производстве и участвующие в процессе на разных участках

технологические и вспомогательные оборудования, с указанием

направления технологического процесса,

В) схема, отражающая на одном чертеже все участвующие в процессе

производства на отдельном его участке технологические и

вспомогательные

оборудования,

указанием

направления

технологического процесса,

Г) схема, отражающая на одном чертеже все имеющееся на

производстве оборудование, с указанием его спецификации,

Д) схема, отражающая на одном чертеже все участвующие в процессе

производства оборудования на разных этапах.

Отдельные приведенные примеры, конечно, не охватывают все

недостатки, встречающиеся в авторских заданиях. Они лишь

свидетельствуют о необходимости проведения экспертизы форм заданий

перед их включением в тест.

Если авторам удается избежать недостатков в формулировках или

скорректировать их по результатам экспертизы, можно утверждать, что

задания с множественным выбором имеют ряд достоинств, которые

делают их наиболее привлекательными при проведении массовой

аккредитации с помощью тестов.

3. ЗАДАНИЯ С КОНСТРУИРУЕМЫМ ОТВЕТОМ

В заданиях с конструируемым ответом готовые ответы не даются,

их должен придумать или получить сам испытуемый. Задания

с конструируемым ответом бывают двух видов, один из которых

предполагает получение испытуемым строго регламентированных по

содержанию и форме представления кратких

(одно или два слова,

символ, число и т. д.) правильных ответов. Второй - задания со свободно

конструируемыми ответами, в которых испытуемые составляют

развернутые ответы, произвольные по содержанию и форме

представления и содержащие полное решение задачи с пояснениями,

микросочинения - эссе и т. д.

Для разработки заданий с конструируемым регламентированным

ответом необходимо мысленно сформулировать вопрос, затем записать

четкий и краткий ответ, в котором на месте ключевого слова, символа

или числа ставится прочерк. В силу однозначности правильного ответа

проверка результатов выполнения заданий с конструируемым

регламентированным ответом носит довольно объективный характер, ее

осуществляют в компьютерной форме с последующей перепроверкой

всех неправильных ответов испытуемых экспертным путем. Ответы на

задания приводятся на месте прочерка или заносятся обучающимися

в специальный бланк.

Для заданий с кратким регламентированным ответом,

сформулированных в виде незаконченных утверждений и предъявляемых

без специальных бланков для ответа, обычно используют инструкцию,

состоящую из одного слова:

«ДОПОЛНИТЕª. Если для ответов к

заданиям с кратким регламентированным ответом необходимо давать

ответы в специальных бланках, то инструкция может иметь вид:

«ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ

СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ.

КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В

СООТВЕТСТВИИ С ПРИВЕДЁННЫМИ ОБРАЗЦАМИ НА

БЛАНКЕ ОТВЕТОВª.

На месте прочерка испытуемый может предложить синонимы

запланированного разработчиком слова или изменить порядок

следования элементов в пропущенной формуле, что значительно

затрудняет автоматизированную проверку и оценку результатов

тестируемых. По этим причинам в процессе проверки нередко

приходится разрабатывать дополнительные соглашения об оценках для

частично правильных ответов.

Задания с регламентированными ответами должны удовлетворять

ряду требований:

1. Каждое задание необходимо нацелить только на одно дополняемое

слово, символ и т. д., место для которого рекомендуется обозначить

прочерком или точками.

2. Прочерк ставится на месте ключевого элемента, знание которого

является наиболее существенным для контролируемого материала.

3. Все прочерки в заданиях для одного теста рекомендуется делать

равной длины

(в некоторых англоязычных публикациях, наоборот,

рекомендуют делать прочерк такой длины, чтобы он служил подсказкой

для выбора дополняемого слова).

4. Место для ответа лучше отводить в конце задания или как можно

ближе к концу.

5. После прочерка, если это возможно, указываются единицы

измерения.

6. Текст задания должен обладать предельно простой синтаксической

конструкцией и содержать минимальное количество информации,

необходимое для правильного выполнения задания.

7. В тексте задания исключаются повторы и двойное отрицание.

Задания второго вида с конструируемым развернутым ответом не

имеют никаких ограничений по содержанию и форме их представления,

кроме размеров бланка ответа и требований к его содержанию,

введенных в условие задания. За отпущенное время и на специальных

бланках испытуемый может писать все, что считает правильным ответом,

самостоятельно выбирая степень его полноты и форму представления.

Несомненно, такие задания, с первого взгляда, кажутся во многом

близкими к традиционным контрольным работам. Однако прямое

отождествление заданий с конструируемым развернутым ответом с

традиционными средствами контроля приводит к неоправданным

представлениям о легкости процесса их разработки. На самом деле

достаточно трудно сформулировать задание, чтобы оно приводило

к запланированному правильному ответу с той степенью полноты и

глубины, которая закладывается разработчиком теста в его

спецификации.

Еще труднее предложить эталон оптимального ответа вместе со

стандартизованными правилами оценки результатов его выполнения. Эти

правила, представленные в форме оценочных градаций и называемые

рубриками, нуждаются в тщательной разработке на основе анализа хода

мыслительной деятельности испытуемых при выполнении ими задания.

Оценочные рубрики должны быть подвергнуты экспертизе, чтобы

убедиться в том, что они не являются субъективным восприятием

автором того контекста, в котором он воспринимает ход получения

желаемого правильного ответа. И наконец, для рубрик должна быть

проведена апробация на представительной выборке испытуемых с тем,

чтобы получить статистическое подтверждение их качества.

Рубрики разрабатываются для каждого задания. Желательно, чтобы

все задания в одном тесте имели одинаковое число оценочных градаций с

тем, чтобы задания были равновесомы. В противном случае, когда хотят

придать больший вес отдельным заданиям в силу их значимости, число

градаций в рубриках для этих заданий может быть увеличено. По

принятым нормам, диктуемым здравым смыслом, опытом работы

экспертов и анализом эмпирических данных тестирования, максимальное

число градаций должно быть не более четырех. Эмпирические

результаты апробации тестов показывают, что попытки авторов заданий

увеличить число оценочных градаций приводят к появлению

неработающих опций, которые практически не используют в своей

работе эксперты.

Задания с развернутыми ответами требуют значительных затрат труда

при проверке, когда экспертам приходится анализировать множество

правильных в разной степени ответов и сравнивать их с эталоном, не

принимая во внимание полноту, внешнее оформление ответов,

орфографические ошибки и все то, что не входит в критерии для

выставления политомической оценки. Проверка результатов выполнения

таких заданий довольно субъективна, а согласование оценок нескольких

экспертов затруднено, поэтому обычно такие задания занимают не более

20-15% от общей длины измерителя.

Основные рекомендации по разработке заданий со свободно

конструируемым ответом:

 задания со свободно конструируемым ответом, в основном,

предназначены для оценки освоения испытуемыми когнитивных умений

творческого уровня либо компетенций; их следует разрабатывать только

в тех случаях, когда не могут быть использованы более простые формы;

 длина и сложность ответа может варьировать в широких пределах

(вплоть до нескольких страниц текста ответа, обоснования приведенного

решения проблемы и т. д.); в инструкции желательно ввести ограничения

на максимальную длину ответа для каждого задания;

 формулировка задания, предоставляемая автором, должна

включать постановку проблемы, эталон выполнения и оценочные

критерии; постановочная часть должна быть настолько четкой, чтобы

минимизировать возможные отклонения в правильных ответах

испытуемых от планируемого разработчиком эталона выполнения;

 выбор временных рамок для выполнения каждого задания должен

позволять обучающемуся сформулировать достаточно развернутый ответ

и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно

конструируемыми ответами можно повысить, если:

А. Грамотно составлять задание, используя рекомендации,

приведенные выше.

Б. Использовать

при

проверке

только

разработанную

стандартизированную схему оценивания не более чем с тремя

оценочными категориями (0, 1, 2).

В. Обучить экспертов по проверке заданий пользоваться

стандартизированными критериями оценивания.

Г. Привлекать не менее двух экспертов для проверки каждого задания

и приглашать третьего эксперта в случае расхождений оценок первых

двух экспертов более чем на один балл.

Д. Использовать принцип анонимности проверяемых работ и

независимость экспертных суждений.

Е. Не смотреть на оценку, данную предыдущему заданию, при

оценивании последующего.

Инструкция для заданий с конструируемым развернутым ответом

обычно имеет произвольную форму. Главное сказать столько, чтобы в

максимальной степени стандартизовать форму ответов испытуемых и

облегчить работу экспертов при проверке результатов тестирования для

снижения влияния субъективных факторов и повышения надежности

педагогических измерений. В самом общем виде инструкция может

иметь вид:

«ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ

ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА

НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО.

ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВОª.

Конечно, возможны ситуации, когда ответы к заданию в большинстве

своем будут отличаться от планируемого эталона, но незначительно,

поэтому их нельзя оценить как полностью неправильные. В этой

ситуации неопределенности виноват разработчик заданий, а не

испытуемый. Как правило, такие случаи бывают, если отсутствует этап

апробации теста и статистический анализ оценочных рубрик к заданиям

теста. Для коррекции задания в его текст необходимо внести уточнения,

связанные с сужением объема проверяемого понятия и уменьшением за

счет этого вариантов возможных рассуждений испытуемых при

получении развернутого ответа.

В заданиях 25 и 26 от испытуемых требуется развернутый ответ.

ДАЙТЕ РАЗВЕРНУТЫЙ ОТВЕТ И ОБОСНУЙТЕ ЕГО.

Задание

25. РАЗРАБОТАЙТЕ ПРЕДЛОЖЕНИЯ И ПУТИ

РЕШЕНИЯ ПРОБЛЕМ, СВЯЗАННЫХ С НИЗКОЙ

УКОМПЛЕКТОВАННОСТЬЮ СРЕДНИМ И МЛАДШИМ

МЕДИЦИНСКИМ ПЕРСОНАЛОМ ОФИСА ОБЩЕЙ ВРАЧЕБНОЙ

ПРАКТИКИ. ПЕРЕЧИСЛИТЕ И ОБОСНУЙТЕ ДОСТОИНСТВА И

НЕДОСТАТКИ ПРЕДЛОЖЕНИЙ.

Задание 26. ДАЙТЕ РАЗВЕРНУТЫЙ ОТВЕТ И ОБОСНУЙТЕ

ЕГО.

РАЗРАБОТАЙТЕ

ОБОСНУЙТЕ

КОМПЛЕКС

МЕРОПРИЯТИЙ ДЛЯ ПРОФИЛАКТИКИ ВОЗНИКНОВЕНИЯ

ОРГАНИЗАЦИОННЫХ КОНФЛИКТОВ В КОЛЛЕКТИВЕ ОФИСА

ОБЩЕЙ ВРАЧЕБНОЙ ПРАКТИКИ

(С

УКАЗАНИЕМ

ВОЗМОЖНЫХ ИСТОЧНИКОВ ИХ ВОЗНИКНОВЕНИЯ).

Оценочные рубрики к заданиям можно приводить в форме таблицы,

приведенной ниже, где обозначены фрагменты типичных формулировок

для описания результатов выполнения заданий с конструируемым

ответом.

Форма для представления оценочных рубрик

Описание результатов выполнения задания

Баллы

Приведены ….. и способы ….. Подробно обоснованы …..

Приведены …. , но недостаточно обоснованы …..

Приведены фрагментарные …..

Указаны неверные …..

При разработке оценочных рубрик можно учитывать:

1. Наличие аналитического подхода к изучению и оценке проблемы.

2. Аргументированность выводов.

3. Оригинальность и правильность суждений, логичность

представления ответов и т. д.

Хотя задания с конструируемым ответом мало технологичны в

условиях массовых аккредитационных процедур, они необходимы для

оценки уровня освоения компетенций.

4. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ

Задания на соответствие имеют специфический вид, где под

инструкцией располагаются элементы двух множеств, соответствие

между которыми предлагается установить испытуемому. Слева

обычно приводятся элементы задающего множества, содержащие

постановку проблемы. Справа - элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно

однозначным, когда каждому элементу справа соответствует только один

элемент слева. Если число элементов в двух столбцах одинаковое, то для

последнего элемента задающего множества выбор не произойдет.

Встречаются случаи, определяемые спецификой содержания предмета,

когда для нескольких элементов левого столбца выбираются одни и те же

элементы справа, поэтому их может оказаться меньше, чем слева.

И, наконец, оптимальным является задание, в котором правое множество

содержит больше элементов, каждый из которых выбирается только один

раз.

Как и для заданий с множественным выбором лишние элементы

правого столбца, не подлежащие выбору при правильных ответах,

называются дистракторами. Как и в заданиях с выбором ответов,

наибольшие трудности при разработке связаны с подбором

правдоподобных избыточных элементов в правом множестве. Мера

правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться

следующими правилами:

1. Задание формулируется так, чтобы все содержание можно было

выразить в виде двух множеств с соответствующими названиями.

2. Элементы задающего столбца располагаются слева, а элементы для

выбора справа.

3. Желательно, чтобы каждый столбец имел определенное название,

обобщающее все элементы столбца.

4. Необходимо, чтобы правый столбец содержал хотя бы несколько

дистракторов. Еще лучше, когда число элементов правого множества

примерно в два раза больше числа элементов левого столбца.

5. Необходимо, чтобы все дистракторы в одном задании были

равновероятно правдоподобны.

6. Элементы столбцов должны быть выбраны по одному основанию

для включения только гомогенного материала в каждое задание теста.

В аккредитационных процедурах задания на соответствие

малоэффективны в силу их громоздкости, не позволяющей охватить

большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция,

состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕª. Иногда

инструкцию делают развернутой, особенно в тех случаях, когда есть

отдельный бланк ответов. Например, инструкция может иметь вид:

«БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ,

ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ

В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНКª.

Результаты выполнения заданий на соответствие оцениваются либо

дихотомической, либо политомической оценкой. При дихотомическом

оценивании

1 балл выставляется за все правильно установленные

соответствия в задании теста. Если хотя бы одно соответствие неверно,

то за частично правильно выполненное задание на соответствие

испытуемый получает

0 баллов. Другой способ заключается

в выставлении по одному баллу за каждое правильное соответствие,

тогда

при проверке заданий на соответствие используется

политомическая оценка и общее количество баллов за задание равно

числу правильно установленных соответствий.

5. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ ПРАВИЛЬНОЙ

ПОСЛЕДОВАТЕЛЬНОСТИ

Задания четвертой формы предназначены для оценки уровня владения

последовательностью действий, процессов и т. п. В заданиях приводятся

в произвольном порядке элементы, связанные с определенной задачей, а

испытуемый должен установить правильный порядок предложенных

элементов и указать его заданным способом в специально отведенном

для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид:

«УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬª.

В качестве примеров приведены два задания с номерами 27 и 28, где

испытуемый должен поставить номера в квадратиках, расположенных

слева от теста.

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ.

Задание

27. ЭТАПЫ ИЗГОТОВЛЕНИЯ ШТАМПОВАННОЙ

КОРОНКИ:

снятие оттиска,

отливка гипсовых моделей,

определение центральной окклюзии,

моделирование коронки воском,

изготовление гипсового штампика,

отливка металлического штампа,

изготовление штампованной коронки,

шлифование и полировка коронки,

припасовка коронки в полости рта,

фиксация коронки.

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ.

Задание

28. ПОСЛЕДОВАТЕЛЬНОСТЬ МАНИПУЛЯЦИЙ

ПРИ ПЕРВОМ ЭТАПЕ ОПЕРАЦИИ ПО АББЕ:

обезболивание,

нанесение линий разрезов на кожу,

сквозной разрез красной каймы и кожи на верхней губе,

сквозные разрезы красной каймы и кожи нижней губы,

формирование лоскута на питающей ножке,

разворот полученного лоскута,

вшивание лоскута в рану на верхней губе,

ушивание раны на нижней губе,

наложение асептической повязки.

Во многих случаях задания на установление правильной

последовательности крайне нетехнологичны либо не применимы в силу

специфики содержания предмета. Они громоздки и нередко допускают

неоднозначную последовательность ответов, поэтому не рекомендуются

к использованию в аккредитационных процедурах.

6. ЗАКЛЮЧЕНИЕ - СРАВНИТЕЛЬНАЯ ХАРАКТЕРИСТИКА

ФОРМ ТЕСТОВЫХ ЗАДАНИЙ

В процессе разработки теста у автора всегда возникает вопрос о том,

остановиться ли на какой-нибудь одной форме заданий либо принять

решение о совмещении различных форм в одном измерителе? А если

остановиться на одной, то какой из четырех форм отдать предпочтение?

Выбор автора во многом определяется спецификой содержания учебной

дисциплины, целями создания и применения теста. Немало здесь зависит

от

трактовки

качества

результатов

обучения.

Например,

в компетентностном подходе или при оценивании подготовки

к профессиональной деятельности приоритет должен быть отдан

заданиям с развернутым ответом.

На выбор форм заданий также влияет используемая технология

проверки, сбора и обработки эмпирических данных, имеющееся

техническое и материальное обеспечение процесса применения

измерителя. Легко организовать компьютеризованный сбор и анализ

результатов выполнения измерителя в том случае, когда все задания с

выбором ответов. Результаты выполнения заданий с конструируемыми

ответами требуют экспертной проверки. Как правило, для оценки

результатов их выполнения приходится привлекать несколько экспертов,

а это требует дополнительных материальных затрат и дополнительного

времени на проверку.

Преимущества и недостатки различных форм заданий.

1. Задания с двумя ответами.

Преимущества: благодаря краткости позволяют охватить большой

объем материала, легко разрабатываются

(только один дистрактор),

быстро с высокой объективностью обрабатываются результаты

выполнения.

Недостатки: стимулируют механическое запоминание, поощряют

угадывание, требуют увеличения количества заданий и, соответственно,

времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов.

Преимущества: годятся для самых различных предметов, в силу

краткости формулировок в тесте можно охватить большой объем

содержания, обеспечивают возможность автоматизированной проверки и

высокую объективность оценок испытуемых, позволяют провести

развернутый

статистический

анализ

своих

характеристик,

скорректировать их и значительно повысить надежность педагогических

измерений.

Недостатки: требуют значительной работы авторов при выборе

дистракторов и коррекции баллов испытуемых, не годятся для проверки

продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами.

Преимущества: просты в разработке, исключено угадывание,

частично годятся для автоматизированной проверки.

Недостатки: проверяют, в основном, знание фактологического

материала или понятийного аппарата, обычно

(в гуманитарных

предметах) слишком легкие, иногда приводят к неоднозначным

правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами.

Преимущества: позволяют оценивать сложные учебные достижения,

в том числе коммуникативные умения и уровень освоения компетенций,

легко формулируются как традиционные задания, исключают

угадывание.

Недостатки: требуют длительной дорогостоящей процедуры

проверки и значительного времени выполнения, не позволяют охватить

значительный объем содержания предмета, снижают надежность

педагогических измерений.

5. Задания на установление соответствия.

Преимущества: просты в разработке, идеально подходят для

оценивания ассоциативных знаний и проведения текущего контроля,

уменьшают эффект угадывания.

Недостатки: чаще всего используются при проверке репродуктивного

уровня деятельности и алгоритмических умений, громоздки по форме

представления.

Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (выпуск 1-2) - 2016 год