УДК 814.253:331.108.45
М. В. Муравьев, Б. Б. Вознесенский, Б. В. Володин
МЕТОДЫ ПЕДАГОГИЧЕСКОЙ КВАЛИМЕТРИИ В ПОСЛЕДИПЛОМНОМ ОБУЧЕНИИ ВРАЧЕЙ
ЦОЛИУВ, Москва

Квалиметрия1 в последипломном медицинском образовании (ПМО) за сравнительно короткий срок прошла путь от разработки методов измерения и оценки успеваемости слушателей до применения этих методов для оценки уровня профессиональной подготовки врача-специалиста, от оценки только знаний до оценки всей профессиональной компетентности.
Дидактика ПМО предусматривает возможность измерения и оценки знаний, профессиональных умений (умений ставить и решать проблемы), практических навыков и профессионального поведения (установок).
Каждая из этих дидактических категорий имеет свои особенности — условия формирования, формы проявления в профессиональной деятельности, поэтому они требуют разработки и применения своих специфических методов выявления, измерения и оценки.
Из всех известных характеристик измерения и оценки знаний — объема (достаточности), уровня усвоенности, меры обобщения и освоенности, прочности — только две первые обычно используются для оценки сформированных знаний. В качестве измерителей для этого используются тесты. Результаты тестового контроля обычно выражаются числовой величиной — отношением числа правильных ответов к общему числу вопросов (тестов). Оценка знаний, измеренных с помощью тестов, производится с помощью различного рода коэффициентов.
Чаще применяется коэффициент успешности — Ка, где
К=, а — уровень усвоения (I—IV по В. Беспалько).
«Нормативным» является значение коэффициента, равное 70 % (для каждого уровня). По принятой повсеместно методике в начале цикла и при его завершении вычисляется Kq для каждого слушателя и для всей группы в целом —  Кисх и Кконечн.
Если кафедра использует для вводного итогового контроля тестовую программу, состоящую из тестов одного уровня, то сравнение ответов слушателей на «входе» и «выходе» не представляет трудности. Сложнее обстоит дело с обработкой результатов тестирования, если тестовая программа включает тесты разных уровней (на узнавание, распознавание, воспроизведение, применение знаний в стандартных и нестандартных ситуациях). Учитывая, что тесты разных уровней имеют различную дидактическую ценность, некоторые исследователи предлагают вводить поправочный коэффициент для каждого уровня.

1 Педагогическая квалиметрия (метрология) предусматривает изучение и разработку методов количественной оценки педагогических процессов, прежде всего учебного процесса и его результатов; оценке всегда предшествуют измерения как система действия с целью нахождения числового значения измеряемой величины в принятых единицах измерения.

Так, К. Денек [1] предлагает использовать коэффициент важности Р и оценивает I уровень усвоения коэффициента 1,5 II — 2,2, III — 3,3, IV уровень —  5,0. Тогда Q как показатель успешности выполнения тестовых заданий разных уровней одним курсантом будет равен сумме (Σ) произведений Р и П, где Р — коэффициент важности каждого уровня, П — процент правильных ответов для каждого уровня: Q=Z (ΡΚ·ΠΚ). Прирост знаний и умений определяется просто: из Qгp конечн вычитается Qгp исх.
К. Денек приводит нормативы, соотнеся значение Q с 5-балльной системой:
Q=6,7 и больше — отлично
Q=5,4—6,7       — хорошо
Q=3,5—5,4       — удовлетворительно
Q=3,5 и меньше — неудовлетворительно.
В этой системе расчетов есть один, очень важный момент — введение коэффициента важности для каждого уровня тестов позволяет учитывать дидактическую ценность каждого теста. Поэтому даже 100 % достижение правильных ответов на тесты I или II уровней не дает право выставлять отличную оценку, можно лишь сделать заключение об успешном достижении I и II уровней усвоения знаний.
Такой результат иногда предусматривается целями обучения, когда слушателям сообщается новая для них информация, и на промежуточном этапе обучения достижение этих уровней вполне достаточно.
Только приближение к значению Qисx=5,4—6,7 дает право говорить о хорошей профессиональной подготовленности слушателя, так как этих значений он может достичь, лишь умея решать задачи, т. е. принимать правильные решения в нестандартных ситуациях.
Оценку результатов обучения по критерию Q можно проводить не только по полной тестовой программе, охватывающей на некоторых кафедрах содержание всего курса, но и по отдельным ее фрагментам, относящимся к определенным темам и разделам курса унифицированной программы («Q» тем).
Наш опыт показывает, что после проведения вводного и итогового контроля необходимо осуществлять поэлементный анализ правильности ответов каждого слушателя на отдельные тесты программы, так как среднее число его правильных или неправильных ответов может скрыть важную информацию о 44 незнании очень важных в практическом отношении вопросов.
Анализ значений Ка или Q для каждого слушателя по отдельным фрагментам тестовой программы может охарактеризовать область его «незнания» при вводном контроле и неусвоенные или недостаточно усвоенные знания при итоговом контроле. С помощью Qгp можно показать уровень усвоения определенных разделов и тем унифицированной программы, оценить эффективность мероприятий, направленных на повышение эффективности обучения. Критерий Qrp дает возможность объективно оценить качество предцикловой подготовки, а также сгруппировать слушателей в зависимости от уровня их подготовленности в «слабые» и «сильные» группы.
И, наконец, при достаточно большом числе наблюдений на однородных контингентах слушателей можно установить нормативы для Qисх и Qконечн для всей тестовой программы и ее отдельных фрагментов для разных контингентов слушателей (практических врачей, заведующих отделениями, преподавателей вузов и ГИДУВов).
Следует остановиться еще на одном важном вопросе оценки эффективности обучения с помощью тестов.
Ранее уже говорилось о различной цене тестов разных уровней, была показана роль коэффициента важности (Р). Этот показатель учитывает только различия дидактических возможностей тестов разного уровня. Но, кроме дидактической ценности, каждый тест имеет и свою практическую значимость — свой «вес» в профессиональном отношении независимо от уровня. Экспертным путем можно установить «весовое» значение каждого теста или группы тестов. С точки зрения практической значимости знаний, выявляемых с помощью тестов, они могут быть условно разделены на 3 группы и обозначены как «важные и обязательные», «важные и желательные», «вспомогательные, базисные».
Если тесты ранжировать по степени их практической значимости, то может сложиться ситуация, когда какой-либо слушатель достиг требуемых значений Ка или Q, т. е. ответил правильно, на 70 % вопросов, но при этом на 30 % долю невыполненных тестов пришлись тесты «важные и обязательные». Поэтому для более точной оценки усвоенных знаний по числовому значению коэффициента К необходима обязательная ранжировка тестов по степени их практической значимости.
Определенные трудности возникают при определении весовой категории для ситуационных задач.
Условия таких задач требуют иногда от врача принятия однозначного решения по диагностике, выбору необходимых лабораторно-инструментальных исследований, оказанию первой и неотложной помощи, оценке эффективности лечения и др. Здесь возможна следующая ранжировка: принятые решения в соответствии с эталоном могут быть «верными» (+1), «нейтральными» (0) и «неверными» (—1).
За верными и неверными решениями подчас скрываются вредные и невредные для жизни и здоровья больного действия врача.
В последнее время на кафедрах института получил распространение другой метод оценки знаний слушателей — метод самооценки.
Суть его состоит в том, что слушателям предлагаются в письменном виде вопросы (тесты), содержание которых является предметом изучения на цикле. В соответствии с инструкцией слушатель должен оценить свои знания, поставив прочерк (—) против тех вопросов, ответы на которые он не знает. По группе в целом и для каждого слушателя отдельно по всем вопросам подсчитывается процент неправильных ответов. В конце обучения процедура проверки повторяется.
Поскольку оценка слушателем своих знаний или умений знаком + или — слишком обща и категорична и учитывая, что уровень знания и незнания может быть разным, рекомендуется специальная шкала для проведения самооценки:

По этой шкале преподаватель (или слушатель) подсчитывает не суммарный балл в отношении оцениваемых знаний и умений, а раздельные баллы для ответов «не знаю», «не умею» (сумма всех единиц) и «знаю, умею» (сумма всех двоек и троек), т. е. дальнейшей математической обработке подвергаются суммы положительных и отрицательных баллов. Так, в частности истинный прирост знаний и умений должен, очевидно, характеризоваться увеличением положительных баллов и уменьшением отрицательных.
Динамика «убыли незнаний», зависимость этого процесса от исходного уровня подготовленности слушателей, форм и методов обучения требуют специальных исследований.
Включение на определенных этапах учебного процесса процедуры самооценки знаний и умений концентрирует внимание на пробелах в профессиональных знаниях, создавая дополнительную мотивацию к обучению.
Дидактическая значимость самооценки значительно повышается, если наряду с самооценкой проводится объективная оценка с помощью тестов и результаты сопоставляются.
Измерение и оценка профессиональных умений — этого основного элемента профессиональной компетентности — наиболее сложная и важная задача в квалиметрии ПМО.
Многие кафедры ЦОЛИУВ в ходе разработки «Модели врача-специалиста» определили перечень обязательных умений, которыми должны владеть педиатр, терапевт, хирург, акушер-гинеколог, эндокринолог, рентгенолог, вирусолог, организатор здравоохранения и др. В каждом перечне однозначно указано, что должен уметь делать врач при решении профессиональных задач по своей специальности. Как же измерить каждое из конкретных умений?
Представление об уровне сформированности профессиональных умений может быть получено двумя путями: с помощью специальных тестов и путем наблюдения за выполнением практических действий и их результатами.
Для объективной оценки уровня сформированности профессиональных умений в виде тестов используются ситуационные задачи, в которых смоделированы в какой-то ее части деятельность специалиста и условия, в которых протекает эта деятельность.
Основное значение таких ситуационных задач — проверка умений слушателей применять свои знания для решения сформулированных преподавателем проблем, имитирующих реальные жизненные ситуации.
В этих случаях измерению и оценке подвергаются: правильность принятия решения (в соответствии с эталоном); процесс принятия решения (его экономичность, время, затраченное на решение).
Указанными параметрами характеризуется успешность выполнения продуктивных тестов, измеряющих достижения учебных целей высших таксономических уровней.
Числовой обработке могут подлежать как общее число решаемых слушателями задач (вычисление процента правильно решенных задач — КIII-IV или с учетом коэффициента важности Р), так и правильность выполнения каждого этапа решения в баллах.
В том случае, если кафедра имеет банк ситуационных задач, с помощью которых можно оценить каждое из профессиональных умений (действий) в отношении профессиональных задач, то нетрудно установить как максимальный, так и приемлемый уровень решения ситуационных задач в соответствующих баллах (максимальный уровень вычисляется путем сложения всех максимальных баллов каждой задачи, преемлемой для определенного контингента слушателей, и устанавливается экспертами). Результативность обучения каждого слушателя, таким образом, можно оценить, сравнивая полученные им баллы с приемлемым и максимальным.
Оценка практических навыков является существенной частью практического экзамена, проводимого на всех этапах до- и последипломного медицинского образования (в интернатуре, ординатуре, на циклах специализации и общего усовершенствования).
На многих кафедрах итоговая оценка обучения предусматривает проверку уровня практических навыков, тогда как цели обучения предусматривают их формирование и совершенствование.
Процедура проведения контроля и оценки практических действий врача требует специальных условий. Субъективизм в оценке может быть преодолен, если оценка проводится несколькими преподавателями по единой шкале.
Ниже приводятся примеры оценки практических навыков врача терапевта на больном по некоторым основным действиям [4].

Для оценки уровня владения методами диагностических исследований лечебными процедурами и другими методами может быть использована следующая шкала.


Все вышеуказанные примеры свидетельствуют о том, что оценка практических умений (навыков) с помощью шкал возможна и может быть распространена на область практических действий врачей любого профиля и специальности.
Трудности состоят в том, чтобы определить перечень практических умений, необходимых врачу, и создать соответствующую шкалу с описанием крайних и промежуточных характеристик, оцениваемых действий.
Имея в арсенале такие средства измерения практических умений, кафедра не только сама может оценивать результативность обучения на цикле, но и вооружить практическое здравоохранение методами оценки уровня профессиональной подготовки врачей-специалистов как для определения содержания усовершенствования, так и для оценки отдельных результатов обучения на местах.
Указанные выше методы оценки уровня владения практическими навыками должны занять должное место в структуре экзаменов на звание врача-специалиста, а также при аттестации и переаттестации врачей.
Измерение и оценка установок как элемент профессиональной компетентности, к сожалению, не составляют содержание учебных целей в ПМО. Вместе с тем в характеристике любого врача они играют важную роль и иногда определяют эффективность его работы в целом.
Установки1 включают заинтересованность в лечении больного, адекватность взаимного общения между врачом и пациентом, способность работать в коллективе, заинтересованность в самообразовании.
Для измерения каждой из указанных установок используются специальные шкалы, состоящие обычно из ранжированных (от 1 до 5) утверждений.

В качестве примера приводим одну из шкал, по которой оценивается характер взаимоотношений между врачом и больным.

1 Установки — состояние предрасположенности субъекта к определенной активности в определенной ситуации. Сюда относятся социальные установки, ценностная ориентация личности специалиста.

 Разработка методов измерения и оценки профессионального поведения и установок принадлежит к наиболее трудным проблемам квалиметрии медицинского образования [2].
Все приведенные выше методы измеряют и оценивают учебную и профессиональную деятельность, различные ее характеристики (объем и полнота знаний, уровень их усвоенности, мера владения профессиональными умениями и др.) и выражаются в относительных условных единицах — процентах, баллах, т. е. числовые обозначения здесь используются в качестве символов, а не измерителей физических свойств. Использование числовых систем для измерения характеристик педагогических объектов позволяет широко применять количественные методы для оценки процесса и результатов учебной и профессиональной деятельности.
Так, возможно применение некоторых математических методов для проведения исследований по оценке эффективности обучения (установление достоверности различий в уровнях знаний и умений до и после обучения, выявление математической зависимости между уровнем исходной подготовки слушателей и эффективностью обучения, ранжирование слушателей по уровню их знаний и умений и т. д.).
В заключение необходимо отметить, что из двух типов оценочных систем, одна из которых основывается на «норме» (успешность обучения или деятельности слушателя соотносится со средним показателем группы), другая — на «критериях» (когда результаты обучения и деятельности сравниваются со «стандартами»), предпочтение необходимо отдавать последней.
Разработка «стандартов» учебной деятельности в соответствии с требованиями к уровню профессиональной компетентности и квалификации врачей каждого профиля и специальности является первоочередной задачей теоретической и практической квалиметрии медицинского образования.
Разработка соответствующих «критериев» или «стандартов» составляет суть новой технологии обучения на пути создания единой методической системы последипломного обучения врачей.