Методика оценки уровня квалификации педагогических работников москва 2010 министерство образования и науки российской федерации (1)
Результаты экспертной оценки и самооценки педагогической компетентности
Эмпатийность и социорефлексия
Компетентность в области личностных качеств
Умение ставить цели и задачи в соответствии с возрастными и индивидуальными особенностями обучающихся
Умение перевести тему урока в педагогическую задачу
Умение вовлечь обучающихся в процесс формулирования целей и задач
Компетентность в области постановки целей и задач педагогической деятельности
Умение создавать ситуации, обеспечивающие успех в учебной деятельности
Умение создавать условия, обеспечения позитивной мотивации обучающихся
Умение создавать условия для самомотивирования обучающихся
Компетентность в области мотивации учебной деятельности
Компетентность в методах преподавания
Компетентность в предмете преподавания
Компетентность в субъективных условиях деятельности
Компетентность в области обеспечения информационной основы деятельности
Умение выбрать и реализовать типовые образовательные программы
Умение разработать собственную программу, методические и дидактические материалы
Умение принимать решения в педагогических ситуациях
Компетентность в области разработке программы педагогической деятельности и принятии педагогических решений
Умение устанавливать субъект-субъектные отношения
Умение организовать учебную деятельность обучающихся
Умение реализовать педагогическое оценивание
Компетентность в области организации учебной деятельности
Рис. 7 Объединенная лепестковая диаграмма результатов экспертной оценки и самооценки педагогической компетентности
При подготовке экспертного заключения можно использовать описание типовых характеристик педагога, соответствующего требованиям первой и высшей квалификационных категорий (см. Приложение 7)
по итогам оценки уровня квалификации учителя химии средней общеобразовательной школы
Экспертная группа в составе: А.Л.И. — специалист ЦО и ККО, К.А.Е. — учитель химии высшей квалификационной категории, осуществила экспертизу профессиональной деятельности А-вой Е.В. учителя химии средней общеобразовательной школы.
А-ва Е.В. имеет высшее образование, закончила ЯГПИ им. К.Д.Ушинского в 1993 г., квалификация по диплому — учитель химии и биологии. Стаж работы 15 лет, в данной школе — 5 лет, квалификационная категория — первая, В межаттестационный период проходила курсы повышения квалификации: 2005 г. КПК ИРО «Курсы повышения квалификации учителей химии и биологии» (144 часа). 2008 г. ГЦРО г. «Организация и проведение тестового контроля».
За свою работу А-ва Е.В. награждена Грамотой Управления образования, 2005 г.; Почетной грамотой школы № 12, 2006 г.
Принимала участие в районном этапе конкурса «Учитель года». В 2008-2009 учебном году приняла участие в областном этапе конкурса «Учитель года».
Необходимые для успешной реализации педагогической деятельности личностные качества педагога, такие как общая культура, отношение к людям высоко развиты. Педагог занимает гуманистическую позицию по отношению к обучающимся, проявляет внимание к личности ученика, является для окружающих образцом этики и общей культуры. Дополнительно проведенное исследование школьного психолога показало, что на уроках химии низкий уровень тревожности учеников и стабильная психологическая обстановка. Однако, педагог не всегда проявляет стрессоустойчивость в сложных педагогических ситуациях. Данный факт свидетельствует о необходимости психологической поддержки и формировании навыков саморегуляции эмоций.
Результаты анализа деятельности педагога позволяют оценить степень сформированности у него отдельных компетенций.
В области постановки целей и задач педагогической деятельности. Е.В. может сформулировать и обосновать цели и задачи собственной педагогической деятельности. Цели и задачи занятий формулируются на основе, как нормативных требований, так и возрастных и индивидуальных особенностей обучающихся. Цели занятий формулируются в соответствии с той программой, которая выбрана педагогом как наиболее адекватная предмету и запросам обучающихся. На протяжении нескольких лет Е.В. работает в классах, которые с начальной школы обучаются по системе развивающего обучения Д.Б.Эльконина — В.В.Давыдова. При использовании данной системы педагог решает все заявленные в течение урока педагогические задачи. Как преподаватель химии, Е.В. использует методы развивающего учения, которые позволяют достигать необходимого уровня принятия целей обучающимися.
Учитель характеризуется хорошим уровнем подготовки в области реализации компетенции обеспечения мотивации учащихся на осуществление учебной деятельности. Владеет навыками мотивирования, имеет необходимые знания для этого. Побуждает интерес к предмету на уровне ярких примеров из содержания предмета. Использует индивидуальный подход в оценивании учеников. Включает элементы практической значимости материала для учеников, трансформируя нормативные задачи в личностно-значимые. Преимущественно использует положительную мотивацию (одобрение, похвала). Умеет создать ситуации успеха для обучающихся с различным уровнем владения учебным материалом. Учитывает интерес обучающихся к соревнованию как форме работы и использует взаимное сравнение и сравнение с прошлыми личными результатами для мотивирования обучающихся. Хороший уровень мотивированности обучающихся косвенно доказывается и показателями результативности деятельности. Половина учащихся осваивает предметное содержание не только на базовом уровне, но и на повышенном (49,8% -2005 — 2006 учебный гoд; 51,1% в 2006 — 2007 учебном году). Серьёзное внимание учитель уделяет привлечению учащихся к участию в школьных олимпиадах. Каждый год количество участников олимпиад увеличивается: если в 2004 году в олимпиаде приняли участие 14 школьников (13,14%), то в 2008-2009 учебном году уже 37 учеников (35,6%) по химии и 40% по биологии. Победители школьного этапа олимпиады участвуют в олимпиадах муниципального уровня. Отсутствие победителей на этом уровне можно объяснить тем, что школа № 12 имеет гуманитарную направленность. Ученики показывают достаточно высокий уровень знаний и занимают места в первой десятке. Однако, нельзя говорить о том, что все возможные ресурсы для поддержания мотивации учебной деятельности у обучающихся используются педагогом. Мотивация иногда поддерживается и негативным подкреплением, иногда педагог бывает невнимателен к переживаниям, возникающим у обучающихся по поводу низкой оценки. Данное замечание не снижает общей оценки педагога в области мотивирования обучающихся, но оно указывает на необходимость дополнительного внимания к целенаправленному формированию ситуаций успеха в учебной деятельности.
В области обеспечения информационной основы деятельности учитель характеризуется знаниями и умениями, соответствующими требованиям образовательных стандартов. На высоком уровне владеет базовым компонентом содержания преподаваемого предмета. Преподносит изучаемый материал логично, в удобной для усвоения форме, понятной ученикам различных способностей. Появление компьютерной и мультимедийной техники в школе активизировали деятельность учителя не только по их освоению, но и по активному использованию в учебном процессе со школьниками. Учитель прошла курсы «Intel» и успешно применяет новые информационно — коммуникационные технологии. В настоящее время с появлением компьютера в кабинете химии возможности применения компьютерных технологий на уроках химии значительно расширились. В своей работе учитель использует материалы мультимедийных дисков, Интернет — материалы (коллекции видеофрагментов и 3D моделей, анимации процессов и явлений, изучаемых на уроках химии), а также фрагменты научно — популярных фильмов. Применение дисков стало частым явлением при организации повторения домашнего задания по демонстрируемым фрагментам, при изучении нового материала (просмотр химических экспериментов, требующих специальных условий проведения)
при контроле знаний учащихся (проведение тестирования, которое так же способствует дифференциации учебного процесса).
Использует в своей работе Е. В. и метод проектной деятельности как при изучении отдельных тем курса (1О класс « Природные источники углеводородов», «Волокна»; 11 класс «Химия и современное общество»), так и во внеурочной деятельности (9 класс «Тайны стекла» и др.). Опрос учащихся показал, что наибольшее предпочтение они отдают урокам, проводимым с новыми средствами наглядности, с применением компьютерных технологий. Работая в классах развивающего обучения, Е.В. серьёзное внимание уделяет предметно практической деятельности. Она способствует формированию предметных знаний по химии, общеучебных умений, навыков и способов деятельности учащихся.
В последние годы в школе стали практиковаться исследовательские конференции, например, «Эврика». Тематика работ различна: «Полимеры — материалы будущего», «Анализ природной воды», «Химия в криминалистике», «Переработка нефти», «Атом — сложная частица». Для активизации исследовательской и проектной деятельности Елена Владимировна применяет разнообразные приёмы: ставит проблемные вопросы, привлекает интересную дополнительную информацию, организует самостоятельную работу по осмыслению и усвоению нового материала и др. В помощь учащимся создана коллекция видео и аудиоматериалов по химии, собран обширный иллюстративный материал.
При анализе уровня сформированности компетентности в области обеспечения информационной основы деятельности была выявлена недостаточная осведомленность педагога в субъективных условиях деятельности. В частности, педагог не всегда учитывает социальную ситуацию в классе при решении педагогических задач. Необходимы консультации с психологом школы, повышающие осведомленность педагога в области социально-психологических характеристик обучающихся.
В области реализации программы и принятия педагогических решений педагог достаточно компетентен. Е.В. отличается высокой требовательностью к себе как к специалисту, реализующему типовую образовательную программу. Анализ деятельности показывает, что такая самокритичность необоснованна. Педагог успешно реализует модифицированные с учетом принципов индивидуализации и дифференциации образовательные программы и целенаправленно обновляет методические и дидактические материалы. Е. В. подготовила компьютерные презентации с помощью программ Power Point практически по всем темам в 8 — 11 классах.
С целью расширения теоретических знаний и приобретения опыта работы в системе Д.Б.Эльконина — В.В.Давыдова, Е. В. с 2005-2006 учебного года обучается в Открытом институте «Развивающее обучение» при Международной Ассоциации «Развивающее обучение» по дистанционной форме. В марте 2007 года учитель встречалась с автором учебников по природоведению и биологии для классов развивающего обучения и методистом системы развивающего обучения. В школе хорошо оборудованный кабинет химии, в нём есть всё для проведения работ исследовательского характера и химических опытов, предусмотренных программой, наработан большой дидактический материал для проведения уроков любых типов в 8-11 классах по программе О.С.Габриеляна. Учитель хорошо владеет методикой составления тестовых заданий, навыками составления текстов проверочных работ. В кабинете химии оформлены специальные стенды, на которых вывешиваются наиболее интересные материалы для учащихся, которые периодически обновляются.
Е.В. руководит школьным методическим объединением учителей естественно — математического цикла, регулярно выступает на методических и педагогических советах. Является руководителем педагогической практики студентов.
Большое внимание Е.В. уделяет методической работе. За последние годы она принимала участие в семинарах, выступала на конференции в педагогическом университете С темой «Особенности преподавания природоведения и биологии в системе развивающего обучения Эльконина — Давыдова». В 2006 -2007 учебном году провела мастер — класс «Проектная деятельность на уроках химии и биологии» для учителей Борисоглебского района.
Имеющийся у Е.В. опыт является основанием для большей активности педагога в области самостоятельной разработки программы, дидактических и методических материалов. Однако на данном этапе профессионализации это умение практически не реализуется, что осознается и самим педагогом.
Анализ уровня компетентности в области организации учебной деятельности показал, что педагог владеет на высоком уровне следующими умениями: организовать учебную деятельность обучающихся; формировать способы совместной профессиональной деятельности и сотрудничества; реализовать контроль и коррекцию учебной деятельности; обеспечить оперативное и адекватное педагогическое оценивание. Е.В. отличают творческое отношение к организации взаимодействия с обучающимися, стремление к проявлению методического мастерства в своей деятельности, ответственное отношение к своим обязанностям, умение проявлять творческий подход к решению разнообразных педагогических задач.
Е.В. отличает самокритичность в оценке уровня собственной квалификации.
На основании изложенного, экспертная группа считает, что уровень квалификации А-вой Е.В. — учителя химии СОШ — соответствует требованиям, предъявляемым к высшей квалификационной категории (значение показателя уровня квалификации 4.31).
Для дальнейшего совершенствования деятельности и реализации имеющегося у педагога профессионального потенциала рекомендуем:
— участие в проектных семинарах, направленных на освоение процедур разработки дидактических, методических материалов и программ (управление проектами);
— повышение квалификации в области психолого-педагогических аспектов деятельности (социальная психология малых групп, мотивация учебной деятельности, саморегуляция эмоциональных состояний).
— провести обсуждение результатов экспертной оценки и самооценки с целью повышения уровня самооценки по компетентности в области личностных качеств, организации педагогической деятельности, разработки программы деятельности и принятия педагогических решений.
Члены экспертной группы: специалист ЦО и ККО Л.И.А.
refdb.ru
/ Методы психологии зо / Методы психологии зо / Экспертная оценка
Экспертная оценка — это диагностический метод измерения, с помощью которого качественные особенности психических явлений получают свое выражение в виде оценок. Суть экспертного оценивания состоит в формализованном выражении объективной информации о поведении и качествах личности в ряде субъективных мнений и оценок. Этот метод может быть широко использован для оценки качеств личности при составлении психологических характеристик.
Метод экспертных оценок заключается в формализованной процедуре сбора, анализа и интерпретации независимых суждений нескольких экспертов о степени выраженности каждого оцениваемого психологического качества студента со стороны хорошо знающих его преподавателей, товарищей по учебе, у которых была возможность общаться с ним в различных ситуациях.
В психологическом исследовании экспертные оценки выступают в качестве внешнего критерия для проверки валидности рекомендуемой системы тестов и опросников, при этом данные экспертного оценивания специально не анализируются и не интерпретируются как собственно диагностические. Однако метод экспертных оценок имеет самостоятельную диагностическую ценность и может включаться в систему методов изучения личности с учетом его реальных достоинств.
Основным преимуществом метода экспертной оценки является возможность создания подробного психологического «портрета» испытуемого, описания его личностных особенностей как системы взаимосвязанных, взаимозависимых и компенсирующих друг друга качеств. Это дает возможность сделать более точный прогноз обучаемости, позволяет целенаправленно выбирать средства педагогического воздействия с учетом возможной реакции на них данной личности, открывает пути к определению перспектив ее психологического и профессионального становления и развития.
При этом объективность собираемой экспертной информации обеспечивается путем привлечения широкого круга экспертов (преподавателей, товарищей по учебе), которые наблюдают за проявлением индивидуально-психологических особенностей студента на протяжении достаточного количества времени при непосредственном общении в различных ситуациях, возникающих в процессе его обучения в университете.
Метод экспертного оценивания психологических качеств дает возможность оперативно собирать диагностическую информацию, быстро фиксировать динамику развития личности. Его применение не требует длительной подготовки и поиска или разработки сложного исследовательского инструментария. Этот метод является достаточно гибким, он легко модифицируется при возникновении новых задач, а также пригоден для многократного использования.
Практика применения метода экспертной оценки показывает, что его диагностическая ценность может быть существенно повышена за счет правильного подбора экспертов различных категорий, стандартизации и усовершенствования процедуры экспертного оценивания, включения дополнительных способов статистической обработки результатов оценивания, применения новых критериев анализа и интерпретации. Важное значение имеет обоснование выбора критериев (признаков, параметров), подлежащих экспертной оценке, отвечающих конкретным целям изучения индивидуально-психологических особенностей студентов. Это позволяет, в частности, создать более точную психологическую «модель» выпускника университета.
Следует также отметить, что целый ряд профессионально важных качеств личности бывает чрезвычайно трудно, (а иногда и невозможно) выявить и оценить с помощью психологического анализа документов, применения анкет, опросников и тестов. В этих случаях только экспертный метод дает возможность получить необходимые данные (например, когда речь идет об оценке таких качеств, как ответственность, мотивация поступков и т.д.).
Особенно продуктивно применение метода экспертного оценивания не изолированно, а в совокупности с другими, хорошо зарекомендовавшими себя в практике изучения личности, диагностическими методами. Данные экспертных оценок при этом должны использоваться как подтверждающие или опровергающие, (ставящие под сомнение) достоверность сведений, полученных при тестировании и анкетировании, они должны быть проанализированы также как дополняющие, уточняющие или объясняющие результаты изучения личности другими методами. Например, если такие качества как «умный», «сообразительный», «рассудительный» получили у испытуемого высокие экспертные оценки, а при применении теста для изучения интеллекта балл оказался низким, то такое несоответствие должно стать предметом специального анализа и интерпретации.
Достоинство метода экспертных оценок заключается в целесообразности использования его результатов не только в качестве сведений для оптимизации учебно-воспитательных воздействий со стороны преподавателей, но и как информации, которую в обобщенной форме можно дать студенту с целью выработки навыков самопознания, самоанализа, коррекции самооценки, стимулирования процессов самообразования и самовоспитания, что особенно важно в юношеском возрасте.
Необходимо отметить и положительный эффект участия преподавателей в проведении экспертного оценивания психологических свойств и качеств студентов. Он проявляется в повышении уровня их психологической компетентности, развитии педагогических способностей, таких как: наблюдательность, рефлексия, способность объективного видения и понимания индивидуальности каждого студента, умение сопоставить свое мнение об обучаемом с мнением других преподавателей и самих студентов.
Следовательно, метод экспертных оценок можно рассматривать как важный элемент в целостной системе методов психодиагностического обследования, проводимого в целях изучения личности студента. Диагностическая сущность метода экспертной оценки состоит в получении объективной информации об индивидуально-психологических особенностях, в результате специально организованного опроса мнений экспертов.
Экспертные оценки не всегда являются верным показателем психологических качеств, т.к. восприятие эксперта подвержено субъективным искажениям. Это связано с особенностями его личности. Поскольку различные эксперты будут давать различные оценки, возникает проблема их объективности. Одним из примеров субъективных ошибок является влияние на оценки хорошего или плохого отношения эксперта к оцениваемому студенту. Другим примером ошибок, влияющих на оценку качеств личности, являются инструментальные искажения, причиной которых может быть различие в способах измерения. Причем они наиболее значительны именно при методе экспертных оценок.
Повышения надежности экспертных оценок можно добиться за счет снятия субъективных и инструментальных искажений. Для этого обычная процедура сбора экспертных оценок должна быть дополнена специальным приемом повторного оценивания с предварительным сообщением эксперту данных, полученных от других экспертов. В этом случае изменение первоначальной оценки является важным диагностическим показателем ненадежности эксперта. Кроме того, для повышения надежности экспертных оценок необходимо выполнять следующие специальные требования:
— оцениваемые качества должны определяться в терминах наблюдаемого поведения;
— эксперт должен иметь возможность наблюдать за поведением оцениваемого студента достаточно длительный период времени;
— необходимо наличие не менее пяти экспертов на одного оцениваемого студента
— ранжирование должно производиться экспертами только по одной черте за один раз, вместо оценивания одного испытуемого сразу по всем параметрам;
— данные экспертного оценивания необходимо соотносить с результатами объективных тестовых обследований.
Применение этих требований к проведению экспертного опроса может повысить надежность получаемых данных на уровень, достаточный для практического использования.
В процедуре проведения экспертного опроса можно выделить следующие этапы:
Определение цели получения экспертных оценок
Общая цель применения метода экспертных оценок состоит в выявлении значимых для совершенствования учебно-воспитательного процесса индивидуально-психологических и социально-психологических особенностей студентов. Экспертному оцениванию могут подлежать характеристики мотивационной, интеллектуальной, эмоциональной и волевой сфер личности. Цель может быть связана с необходимостью уточнения или объяснения результатов применения других психодиагностических методик или потребностью в таких данных, которые остались не выявленными другими методами.
В зависимости от конкретного содержания цели (направленность на одну из сфер личности, степень новизны запрашиваемой у экспертов информации, и ее роль в целостном психодиагностическом обследовании) формируется дальнейшая процедура экспертной оценки.
При определении цели должен быть решен вопрос о том, какой из аспектов (исследовательский или прикладной) является более значимым. Исследовательский аспект предполагает уточнение на основе экспертных данных индивидуально-психологических особенностей и построение модели личности конкретного студента или обобщенной модели личности выпускника. Прикладной аспект ориентирован на систему практических рекомендаций, касающихся способов эффективного управления деятельностью данного студента или принципов , стимулирования его личностного и профессионального развития.
Формируется рабочая группа, которая будет осуществлять планирование, организацию и контроль всех мероприятий, необходимых для проведения экспертного оценивания; проводить сбор, обобщение, анализ и интерпретацию данных экспертного опроса; вырабатывать практические рекомендации по совершенствованию обучения студентов. Обычно в рабочую группу входят психологи, наиболее опытные и компетентные преподаватели.
Для качественного решения задач на основе применения метода экспертной оценки необходимо привлечение достаточного числа экспертов, относящихся к различным категориям. Желательно включить в группу экспертов преподавателей гуманитарных и естественных предметов (не менее двух человек из каждой группы), товарищей по учебе (не менее трех человек).
Эффективность метода во многом зависит от квалификации экспертов. Поэтому в экспертные группы включаются прежде всего опытные преподаватели, имеющие большой стаж педагогической работы. Таким образом, первым и важнейшим требованием, предъявляемым к эксперту является его компетентность. Качество экспертной оценки зависит от уровня профессионального мастерства экспертов, их опыта работы, педагогического стажа и психологической подготовки.
Второе требование — положительное отношение эксперта к участию в сборе данных, что зависит от многих факторов: цели проведения экспертной оценки; наличия потребности в собираемых сведениях; непосредственной заинтересованности в объективных и полноценных результатах; создания рабочей группы, необходимой для выполнения данной работы мотивации у экспертов; загруженности во время экспертной оценки основной деятельностью; индивидуальных особенностей самого эксперта (аналитичности и широты мышления, объективности, оперативности, обоснованности суждений, собранности и самокритичности).
Другая группа факторов, определяющая объективность получения сведений, относится к качеству применяемого при опросе инструментария: методике шкалирования, сбора и анализа экспертных оценок. В зависимости от цели, времени, отведенного на опрос, желаемой точности и полноценности сведений используются разные приемы сбора экспертных данных.
Первое различие состоит в том, является ли список критериев (признаков), по которым производится оценка психологических качеств испытуемых каждым из экспертов заранее фиксированным (созданным рабочей группой до взаимодействия с группой экспертов) или он формируется в ходе экспертного опроса. При предъявлении эксперту фиксированного списка качеств, второе различие заключается в требуемых от него способах экспертного шкалирования (прямое или косвенное, ранжировка, парные сравнения, сортировка). С одним и тем же списком качеств эксперт должен осуществить один или несколько различных видов оценок, результаты которых как правило не совпадают. Выделяют два вида экспертных шкал: оценочные и ранговые. Ниже описаны способы оформления результатов экспертной оценки с помощью оценочных и ранговых шкал.
Оценочные шкалы отличает относительная простота применения, возможность математических методов обработки и анализа результатов исследования. Суть этого метода состоит в том, что психические явления (процессы, состояния, свойства, образования) оцениваются с помощью баллов по заранее обусловленным критериям.
При прямом шкалировании однополярных признаков (например, умный, добрый, дисциплинированный и т.д.) для оформления результатов экспертного оценивания используется метод балльных оценок. Преподавателю предлагается оценить выраженность определенных свойств личности каждого студента по каждой из оценочных шкал в предложенной ему системе баллов.
Число возможных балльных оценок не должно превышать 5-7 градаций. Обычно задается 3-х или 5-ти балльная шкала. Эксперту объясняется значение каждого балла, которое может сопровождаться кратким описанием характерных признаков поведения, что облегчает использование шкалы и делает оценки более однозначными.
Например, шкала оценки общительности:
5 баллов — очень высокая степень общительности. Очень легко и часто
общается с окружающими. Имеет много знакомых. Плохо переносит
одиночество. 4 балла — высокая степень общительности. Легко вступает в контакты с
окружающими, стремится к общению. Предпочитает работать не один,
а с товарищами. 3 балла — средняя степень общительности. Общается с окружающими, не
уклоняется от контактов, но и не проявляет выраженного стремления
к ним. 2 балла — низкая степень общительности. Склонен к ограничению контактов,
имеет узкий круг знакомых и друзей. Неразговорчив. 1 балл — очень низкая степень общительности. Всячески уклоняется от каких-либо контактов с окружающими, стремится к уединению. Теряется и волнуется при необходимости общения.
Оценки в баллах могут использоваться и без описания признаков поведения, когда каждому баллу ставится в соответствие только определенная интенсивность качества (например, 1 — данное качество отсутствует, 2 — качество выражено средне, 3 — качество является характерным, выражено явно). Однако оценки таких шкал менее однозначны, так как могут по-разному интерпретироваться оценивающими их преподавателями.
Иногда используются так называемые графические шкалы, когда все возможные вариации свойства изображаются в виде прямой линии. Оценивающий должен отметить точку шкалы, которой, по его мнению, соответствует развитие свойства у испытуемого. Величина оценки пропорциональна длине отрезка от «О» до отметки.
Например, шкала оценки профессиональных качеств:
очень низкие низкие средние высокие очень высокие
Прямое шкалирование по биполярным признакам требует большего напряжения внимания и мышления эксперта, но дает более точные результаты. Биполярные шкалы задают более точное семантическое понимание сущности шкалируемого признака, уравнивают экспертов по возможным вариациям понимания одного и того же слова, обозначающего качество личности. К.К.Платонов предлагает использовать метод полярных баллов, давая следующую интерпретацию баллам:
5 — названная черта личности развита очень хорошо, ярко выражена и проявляется часто в различных видах деятельности;
4 — заметно выражена, но проявляется непостоянно, хотя противоположная ей черта проявляется очень редко;
3 — она и противоположная ей черта личности выражены нерезко и в проявлениях уравновешивают друг друга, хотя обе проявляются нечасто;
2 — более ярко выражена и чаще проявляется противоположная черта личности;
1 — черта личности, противоположная названной, проявляется часто и в различных видах деятельности;
О — нет сведений для оценки данной черты.
Как видно из приведенного примера, при использовании метода полярных баллов К.К.Платоновым применена 6-ти балльная оценочная шкала, на крайних значениях которой представлены противоположные психологические свойства. Обычно же используется 5-ти балльная шкала (от -2 до +2), на которой эксперт отмечает степень выраженности качества у оцениваемого студента. Шкалы балльных оценок могут быть построены следующим образом:
Замкнутый -2 -Ю +1 +2 Общительный
Ленивый -2 -Ю +1 +2 Трудолюбивый
Недисциплинированный -2 -10 +1 +2 Дисциплинированный
В этом случае предлагается оценить испытуемого с точки зрения сходства его качеств с одной из противоположных характеристик. Оценка регистрируется обведением кружком или подчеркиванием соответствующего балла. Такой метод удобен, если есть необходимость оценки большого числа свойств, которые в этом случае могут быть перечислены на специальном бланке.
Косвенное шкалирование основано не на выставлении абсолютных балльных оценок, а на сравнении с некоторым образцом выраженности качества, принимаемым за эталон оценивания. Например, в качестве эталона может выступать самый ответственный студент, тогда ответственность всех остальных оценивается в баллах по отношению к нему.
Ранговые шкалы образуются путем сравнения испытуемых друг с другом по одному из качеств личности. Так, например, студентов располагают в ряд по степени их активности, успеваемости и т.д. Все студенты ранжируются по оцениваемому критерию, и на этом основании каждый из них получает определенный ранг.
Ранжировка обычно поручается преподавателям, хорошо знающим обучаемых. Применение метода ранжирования позволяет выделить группы студентов с контрастными свойствами, например общительных и необщительных и т.д. Эти группы составляют из студентов, имеющих большие и малые номера рангов. Выделение таких групп позволяет выявить и проанализировать имеющиеся между ними различия по психологическим критериям, то есть оценить информативность последних. Ранжировка позволяет также вычислять степень связи между свойствами и качествами личности. Указанные особенности делают этот простой метод весьма ценным и полезным.
Используемый экспертами для ранжирования список качеств может сопровождаться пояснением с описанием каждого из признаков, по которым проводится оценка. Этот прием позволяет добиться большей согласованности мнений экспертов за счет стандартизации процесса интерпретации понятий.
Например, проранжируйте студентов по следующим качествам:
Обучаемость — легкое усвоение знаний, умение быстро понимать новое, устанавливать связи и закономерности между уже известным материалом и новым.
Культура поведения — соблюдение принятых норм и правил во взаимоотношениях со взрослыми и сверстниками, вежливость и воспитанность.
Организаторские способности — умение «вести за собой», руководить деятельностью других, добиваться выполнения своих требований.
Эвристические способности — развитие творческого мышления, умение находить нестандартные решения в сложных ситуациях.
Коммуникативные способности — общительность, умение «ладить с людьми», устанавливать контакты, умение вызывать симпатию и располагать к себе.
Уверенность в своих силах — чувство собственного достоинства, вера в свои силы и возможности, чувство гордости, самоуважение.
Исполнительность — добросовестное отношение к заданиям, стремление доводить начатое дело до конца, ответственность и обязательность.
Другой способ ранжировки предполагает упорядочение списка качеств по степени присутствия каждого из них у данного испытуемого. В этом случае каждое из качеств получает свой порядковый номер, на первом месте оказываются самые характерные для данного студента качества, в конце списка — наименее свойственные ему.
В случае использования варианта ответа эксперта путем парных сравнений эксперту последовательно предъявляются все возможные сочетания пар признаков. Для каждой пары он должен решить, какой из элементов пары более характерен для оцениваемого испытуемого. Например, что ярче выражено — аккуратность или доброта? Аккуратность или сообразительность? И т.д. После всех сравнений список выстраивается в ранжированном виде. Этот вариант сопоставления требует гораздо больше времени, чем простая ранжировка, но он точнее.
Сортировка как прием опроса экспертов заключается в выполнении простой операции выбора присущих испытуемому качеств из списка и исключения тех, которые ему не свойственны.
Проведение опроса по составляемому экспертами списку качеств является более сложной процедурой, однако она точнее отражает систему значимых для студентов психологических качеств. В этом случае на первом этапе эксперты дают свободное описание психологических качеств студентов. Затем проводится частотный анализ, на основе которого составляется единый общий список, включающий наиболее часто упоминаемые качества. Обычно список не превышает 30-35 признаков. Затем работа экспертов строится также, как и в первом варианте при фиксированном списке.
Обработка и анализ результатов экспертного оценивания
Полученные экспертные оценки обрабатываются путем подсчета среднего значения по каждому оцененному критерию (признаку, качеству), по каждому испытуемому и по группе в целом. Наиболее удачным является графическое представление психологической модели, оно наглядно отражает систему взаимосвязанных качеств личности. На оси абсцисс отмечаются качества, сгруппированные по сферам (интеллектуальные, эмоциональные, волевые, нравственные и т.д.), а по оси ординат — среднее значение по группе экспертов и зона разброса (дисперсия) для каждого испытуемого. На этом же графике может быть отмечено и общее среднее значение.
Проанализировав график, можно сделать выводы о специфике индивидуально-психологического облика студента по сравнению с другими обучаемыми, о преимущественном развитии определенных сфер его личности и степени устойчивости и сформированности каждого качества (оценивается по величине дисперсии).
Психологический портрет личности, полученный на основании экспертных оценок, необходим для правильной организации учебного процесса, организации психолого-педагогического сопровождения процесса обучения.
studfiles.net
В квалиметрии экспертный метод применяется:
1) для измерения показателей качества;
2) для определения значений весовых коэффициентов.
Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.
Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:
экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;
в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;
вопросы, поставленные перед экспертами, не должны допускать различного толкования;
эксперты должны быть компетентны в решаемых вопросах;
количество экспертов должно быть оптимальным;
ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.
Качественный состав экспертной комиссии — важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым — инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.
Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.
Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.
При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности — отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.
Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества— его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу «трех сигм» легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 . 40 тоже подчиняется нормальному закону, а при меньшем их числе — закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.
При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.
где S — сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п — число экспертов; m — число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.
Решение.1. Среднее арифметическое рангов
2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.
3. Коэффициент конкордации
Степень согласованности мнений экспертов можно считать удовлетворительной.
Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:
анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;
многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;
контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.
При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.
* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов («дельфийский оракул»), славившийся своими предсказаниями.
Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 . 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.
В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором различия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.
По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:
При непосредственных измерениях экспертным методом значения физических величин или показателей качества определяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле
где п — количество экспертов; m — число “взвешиваемых” показателей; — коэффициент весомости j -го показателя в баллах, данный i -м экспертом.
По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.
Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.
Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.
Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:
лучшим является седьмое, вторым по качеству — четвертое, затем — шестое, первое, второе, третье и пятое. Если же ранжирование проводилось с целью определения весовых коэффициентов g i для семи показателей качества, то они рассчитываются по формуле (53), в которой — ранг j — го показателя, установленный i -м экспертом, В примере 75
Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.
1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).
2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости — баллы или весовые коэффициенты 1 до 0.
3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.
4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.
5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.
Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.
Балл j — го объекта или весомость j — го показателя рассчитываются по формуле (53). В данном случае
где — частота предпочтения i — м экспертом j — го объекта экспертизы; С — общее число суждений одного эксперта, связанное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением
Пример 76. Предположим для простоты, что пять экспертов, выразили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.
Решение 1. Частоты предпочтений
Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.
5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.
Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, . и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим . и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т—1).
Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.
Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмотрения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность— цифрой 1, а предпочтение i — го объекта перед j — м — цифрой 0.
Что можно сказать о результате измерения в третьем приближении? Решение.
1. В первом приближении
2. Во втором приближении
G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;
G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;
www.klubok.net
—
