Как определить обеспечить качество экспертной оценки группы экспертов

Обновлено: 30.06.2024

Существуют различные, не противоречащие друг другу подходы к отбору экспертов. Одни авторы утверждают, что на практике применяют четыре основных метода отбора экспертов: на основании самооценки: на основании результатов прошлой экспертной деятельности: на основании определения компетентности: на основании оценки группой каждого специалиста -кандидата. Другие авторы говорят об использовании в квалиметрии пяти групп способов, с помощью которых оценивается качество эксперта, причем каждый из этих способов, как отмечает Г. Г. Азгальдов, характеризует несколько свойств эксперта. К этим способам относят: эвристические метопы опенки, статистические метопы оценки, тестовые методы, документальные (рейтинговые) методы оценки, комбинированные методы опенки.

Эвристические методы оценки,к которым относятся методы самооценки и взаимооценки, основаны на предположении, что представление у окружающих экспертов о данном эксперте достаточно правильно отражает его качество.

Статистические методы оценкиэкспертов основаны на предположении, что показания эксперта как своеобразного измерительного прибора имеют случайную и систематическую погрешности. К этой группе относятся: отклонение индивидуальной экспертной оценки от коллективной и воспроизводимость индивидуальной оценки через определенный промежуток времени.

Тестовые методы- получение экспертных оценок в результате специальных испытаний экспертов.

Документальные (рейтинговые) методы оценкиоснованы на предположении о том, что некоторые документальные данные (характеристики) об эксперте могут характеризовать его качество как эксперта. Например: содержание и количество публикаций, участие в международных семинарах и симпозиумах, стаж педагогической и научной деятельности.

Комбинированные методы оценкиоснованы на некоем обобщении оценок, полученных разными методами.

Независимо от метода, используемого для отбора группы экспертов, целесообразно уделить внимание вопросу ее состава. Принято считать, что в группах с однородным составом экспертов бывает меньше расхождений между собой, быстрее происходит процесс согласования группового решения.

Однако факт взаимного влияния мнений экспертов может привести и к нежелательным последствиям. В связи с этим, эксперты, участвующие в работе комиссии, должны обладать способностью высказывать мнения, не зависящие от мнений признанных авторитетов, от мнения большинства, должны уметь отказаться от своего публично высказанного мнения при выработке нового взгляда на проблему. Такие требования, естественно, создают значительные трудности при выборе экспертов для работы в комиссии.

В разнородных же группах эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок.

Понятие группового выбора, применительно к групповому экспертному оцениванию, не является средством замены индивидуального выбора неким коллективным образованием наподобие общественного мнения. В групповых решениях существенное значение имеют формирование на основе упорядочения объектов по их предпочтительносги коллективного заключения о групповом выборе и анализ индивидуальных отклонений от него. При этом индивидуальное мнение не игнорируется, а напротив, в случаях резкого отклонения от группового, становится предметом специального рассмотрения.

Критерий большинства не должен исключать учета мнения меньшинства. Даже сугубо индивидуальное мнение, когда оно хорошо аргументировано, не должно быть потеряно при квалифицированном разборе принимаемых решений, особенно в процессе экспертизы. Индивидуальные мнения, как правило, являются источником оригинальных предложений, столь необходимых для анализа нестандартных, неочевидных ситуаций. Они незаменимы при оценке уникальных, индивидуальных, специфичных разработок, опыта, деятельности. Индивидуальные заключения особенно важны для экспертного определения величины риска, поскольку индивид более чувствителен к опасности, нежели коллектив.

Экспертное оценивание часто необходимо тогда, когда возникают неопределенные ситуации, допускающие множество альтернатив и возможностей. В таких случаях разброс экспертных оценок выражает не степень некомпетентности специалистов, а объективную многоликость явлений, в том числе вариабельность аксиологических характеристик. Это означает, что все экспертные заключения правомочны, и их статистическая обработка может определять лишь меры согласованности позиций экспертов. Что же касается группового выбора, то если он оказывается возможным, результат экспертизы выражает практический опыт экспертной группы, а не истину как таковую.

Индивидуальная экспертиза.На наш взгляд индивидуальные оценки (индивидуальная экспертиза) предъявляют к эксперту особые, более высокие требования, нежели коллективные оценки (коллективная экспертиза), потому как при индивидуальной оценке выводы формулируются на основе суждения лишь одного эксперта. Совершенно очевидно, что успех такой оценки в значительной степени зависит от способности эксперта давать заключения по разным вопросам, требующим привлечения и общей эрудиции, как и специальных знаний (так как в большинстве своем педагогическая инновационная деятельность представляет собой совокупность самых различных направлений, школ, движений и т. п.).

Поэтому при выборе отдельного эксперта, прежде всего, должны приниматься во внимание соответствие сферы его компетентности задачам экспертизы, а также уровень квапифика^и эксперта в рассматриваемой области.

Экспертное оценивание рассматривается относительно двух основных форм экспертной работы: экспертного опроса (со всеми разновидностями от индивидуального интервью до коллективного генерирования идей и метода Дельфи) и диагностики, включая связанные с ней экспертные системы в кибернетике. В любом случае опрос и диагностирование в качестве способов получения и распознавания информации входят в сферу экспертного оценивания как формы выбора и предпочтения, сравнения и измерения, типологии и систематизации данных, моделирования и рационализации проблемных ситуаций экспертизы.

Квалифицированная экспертиза предполагает качественную и количественную оценку мнений экспертов и последующую математическую обработку ее результатов. Соответственно, экспертное оценивание может иметь многоуровневый характер: некоторые приемы сравнения, измерения, систематизации, рационализации и другие могут применяться к самим оценкам, а не только к первичным данным, особенно в ситуациях коллективного (группового) оценивания. В последнем случае ответы экспертов фиксируются, и таким образом строится их вероятностное распределение (27, 18).

В этой связи продуктивным способом организации групповой экспертизы является коллективное обсуждение индивидуального мнения, а точнее, выделение из экспертной группы наиболее квалифицированных, авторитетных экспертов в целях коррекции результирующих оценок.

Иначе говоря, при использовании экспертного оценивания возможны следующие ситуации:

1. Эксперты располагают надежной информацией, полученной в
процессе систематических эмпирических исследований (на основе
наблюдений, опросов, экспериментов), которая поддается измерениям и может быть апробирована контрольными проверками. В таком случае можно говорить о наличии определенного истинного результата, а
соответственно и знании (как продукта познания и осознания истины).

2. Имеется информация, оцениваемая лишь в пределах конкретной
ситуации. Применимость ее к другим обстоятельствам, будущим или
возможным событиям - проблематична, а надежность не всегда возможна. Такой случай может быть квалифицирован в познавательном
отношении как наличие некоего предположения (27, 26).

Определение сферы компетентности и уровня квалификации специалиста возможно путем разработки и совершенствования приемов взаимной оценки и самооценки этих профессиональных свойств специалистов. Приемы самооценки квалификации специалистов должны быть рассчитаны на выработку количественной оценки уровня квалификации, и включать, прежде всего, показатели, характеризующие степень его участия в развитии рассматриваемой области. Анализ такой самооценки должен позволить делать более обоснованные заключения по результатам экспертной оценки, выполненной каждым экспертом.

Назначение экспертов для проведения экспертизы инновационной проектной деятельности согласовывается и одобряется - с одной стороны экспертным советом, а с другой - авторами инновации.

Работа эксперта заключается в оценке (установлении качества) продукта по его характеристикам, для которых не существует объективно выработанного эталона. Оценивая инновацию, эксперт в большинстве случаев опирается на свое мнение о качестве, и, как предполагается, его ответ будет служить гарантией правильной и достоверной оценки.

В процессе рассмотрения состояния инновационного проекта эксперту предстоит понять, какой вид экспертизы подходит для ее оценки, каковы критерии этой оценки, какими средствами следует осуществлять оценку инновации. В сложных инновационных проектах может наблюдаться отсутствие достаточной информации для прогнозирования результатов экспериментальной деятельности, невозможность определения подобных инновационных практик и их сравнения. Поэтому необходимо привлечение квалифицированных специалистов-экспертов для проведения экспертизы различных вариантов прогнозируемых результатов. Однако следует иметь в виду, что если сами эксперты заинтересованы в результатах проекта, не исключено, что они могут сообщать не свое личное мнение, а такую информацию, которая приведет к принятию наиболее выгодного для них решения. Возможность такого искажения информации должна быть учтена в ходе проведения экспертизы.

При решении проблем нестандартных, связанных с прогнозированием s нестабильных условиях, должны участвовать эксперты высокой квалификации. Прогнозы, составленные экспертами средней квалификации, обычно основаны на традиционных привычных оценках. В ситуациях неопределенности, нестабильности они часто ошибочны. Высококвалифицированные специалисты оценят скрытые факторы и возможности появления новых тенденций.

На выбор группы (коллектива) экспертов оказывают влияние такие факторы, как соответствие суммарной сферы компетентности группы экспертов оцениваемой области, возможности прогнозистов по организации экспертизы с учетом затрат времени и средств на проведение опроса.

3.9. Критерии экспертизы

Критерии- зависимые переменные характеристики, которые предположительно являются наиболее адекватными для решения практических проблем.

Если считать, что задачей инновационной деятельности является прогнозирование и, в конечном счете, повышение эффективности деятельности образовательной системы, то базовыми критериями инновационной деятельности являются показатели эффективности деятельности на индивидуальном, групповом и организационном уровнях отдельного учреждения.

Критерий- признак, на основании которого производятся оценка, определение или классификация чего-либо; мерило оценки.

Критерии экспертной оценки определяются в соответствии с принципами и целями конкретной экспертизы. Существуют разные подходы к определению критериев экспертизы инновационных проектов.

Их состав определяется характером педагогических объектов, подлежащих экспертной оценке, наличием или отсутствием выработанных нормативов, мер, эталонов.

Некоторые авторы в качестве основных критериев выделяют реалистичность и реализуемость инновационного проекта.

В случае рассмотрения реалистичности инновации (эксперимента), совсем не предполагается рассматривать, насколько реально может существовать тот или иной инновационный проект. Главное - это определить, имеет ли он право на существование, насколько он соотносится с ситуациями будущего, имеется ли в наличии прогноз с пошаговыми действиями, в которых будет осуществляться инновационный проект, или может ли он быть представлен. Другим критерием инновационной деятельности является ее реализуемость (ресурсное обеспечение), которая рассматривается с учетом участников инновационного проекта; в данном случае возникает необходимость определить круг лиц, вовлеченных в инновационную проектную деятельность, для каждого из которых должно быть четко определено свое функциональное место, чем и будет обеспечиваться их включенность в реализацию идеи.

Мы рассмотрели один из подходов к критериям экспертизы инновационной деятельности. Гуманистичность инновационного проекта заключается в отражении в проекте гуманистического мировоззрения, или же в представлении в нем разнообразной образовательной среды либо в его демократичности. Проработанность инновационного проекта в качестве критерия предполагает наличие научного обоснования инновационной идеи и рассмотрение возможных путей реализации проекта. Большую значимое имеет критерий возможного распространения представленной в проекте инновации, так как в данном случае наравне с возможностью ее распространения определяется и уровень инновации - подлежит ли она распространению на федеральном, региональном, межрегиональном и местном уровнях, или возможно только ее частичное использование, или же инновация не подлежит распространению, в связи с ос экстраординарностью, или она не представляет интереса.

На наш взгляд, достаточно полной и интересной является следующая классификация критериев экспертизы:

• общие критерии,позволяющие оценить значимость предлагаемого
проекта с точки зрения основных тенденций, целей и направлений развития и реформирования образования на разных уровнях его организации;

• специальные критерии,позволяющие оценить компетентность
автора и содержательность проекта с точки зрения его полноты, соответствия нормативным и понятийным требованиям;

• частные критерии, позволяющие оценить степень обоснованности проекта с точки зрения возможностей его воплощения и жизнеспособности (17).

Рассмотрим состав названных критериев. В состав общих критериевинновационного проекта входят следующие показатели: новизна (инновационность) проектной идеи, которая может заключаться в создании абсолютно нового, неизвестного до настоящего времени продукта или в совершенствовании существующей образовательной ситуации, в предложении альтернатив развитию инновационной идеи и т. п.; масштабность инновационного проекта - какого уровня и какой значимости предполагаемый проект. Будет ли проект носить локальный характер, осуществляться на местном уровне и иметь, соответственно, ценность на этом уровне, или инновационный проект предполагает изменение в образовательной практике на региональном, межрегиональном и даже федеральном уровнях.

Следующим показателем, относящимся к общим критериям, является системность инновационного проекта. В представленном на экспертизу проекте необходимо определить: какой характер будет ноешь проект - фрагментарный или системный, то есть, будет ли рассматриваться содержание образования или сценарий отдельного урока, как и будут ли разработаны и представлены образовательные технологии или отдельные педагогические действия и т. п.

В состав критериев входит также и эффективность инновационного проекта. При ее рассмотрении следует понять, что же произойдет в образовательной практике с введением данного инновационного проекта: улучшение, существенное обогащение образовательной теории или практики, кардинальное преобразование существующей образовательной ситуации.

Транслируемость проектной идеи говорит о возможности трансляции представленной инновации, ее тиражирования или о том, что идея может существовать (быть реализована) только в экстраординарных условиях.

Рассмотрев состав общих критериев и их значение в экспертизе инновационных проектов, остановимся на составе специальных критериев.Учитывая, что каждый из представленных критериев существенно значим для экспертизы проекта, рассмотрим их в определенной последовательности.

Полнота структуры инновационного проекта, которая в проекте представлена анализом реальной образовательной ситуации; концепцией инновационного проекта, включающего проектную идею, описание проблем, постановку целей, формирование задач; содержательной и организационной моделью образовательной системы или ее фрагментом; планом и сметой реализации проекта с его ресурсным обеспечением.

Не менее значимой является и степень проработанности структурных элементов проекта. Следующим критерием является согласованность структурных частей проекта: рассматриваются ли во взаимосвязи анализ ситуации и описание проблем, которые необходимо решить; концепция, цели и задачи инновационного проекта; цели, задачи проекта и необходимые ресурсы (технологические, организационные, профессиональные, финансовые, материально-технические и т. д.).

И, конечно, группой критериев, необходимых для экспертной оценки инновационного проекта являются частные критерии.К ним, в первую очередь, относится реалистичность инновационного проекта, которая предполагает соответствие идей, целей и задач проекта реальной образовательной ситуации и имеющимся ресурсам. Другим частным критерием является реализуемость инновационного проекта, заключающаяся в наличии, вовлеченности и согласованности действий других субъектов образовательной ситуации с действиями автора проекта при его реализации. Еще одной характеристикой и частным критерием в экспертизе инновационных проектов выступает инструментальность (управляемость) проекта, то есть наличие организационных форм, способов и плана действий по его реализации.

Предположим, крупному промышленному предприятию отрасли лесопереработки требуется разработать набор первоочередных мер, способствующих скорейшей адаптации к негативным условиям внешней среды. В географическом районе, в котором действует фирма, экономический кризис. Значительная часть покупателей продукции, поставщиков сырья и материалов и других контрагентов находится в затруднительном положении. Организации необходимо наилучшим образом приспособиться к новым условиям и максимально нейтрализовать их негативное воздействие, чтобы продолжить свою деятельность.

Руководство фирмы составило список мероприятий, которые применялись и применяются на аналогичных предприятиях для борьбы с кризисом. Но применение всех мер одновременно невозможно — на это, как правило, нет ни средств, ни времени. Нужно сосредоточить усилия на ключевых направлениях (не более пяти). Было принято решение пригласить экспертов, чтобы они проранжировали эти меры по степени их важности (12 баллов за первоочередную меру и далее по убывающей). Подбор экспертов и проведение оценивания должны пройти в течение 2 недель. После этого руководителю должны быть представлены рекомендуемые меры.

Основные меры адаптации российских промышленных предприятий к кризисным условиям:

1. Сдерживание роста цен на свою продукцию (О1).

3. Вложение инвестиций в развитие предприятий-поставщиков (О3).

4. Борьба за госзаказы (О4).

5. Выход на зарубежные рынки (О5).

6. Изменение профиля производства (О6).

7. Производство сырья и материалов на своем предприятии (О7).

8. Сокращение ассортимента (О8).

9. Сокращение объема выпуска (О9).

10. Активная реклама (О10).

11. Работа с посредниками и дилерами (О11).

12. Изменение ассортимента выпускаемой продукции (О12).

Поставлена задача подготовить проект решения, поэтому нужно оценивать степень согласованности экспертов (всего в обсуждении принимают участие 5 экспертов).

Приглашая экспертов, необходимо учитывать следующее:

они не должны работать на конкурирующие организации или иметь родственные связи с их руководителями;

должны знать рынок (тенденции, движущие силы отрасли, основных игроков на рынке, ключевые факторы успеха), а также обладать знаниями в области маркетинга, ценообразования и антикризисного стратегического менеджмента;

иметь высшее экономическое образование и опыт работы не менее 5 лет на руководящих должностях в отрасли (в данном случае — в отрасли лесопереработки);

быть независимыми в своих суждениях и в то же время уметь прислушиваться к мнениям других;

обладать аналитическимым мышлением.

Вернемся к исследованию. Эксперты проранжировали адаптационные меры по уровню значимости от 1 до 12. Оценку 12 получает мероприятие, которое необходимо провести в первую очередь, далее по убыванию. Результаты экспертного оценивания приведены в табл. 1.

Таблица 1. Результаты экспертного оценивания

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

О1

О2

О3

О4

О5

О6

О7

О8

О9

О10

О11

О12

Теперь посчитаем среднюю оценку по каждому объекту. Для этого необходимо сумму оценок всех экспертов по каждому из объектов, поделить на количество экспертов. Средние значения оценок экспертов представлены в табл. 2.

Таблица 2. Средние значения оценок экспертов

Объект

Средняя оценка

По средним значениям оценок, представленным в табл. 2, нельзя с уверенностью судить о том, какие меры предпочтительнее по отношению к другим, так как некоторые объекты получили одинаковые оценки (например, объекты О11 и О12).

Чтобы вычислить более точную оценку по каждому объекту, можно использовать групповую экспертную оценку, получаемую путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, ее поставившего.

Следовательно, необходимо рассчитать коэффициенты компетентности каждого из пяти экспертов. Суть этого вычисления заключается в предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Оценка коэффициента компетентности эксперта производится по формуле:

где K_j — коэффициент компетентности j-го эксперта;

X_ij — оценка i-го объекта, поставленная j-м экспертом;

Разберем на примере первого эксперта:

К₁ = (4 × 4,8 + 5 × 5,8 + 9 × 8,2 + 2 × 3,6 + 7 × 5,4 + 6 × 5,0 + 8 × 9,4 + 1 × 1,2 + 3 × 3,6 + 11 × 9,0 + 10 × 11,00 + 12 × 11,00) / (4,8 × 24 + 5,8 × 2,9 + 8,2 × 41 + 3,6 × 18 + 5,4 × 27 + 5,0 × 25 + 9,4 × 47 + 1,2 × 6 + 3,6 × 18 + 9,0 × 45 + 11,00 × 55 + 11,00 × 55) = 0,20272.

В таблице 3 представлены коэффициенты компетентности остальных экспертов, рассчитанные аналогичным образом.

Таблица 3. Коэффициенты компетентности экспертов

Эксперт

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Взвешенные экспертные оценки по каждому объекту представлены в табл. 4.

Таблица 4. Расчет взвешенных оценок

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Взвешенная оценка

О1

О2

О3

О4

О5

О6

О7

О8

О9

О10

О11

О12

Данные оценки не имеют повторяющихся значений по объектам, следовательно, могут быть проранжированы по убыванию эффективности мер.

Следующий шаг — оценка качества экспертизы.

Качество проведенной экспертизы оценивают с помощью коэффициента согласованности мнений экспертов (коэффициента конкордации, W), который рассчитывается по формуле:

где S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения;

n — число экспертов;

m — число объектов оценки.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 означает полную несогласованность, 1 — полное единодушие.

Рассчитаем коэффициент конкордации для нашего примера. Для начала необходимо посчитать среднее значение суммарных оценок по всем объектам:

(24 + 29 + 41 + 18 + 27 + 25 + 47 + 6 + 18 + 45 + 55 + 55) / 12 = 32,5.

Далее рассчитываем суммы квадратов отклонений (табл. 5).

Таблица 5. Расчет суммы квадратов отклонений

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

Отклонение

от среднего

Квадрат отклонения

О1

О2

О3

О4

О5

О6

О7

О8

О9

О10

О11

О12

Итого

Например, для объекта О1 сумма всех оценок экспертов составила 24. Определим:

отклонение суммы оценок от среднего: (24 – 32,5) = 8,5;

квадрат отклонения: (–8,5) 2 = 72,25.

Сумма квадратов отклонений — 2745. Теперь можно рассчитать коэффициент конкордации:

Высокое значение коэффициента конкордации говорит о том, что мнения экспертов согласованны, следовательно, качество экспертизы можно оценить как высокое.

Представим теперь полученные результаты в виде отсортированной таблицы, в которой сначала идут объекты, получившие наибольшую оценку, а в конце — наименьшую (табл. 6).

Таблица 6.Сортировка оценок по мере убывания

Меры адаптации

Экспертная оценка

Работа с посредниками и дилерами

Изменение ассортимента выпускаемой продукции

Производство сырья и материалов на своем предприятии

Вложение инвестиций в развитие предприятий-поставщиков

Выход на зарубежные рынки

Изменение профиля производства

Сдерживание роста цен на свою продукцию

Сокращение объема выпуска

Борьба за госзаказы

Таким образом, в процессе экспертизы были выявлены наиболее эффективные меры адаптации к неблагоприятным изменениям внешней среды. Высокая степень согласованности экспертов говорит о хорошем качестве полученных данных.

А. Ф. Гарифулин,
экономист

Экспертное оценивание при разработке эффективной стратегии

Зачастую для принятия важных стратегических решений привлекаются компетентные специалисты (эксперты), авторитетное мнение которых позволяет оценить значимость и результат от принятия данного решения.

Основные меры адаптации российских промышленных предприятий к кризисным условиям:

1. Сдерживание роста цен на свою продукцию (О1).

3. Вложение инвестиций в развитие предприятий-поставщиков (О3).

4. Борьба за госзаказы (О4).

5. Выход на зарубежные рынки (О5).

6. Изменение профиля производства (О6).

7. Производство сырья и материалов на своем предприятии (О7).

8. Сокращение ассортимента (О8).

9. Сокращение объема выпуска (О9).

10. Активная реклама (О10).

11. Работа с посредниками и дилерами (О11).

12. Изменение ассортимента выпускаемой продукции (О12).

Приглашая экспертов, необходимо учитывать следующее:

они не должны работать на конкурирующие организации или иметь родственные связи с их руководителями;

быть независимыми в своих суждениях и в то же время уметь прислушиваться к мнениям других;

обладать аналитическимым мышлением.

ТЕМА: экспертные методы оценки качества продукции. Формирование экспертной группы.

ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы;

2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия.

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.
Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.
Тестовые, при которых значения оценок получаются в результате специальных испытаний, основанных на решении специально подобранных тестовых задач.
Документальные, при которых значения оценок получаются на основе анализа документальных данных об экспертах.
Комбинированные, при которых значения оценок получаются с помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

где Кi- среднее значение i– той оцениваемой величины (свойства);

Кij- значение i– той величины (свойства), назначенное j –тым экспертом; n

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

где Si – сумма рангов, присвоенных m экспертами i-тому фактору;

S – среднее значение сумм рангов;

Величины Si и S определяются отношениями:

Si= Кij ; S= Si / n

где j – номер эксперта;

i – номер оцениваемого фактора.

Величина Tj определяется из выражения:

где tjl – число одинаковых рангов 1-го вида в оценках j –того эксперта;

Lj –количество групп факторов с совпавшими рангами в оценках j –того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона).

Величина 2 определяется по формуле:

Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W

Экспертное заключение – одно из важнейших доказательств в суде. Об этом должны помнить стороны, участвующие в судебном процессе. Особое внимание этому виду доказательства должны уделять защитники. Это значит, что адвокаты должны руководствоваться определённой методикой работы с заключениями экспертов, правильно оценивать их достоверность, то есть устанавливать их соответствие и действительности.

Существуют два способа оценки научной достоверности заключения эксперта (адвокаты должны использовать их в сочетании):

анализ условий и методов проведенных исследований;
сопоставление выводов экспертов с другими доказательствами, содержащими сведения о предмете исследования, то есть анализ заключения эксперта в частной системе доказательств.

1. Компетентен ли эксперт? Правомочен ли отвечать на поставленные вопросы? Не было ли фальсифицировано заключение?

Большинство судебных экспертиз в России проводят специально подготовленные эксперты. Как правило, это – сотрудники государственных учреждений судебной экспертизы. При изучении заключения экспертизы защитнику необходимо в первую очередь обращать внимание на компетентность эксперта.

Как это выяснить?

Эти данные адвокат может почерпнуть из вводной части заключения.

Пример из судебной практики

Гражданина А. признали виновным в том, что, находясь в состоянии алкогольного опьянения, в процессе возникшей с потерпевшим Б. ссоры на почве личных неприязненных отношений, он умышленно нанес удары руками и ногами в различные части тела потерпевшего. Потерпевший в результате получил легкие телесные повреждения в виде ссадин и кровоподтеков на лице и подмышечной области справа, а также у него возникла субдуральная гематома височно-теменной области, которая относится к тяжким телесным повреждениям, что привело к смерти потерпевшего.

Защитник подал надзорную жалобу, в которой поставил под сомнение это утверждение суда и указал, что суд не учел, что К. судмедэкспертом не является и никогда им не был, а являлся хирургом ЦРБ. Указанное обстоятельство, по мнению защиты, имело большое значение. Надзорная инстанция согласилась с мнением защиты, и приговор по делу С. был отменен, дело направлено на новое судебное рассмотрение и впоследствии по делу вынесен оправдательный приговор.

Правомочен ли эксперт отвечать на поставленные перед ним вопросы?

Другая разновидность некомпетентности эксперта вытекает еще и из неправомерных вопросов к эксперту, когда тот не только неправомочен отвечать на конкретный вопрос, но и попросту некомпетентен в этой области.

Пример из судебной практики

В описанном выше деле следователем был поставлен вопрос: мог ли потерпевший нормально жить и мыслить после получения черепно-мозговой травмы? Судебно-медицинский эксперт ответил на поставленный вопрос следователя, хотя ответ на данный вопрос выходил за пределы компетенции судмедэксперта и требовал привлечения экспертов других специальностей. Защита обратила внимание в надзорной жалобе на это обстоятельство, что послужило одним из оснований для отмены приговора.

2. Предупреждали ли эксперта об ответственности?

На практике это простое и легко выполнимое требование закона выполняется далеко не всегда.

Пример из судебной практики

Верховный Суд РФ согласился с этими доводами защиты и отменил приговор, направив дело на новое рассмотрение.

Практика показывает, что по дополнительным экспертизам (чаще всего СМЭ) экспертов, проводящих исследование, почему-то не предупреждают об уголовной ответственности по ст. 307 УК РФ и им не разъясняют требования ст. 57 УПК РФ.

3. Были ли подвергнуты исследованию подлинные объекты?

Защитник должен убедиться, что исследованию подвергнуты те самые объекты, которые изъяты с места происшествия, что не произошло смешения вещественных доказательств с образцами и т. п.

Как это сделать? Следует сопоставить индивидуальные признаки вещественных доказательств в протоколах их изъятия, осмотра с описанием объектов исследования в заключении эксперта.

Пример из судебной практики

При этом ссылка на это доказательство была сделана при отсутствии достоверных данных о том, что предметом исследования эксперта действительно явилось вещество, изъятое из автомобиля, которым управлял В.

Несмотря на существенное различие в описании упаковок, в которых находилось вещество, изъятое в автомашине В., а также существенное расхождение в весе изъятого вещества до направления его на исследование эксперту и при поступлении на исследование, суд эти противоречия не устранил, что впоследствии лишило доказательственного значения результаты двух химических экспертиз, проведенных по делу.

В дальнейшем по надзорной жалобе адвоката приговор по делу В. был отменен, дело было направлено на новое рассмотрение, по результатам которого В. был оправдан.

4. Удовлетворяют ли образцы, представленные на экспертизу, общим требованиям?

Адвокат должен убедиться, что образцы, представленные на экспертизу, удовлетворяют требованиям несомненности происхождения, репрезентативности, сопоставимости.

Пример из судебной практики

По делу А. была проведена судебно-баллистическая экспертиза. Согласно постановлению о назначении указанной экспертизы, пулю изъяли с места происшествия. В то же время из протокола осмотра места происшествия следовало, что никаких пуль с места происшествия не изымалось. О том, что пуля была изъята именно с места происшествия, свидетельствовали и другие документы, имеющиеся в материалах уголовного дела.

В материалах уголовного дела имелся протокол изъятия пули в морге при осмотре одежды умершего А. работниками милиции. Однако, как впоследствии пуля попала к следователю прокуратуры, который расследовал данное уголовное дело, было неясно. В материалах уголовного дела не было никаких сведений об этом. Кроме этого, такое следственное действие, как изъятие, вообще не предусмотрено нормами УПК РФ.

Из заключения СМЭ следовало, что при исследовании джемпера убитого А. выпала пуля оболочечная диаметром 0,7 см, длиной 1,3 см. В то же время по заключению баллистической экспертизы размеры пули были совсем другие.

Все эти обстоятельства были указаны защитой в надзорной жалобе и послужили основанием для признания судебно-баллистической экспертизы незаконной.

5. Обоснованы ли научно выводы эксперта?

Выводы эксперта могут не признать научно достоверными, если исходные научные данные, положенные экспертом в основу выводов, недостаточно научно обоснованы.

Защитник должен выяснить, не собирал ли эксперт самостоятельно материалы и объекты для производства экспертизы.

Пример из судебной практики

По одному из уголовных дел судебная коллегия по уголовным делам Липецкого областного суда указала, что согласно п. 2 ч. 4 ст. 57 УПК РФ эксперт не вправе самостоятельно собирать материалы для экспертного исследования.

Из материалов дела следовало, что 02.12.2008 следователь Е. А. вынес постановление о назначении по делу СМЭ. Согласно данному постановлению, в распоряжение эксперта следователь предоставлял копию постановления, подэкспертного Б. Р. и материалы уголовного дела.

Из описательно-мотивировочной части заключения экспертов следовало, что Б. Р. был осмотрен экспертом и направлен к травматологу в поликлинику № 1. Затем судмедэксперт сослался на сведения, изложенные в амбулаторной карте поликлиники № 1 на имя Б. Р., и сделал вывод о наличии у потерпевшего ушиба копчика. Однако данных о том, что амбулаторная карта была истребована следователем, приобщена к материалам уголовного дела в качестве вещественного доказательства, не имелось.

Каким образом медкарта оказалась в распоряжении эксперта, установить не представилось возможным.

Исходя из этого, судебная коллегия сочла, что заключение СМЭ было основано на необъективных, недостоверных данных, в связи с чем оно является недопустимым доказательством. Поскольку заключение эксперта было признано недопустимым доказательством, оснований для утверждения, что потерпевшему Б. Р. в результате действий подсудимых было причинено насилие, опасное для жизни и здоровья, не имелось.

6. Являются ли проведенные экспертами исследования полными?

Защитник может проанализировать выполненные экспертами исследования с точки зрения известной ему методики соответствия действующим ведомственным инструкциям и правилам.

Как это сделать? Согласно ч. 1 ст. 204 УПК РФ, в заключении эксперта указываются объекты исследований и материалы, представленные для производства судебной экспертизы, содержание и результаты исследований с указанием примененных методик.

Пример из судебной практики

Признавая К., Н. и М. виновными в умышленном причинении потерпевшему П. вреда здоровью средней тяжести, а также К. и Н. – в умышленном причинении тяжкого вреда здоровью, опасного для жизни, повлекшего по неосторожности смерть потерпевшего П., суд сослался на дополнительное заключение эксперта от 07.07.2010 № 977доп.

Согласно ч. 1 ст. 207 УПК РФ, дополнительная экспертиза может быть проведена при недостаточной ясности или полноте заключения эксперта, либо при возникновении новых вопросов в отношении ранее исследованных обстоятельств уголовного дела. Исходя из толкования ч. 2 ст. 207 УПК РФ, если при производстве первичной экспертизы были допущены нарушения уголовно-процессуального закона, влекущие признание этого заключения недопустимым доказательством, то проводится повторная экспертиза, производство которой поручается другому эксперту.

Вопреки вышеприведенным требованиям закона, эксперт, вместо проведения исследования, сослался на предыдущее заключение эксперта от 01.12.–24.12.2009 № 977, которое было проведено до возбуждения уголовного дела, следовательно, в силу ст. 75 УПК РФ является недопустимым доказательством, как полученное с нарушением требований уголовно-процессуального закона.

Судом при оценке заключения эксперта от 07.07.2010 как доказательства не было принято во внимание, что в нарушение требований ст.ст. 204, 207 УПК РФ по делу была проведена дополнительная экспертиза, в которой отсутствует описательная часть исследования. Допущенные нарушения закона повлияли на постановление законного, обоснованного и справедливого приговора, что в соответствии со ст. 381 УПК РФ является основанием для его отмены.

7. Не противоречат ли друг другу выводы эксперта?

Выводы экспертов должны вытекать из результатов проведенных ими исследований и обнаруженных признаков.

Пример из судебной практики

Суд сослался на выводы судебно-медицинского эксперта С. и заключение, изложенное в акте комиссионной СМЭ, как на доказательство виновности К. в причинении тяжкого вреда здоровью А., повлекшего смерть последнего.

Согласно заключению эксперта С., все имевшиеся у потерпевшего А. телесные повреждения не могли возникнуть при падении и от удара кулаком. В акте комиссионной СМЭ содержался вывод, что имевшиеся у А. телесные повреждения могли образоваться в результате удара кулаком, и приводились данные, подтверждающие указанное заключение комиссии.

В судебном заседании допросили экспертов С. и В. Эксперт С. полностью подтвердил данное им заключение о том, что телесные повреждения не могли быть причинены только кулаком. Эксперт В. подтвердил в судебном заседании правильность выводов экспертов, проводивших повторную комиссионную экспертизу.

Таким образом, имеющиеся в деле акты СМЭ содержали прямо противоположные выводы о способе причинения телесных повреждений А.

Между тем, суд первой инстанции признал оба заключения достоверными, объективными, не противоречащими друг другу, а дополняющими, и постановил обвинительный приговор на основании выводов экспертов, проводивших повторную комиссионную СМЭ, оставив без надлежащей оценки вывод эксперта С. По жалобе защиты, данный приговор суда был отменен в надзорном порядке по вышеизложенным причинам.

8. В какой форме представляются выводы эксперта?

Выводы эксперта могут иметь форму категорического или предположительного заключения.

Когда эксперт делает категорический вывод? Если в результате исследования установлены признаки, которые, по мнению эксперта, достаточны для достоверного разрешения поставленного перед ним вопроса.
Когда эксперт даёт предположительное заключение? Если обнаруженные признаки не обеспечивают достоверности вывода, но позволяют судить о факте с высокой степенью вероятности.

Независимо от формы вывода эксперта, он должен быть оценен по существу с точки зрения его фактической обоснованности и непротиворечивости. Защитник должен сопоставить информацию о факте, полученную в результате экспертизы, со сведениями о том же факте, полученными из других источников. Это обеспечит всестороннюю проверку заключения эксперта и достаточную надежность итогового вывода следователя и суда.

После установления факта – к оценке доказательственного значения

После достоверного установления факта переходят к оценке доказательственного значения экспертизы. На этом этапе оценки следует определить значение установленного экспертизой факта.

Каков общий метод оценки?

Так, внешние (пространственные, временные, информационные) связи оцениваются с точки зрения установления причинности, от причинной связи с расследуемым событием предметов переходят к установлению причинной связи конкретных физических лиц.

Алгоритм оценки на примере дел о ДТП

Трассологическая экспертиза помогает по следам протектора установить автомобиль их оставивший. Если анализ материальной обстановки происшествия приведет к выводу о причинной связи этих следов с фактом наезда на пешехода, то можно говорить об установлении транспортного средства, на котором совершен наезд. Следующая задача: установить водителя, степень и характер его вины.

Алгоритм оценки на примере проведения СМЭ

Посредством судебно-медицинской экспертизы устанавливают причину смерти и характер тех материальных взаимодействий, которые её вызвали (например, разрыв печени в результате ударов в живот тяжелым тупым предметом). Защитник должен установить, что такие удары могли быть нанесены потерпевшему только при избиении, являющемся предметом расследования.

Читайте также: