Что такое findslide.org?

FindSlide.org - это сайт презентаций, докладов, шаблонов в формате PowerPoint.


Для правообладателей

Обратная связь

Email: Нажмите что бы посмотреть 

Яндекс.Метрика

Презентация на тему Экспертные оценки

Содержание

Характеристика метода экспертных оценокЭкспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:Выбор лучшего варианта решения
Экспертные оценкиХарактеристика метода экспертных оценокНазначение метода ЭОЭтапы проведенияПодбор экспертов Проведение экспертизы Обработка и анализ результатов Характеристика метода экспертных оценокЭкспертное оценивание — процедура получения оценки проблемы на основе мнения Этапы экспертного оцениванияПостановка цели исследования.Выбор формы исследования, определение бюджета исследования.Подготовка информационных материалов, Этапы экспертного оценивания  Перед началом экспертного исследования необходимо четко определить его Выбор формы исследования       Классификация экспертных оценок Выбор метода исследования       Наиболее известные методы Подготовка информационных материалов       Эксперты перед вынесением Подготовка информационных материалов    Следует избегать следующих ошибок: упоминать разработчиков Подбор экспертов Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При Подбор экспертов Минимальное количество экспертов предлагается определять по формуле   N Подбор экспертов Качество подбора экспертов характеризуется совокупностью показателей, определяющих: индивидуальные качества экспертов, Подбор экспертов Основными требованиями, предъявляемыми к экспертам, являются: компетентность, определяемая уровнем образования Подбор экспертов Индивидуальный уровень подготовленности j-го эксперта Uj определяется суммой баллов uij Выбор метода экспертизы При оценке практической применимости методов экспертного оценивания для решения Выбор метода экспертизы Анализ применимости различных экспертных методов по совокупности критериев показал, Факторы адекватности экспертизы По мнению специалистов, адекватность экспертных оценок существенно зависит от: Проведение экспертизы Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:Препятствовать Обработка и анализ результатов Основные этапы обработки экспертных оценок:определение компетенции экспертов;определение обобщенной Балльное (непосредственное) оценивание Обработка и анализ результатов  Эксперты лучшим вариантом признали вариант E, набравший Обработка и анализ результатов        Далее Обработка и анализ результатов  Если мнения окажутся несогласованными: Во-первых, информацию о Обработка и анализ результатов  При отсутствии значимой согласованности экспертов необходимо выявить Использование ранжирования для выбора варианта решения У группы в количестве m экспертов Индивидуальные и коллективная ранжировки Использование ранжирования для выбора варианта решения Индивидуальные ранжировки экспертов для рассматриваемого примера Проверка согласованности мнений экспертов. Для этого подсчитываются квадраты сумм рангов, представленные в Значения XтаблДля принятия решения о согласованности требуется, чтобы удовлетворялось неравенство Xрас > Использование ранжирования для выбора варианта решения  Если оказалось, что Xрас меньше Использование коэффициента конкордации  Для проверки согласованности мнений экспертов существует другой метод,
Слайды презентации

Слайд 2 Характеристика метода экспертных оценок
Экспертное оценивание — процедура получения оценки

Характеристика метода экспертных оценокЭкспертное оценивание — процедура получения оценки проблемы на основе

проблемы на основе мнения специалистов (экспертов) с целью последующего

принятия решения (выбора).
Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:
Выбор лучшего варианта решения среди имеющихся.
Прогнозирование развития процесса.
Поиска возможного решения сложных задач.


Слайд 3 Этапы экспертного оценивания
Постановка цели исследования.
Выбор формы исследования, определение

Этапы экспертного оцениванияПостановка цели исследования.Выбор формы исследования, определение бюджета исследования.Подготовка информационных

бюджета исследования.
Подготовка информационных материалов, бланков анкет, модератора процедуры.
Подбор экспертов.
Проведение

экспертизы.
Анализ результатов (обработка экспертных оценок).
Подготовка отчета с результатами экспертного оценивания.

Слайд 4 Этапы экспертного оценивания
Перед началом экспертного исследования

Этапы экспертного оценивания Перед началом экспертного исследования необходимо четко определить его

необходимо четко определить его цель (проблему) и сформулировать соответствующий

вопрос для экспертов.
При этом рекомендуется придерживаться следующих правил:
Четкое определение условий, времени, внешних и внутренних ограничений проблемы. Возможность ответа на вопрос с доступной человеческому опыту точностью.
Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Слайд 5 Выбор формы исследования

Выбор формы исследования    Классификация экспертных оценок :По форме

Классификация экспертных оценок :
По форме участия экспертов: очное,

заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.
По решаемым задачам: генерирующие решения и оценивающие варианты.
По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
По способу обработки мнений экспертов: непосредственные и аналитические.
По количеству привлекаемых экспертов: без ограничения, ограниченные.
Обычно используется 5 — 12 человек экспертов.


Слайд 6 Выбор метода исследования

Выбор метода исследования    Наиболее известные методы экспертных оценок:

Наиболее известные методы экспертных оценок:
метод Дельфи,
мозговой

штурм
метод анализа иерархий.
Каждому методу соответствуют свои сроки проведения и потребность в экспертах.
После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают:
оплату экспертов,
аренду помещения, приобретение канцтоваров, оплату специалиста по проведению,
анализ результатов экспертизы.


Слайд 7 Подготовка информационных материалов

Подготовка информационных материалов    Эксперты перед вынесением суждения должны

Эксперты перед вынесением суждения должны разносторонне рассмотреть

представленную проблему.
Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь.
Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов.
В зависимости от метода они могут быть с открытыми и закрытыми вопросами.
Ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.


Слайд 8 Подготовка информационных материалов
Следует избегать

Подготовка информационных материалов  Следует избегать следующих ошибок: упоминать разработчиков материалов,

следующих ошибок:
упоминать разработчиков материалов, выделять тот или иной

вариант решения,
выражать отношение руководства к ожидаемым результатам.
Саму процедуру проводит независимый модератор, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.


Слайд 9 Подбор экспертов
Эксперты должны обладать опытом в областях,

Подбор экспертов Эксперты должны обладать опытом в областях, соответствующих решаемым задачам.

соответствующих решаемым задачам.
При подборе экспертов следует учитывать момент

личной заинтересованности, который может стать существенным препятствием для получения объективного суждения.
С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив экспертов.


Слайд 10 Подбор экспертов
Минимальное количество экспертов предлагается определять по

Подбор экспертов Минимальное количество экспертов предлагается определять по формуле  N

формуле
N = 0,5 (3/α + 5);


где 0 < α ≤ 1 – параметр, задающий минимальный уровень ошибки экспертизы.
Исходя из этого условия, минимальное количество экспертов равно 4 (при α = 1).
Как правило, для группового оценивания необходимо привлечение не менее 7–9 экспертов

Слайд 11 Подбор экспертов
Качество подбора экспертов
характеризуется совокупностью показателей,

Подбор экспертов Качество подбора экспертов характеризуется совокупностью показателей, определяющих: индивидуальные качества

определяющих:
индивидуальные качества экспертов,
подготовленность и
однородность экспертной группы.


Существует достаточно много различных подходов к подбору экспертов и формированию экспертных групп. Вместе с тем в настоящее время отсутствует общепризнанная методика оценки уровня подготовленности кандидатов в эксперты.

Слайд 12 Подбор экспертов
Основными требованиями, предъявляемыми к экспертам, являются:

Подбор экспертов Основными требованиями, предъявляемыми к экспертам, являются: компетентность, определяемая уровнем


компетентность, определяемая уровнем образования и наличием практического опыта в

профессиональной сфере;
объективность, характеризующая заинтересованность в объективных результатах экспертной работы;
нонконформизм, характеризующий независимость суждений и устойчивость собственного мнения;
креативность, характеризующая способность решать творческие задачи;
аналитичность, характеризующая широту мышления и способность выходить за рамки сложившихся представлений.


Слайд 13 Подбор экспертов
Индивидуальный уровень подготовленности j-го эксперта Uj

Подбор экспертов Индивидуальный уровень подготовленности j-го эксперта Uj определяется суммой баллов

определяется суммой баллов uij по всем i-м оцениваемым требованиям,


а общий уровень подготовленности экспертной группы определяется как среднее арифметическое оценок Uj всех экспертов.
Исходя из индивидуальных оценок Uj , при необходимости определяются веса экспертных оценок различных экспертов gj с учетом условия нормирования (сумма весов оценок всех экспертов gj для равна единице).
Исходя из оценки общего уровня подготовленности экспертной группы , производится выбор метода экспертного оценивания.

Слайд 15 Выбор метода экспертизы
При оценке практической применимости методов

Выбор метода экспертизы При оценке практической применимости методов экспертного оценивания для

экспертного оценивания для решения рассматриваемой задачи анализируют:
процедурную сложность

реализации экспертизы,
потенциальную точность экспертной оценки,
ограничения на количество оцениваемых альтернатив, при которых обеспечивается потенциальная точность экспертных оценок (табл.1).

Слайд 17 Выбор метода экспертизы
Анализ применимости различных экспертных методов

Выбор метода экспертизы Анализ применимости различных экспертных методов по совокупности критериев

по совокупности критериев показал, что для решения многих задач

наиболее приемлемыми являются методы парного сравнения и непосредственного (балльного) оценивания.
Метод ранжирования потенциально не позволяет получить адекватные оценки весомости альтернатив,
а метод последовательного сравнения вследствие высокой сложности экспертной процедуры и повышенных требований к уровню подготовки экспертов трудно реализуем на практике.

Слайд 18 Факторы адекватности экспертизы
По мнению специалистов, адекватность экспертных

Факторы адекватности экспертизы По мнению специалистов, адекватность экспертных оценок существенно зависит

оценок существенно зависит от:
количества, качества подбора и компетентности

выбранных экспертов,
рациональности применяемых процедур опроса экспертов;
методов обработки результатов экспертиз.
Наибольший эффект достигается при комплексном использовании различных экспертных методов.


Слайд 19 Проведение экспертизы
Проведение процедуры отличается в зависимости от

Проведение экспертизы Проведение процедуры отличается в зависимости от используемого метода. Общие

используемого метода. Общие рекомендации:
Препятствовать давлению авторитетов (эксперт часто боится

противоречить мнению большинства или наиболее уважаемого специалиста).
Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.


Слайд 20 Обработка и анализ результатов
Основные этапы обработки экспертных

Обработка и анализ результатов Основные этапы обработки экспертных оценок:определение компетенции экспертов;определение

оценок:
определение компетенции экспертов;
определение обобщенной оценки;
построение обобщенной ранжировки объектов в

случае нескольких оцениваемых объектов или альтернатив);
определение зависимостей между ранжировками;
оценка согласованности мнений экспертов.
оценка ошибки исследования;
построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);


Слайд 21 Балльное (непосредственное) оценивание

Балльное (непосредственное) оценивание

Слайд 22 Обработка и анализ результатов
Эксперты лучшим

Обработка и анализ результатов  Эксперты лучшим вариантом признали вариант E,

вариантом признали вариант E, набравший наибольшую сумму баллов (44).
Проверка

согласованности мнений экспертов:
Определяем среднее арифметическое из оценок всех экспертов. Так, для варианта E (см. таблицу), оно равно
Xср = (10+9+8+9+8):5 = 44:5 = 8,8.
Затем рассчитывается среднее квадратическое отклонение по формуле



где X – оценки экспертов,
m – число экспертов.


Слайд 23 Обработка и анализ результатов

Обработка и анализ результатов     Далее подсчитывается коэффициент




Далее подсчитывается коэффициент вариации по

формуле
K = s / Xср = 0,84 / 8,8 = 0,095.
Мнения экспертов по каждому из вариантов решения считаются согласованными, если коэффициент вариации не превосходит величины 0,25. Для варианта решения E в рассматриваемом примере получаем
K = 0,095 < 0,25.
Таким образом мнения экспертов, представленные их оценками по варианту решения E, считаются согласованными.
Проверка должна проводиться для каждого варианта.
Однако часто в этом не возникает необходимости, если согласованы мнения относительно наиболее предпочтительных вариантов.

Слайд 24 Обработка и анализ результатов
Если мнения окажутся

Обработка и анализ результатов Если мнения окажутся несогласованными: Во-первых, информацию о

несогласованными:

Во-первых, информацию о несогласованности мнений экспертов можно просто

принять к сведению.
Во-вторых, рекомендуется заново провести всю процедуру экспертного оценивания, предварительно ознакомив экспертов с результатами экспертизы.

Если и после вторичной экспертизы мнения экспертов останутся несогласованными, то следуя ГОСТу, из оценок экспертов исключают оценку, наиболее отличающуюся от среднего арифметического значения и заново проводят проверку согласованности.
И так до тех пор, пока оценки оставшихся экспертов не окажутся согласованными.

Слайд 25 Обработка и анализ результатов
При отсутствии значимой

Обработка и анализ результатов При отсутствии значимой согласованности экспертов необходимо выявить

согласованности экспертов
необходимо выявить причины несогласованности (наличие групп) и

признать отсутствие согласованного мнения.
По итогам - подготовка отчёта (с указанием цели исследования, состава экспертов, полученной оценки и анализа результатов).


Слайд 26 Использование ранжирования для выбора варианта решения

У группы

Использование ранжирования для выбора варианта решения У группы в количестве m

в количестве m экспертов имеется n вариантов решения, из

которых и требуется выбрать наилучший.
Группа решает применить с этой целью процедуру ранжирования вариантов и получения коллективной ранжировки.
Место, занимаемое каждым вариантом, называется рангом.
Процесс выставления рангов называется ранжированием, а результат ранжирования – ранжировкой.

Слайд 27 Индивидуальные и коллективная ранжировки

Индивидуальные и коллективная ранжировки

Слайд 28 Использование ранжирования для выбора варианта решения

Индивидуальные ранжировки

Использование ранжирования для выбора варианта решения Индивидуальные ранжировки экспертов для рассматриваемого

экспертов для рассматриваемого примера представлены в первых пяти строчках

таблицы.
Формирование Коллективной ранжировки:
подсчитывается сумма мест (рангов) для каждого варианта решения.
по наименьшей сумме рангов определяется место каждого варианта в коллективной ранжировке (строка 7 в таблице).
В соответствии с полученной коллективной ранжировкой группа экспертов должна принять в качестве группового решения вариант 1, поскольку он имеет наивысший ранг в коллективной ранжировке.


Слайд 29 Проверка согласованности мнений экспертов.
Для этого подсчитываются квадраты

Проверка согласованности мнений экспертов. Для этого подсчитываются квадраты сумм рангов, представленные

сумм рангов, представленные в строке 8, и вычисляется величина

Sрас, равная их сумме. Далее вычисляется значение
Xрас = 12·Sрас / mn(n+1) – 3m(n+1).
Полученное значение
Xрас = 12·2233:5:6:7 – 3·5·7 =127,6 – 105 = 22,6 необходимо сравнить с одним из значений Xтабл

Слайд 30 Значения Xтабл
Для принятия решения о согласованности требуется, чтобы

Значения XтаблДля принятия решения о согласованности требуется, чтобы удовлетворялось неравенство Xрас

удовлетворялось неравенство Xрас > Xтабл.
Так, если нас вполне

удовлетворит вероятность совершить ошибку, равная 0,1, то соответствующее значение Xрас должно превысить величину 7,6.


Слайд 31 Использование ранжирования для выбора варианта решения
Если

Использование ранжирования для выбора варианта решения Если оказалось, что Xрас меньше

оказалось, что Xрас меньше любого из табличных значений.
Это

означает, что при приведенных в таблице вероятностях ошибки мнения экспертов должны быть признаны не согласованными.
В таком случае есть несколько Вариантов действий:
Во-первых, можно утвердить принятое решение, приняв во внимание, что мнения в группе разделились. Во-вторых, можно обсудить с экспертами результаты и заново повторить всю процедуру.
В-третьих, возможно, удастся выявить наличие в группе нескольких подгрупп, выбравших вариант решения. Тогда за групповое решение может быть принято решение, предлагаемое одной из подгрупп.
И, наконец, можно распустить группу экспертов и попробовать найти решение проблемы с другим составом.

  • Имя файла: ekspertnye-otsenki.pptx
  • Количество просмотров: 116
  • Количество скачиваний: 0
Следующая - Карбон