Отдаем журнал бесплатно!

Экспертное оценивание при разработке эффективной стратегии

Экспертное оценивание при разработке эффективной стратегии

Зачастую для принятия важных стратегических решений привлекаются компетентные специалисты (эксперты), авторитетное мнение которых позволяет оценить значимость и результат от принятия данного решения.


Предположим, крупному промышленному предприятию отрасли лесопереработки требуется разработать набор первоочередных мер, способствующих скорейшей адаптации к негативным условиям внешней среды. В географическом районе, в котором действует фирма, экономический кризис. Значительная часть покупателей продукции, поставщиков сырья и материалов и других контрагентов находится в затруднительном положении. Организации необходимо наилучшим образом приспособиться к новым условиям и максимально нейтрализовать их негативное воздействие, чтобы продолжить свою деятельность.

Руководство фирмы составило список мероприятий, которые применялись и применяются на аналогичных предприятиях для борьбы с кризисом. Но применение всех мер одновременно невозможно — на это, как правило, нет ни средств, ни времени. Нужно сосредоточить усилия на ключевых направлениях (не более пяти). Было принято решение пригласить экспертов, чтобы они проранжировали эти меры по степени их важности (12 баллов за первоочередную меру и далее по убывающей). Подбор экспертов и проведение оценивания должны пройти в течение 2 недель. После этого руководителю должны быть представлены рекомендуемые меры.

Основные меры адаптации российских промышленных предприятий к кризисным условиям:

1.                     Сдерживание роста цен на свою продукцию (О1).

2.                     Бартер (О2).

3.                     Вложение инвестиций в развитие предприятий-поставщиков (О3).

4.                     Борьба за госзаказы (О4).

5.                     Выход на зарубежные рынки (О5).

6.                     Изменение профиля производства (О6).

7.                     Производство сырья и материалов на своем предприятии (О7).

8.                     Сокращение ассортимента (О8).

9.                     Сокращение объема выпуска (О9).

10.                 Активная реклама (О10).

11.                 Работа с посредниками и дилерами (О11).

12.                 Изменение ассортимента выпускаемой продукции (О12).

Поставлена задача подготовить проект решения, поэтому нужно оценивать степень согласованности экспертов (всего в обсуждении принимают участие 5 экспертов).

Приглашая экспертов, необходимо учитывать следующее:

  •  они не должны работать на конкурирующие организации или иметь родственные связи с их руководителями;

  •  должны знать рынок (тенденции, движущие силы отрасли, основных игроков на рынке, ключевые факторы успеха), а также обладать знаниями в области маркетинга, ценообразования и антикризисного стратегического менеджмента;

  •  иметь высшее экономическое образование и опыт работы не менее 5 лет на руководящих должностях в отрасли (в данном случае — в отрасли лесопереработки);

  •  быть независимыми в своих суждениях и в то же время уметь прислушиваться к мнениям других;

  •  обладать аналитическимым мышлением.

Вернемся к исследованию. Эксперты проранжировали адаптационные меры по уровню значимости от 1 до 12. Оценку 12 получает мероприятие, которое необходимо провести в первую очередь, далее по убыванию. Результаты экспертного оценивания приведены в табл. 1.

 

Таблица 1. Результаты экспертного оценивания

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

О1

4

7

7

4

2

24

О2

5

8

5

6

5

29

О3

9

6

8

9

9

41

О4

2

4

4

5

3

18

О5

7

2

6

8

4

27

О6

6

3

3

7

6

25

О7

8

10

9

12

8

47

О8

1

1

2

1

1

6

О9

3

5

1

2

7

18

О10

11

9

12

3

10

45

О11

10

12

11

10

12

55

О12

12

11

10

11

11

55

Теперь посчитаем среднюю оценку по каждому объекту. Для этого необходимо сумму оценок всех экспертов по каждому из объектов, поделить на количество экспертов. Средние значения оценок экспертов представлены в табл. 2.

Таблица 2. Средние значения оценок экспертов

Объект

Средняя оценка

О1

4,80

О2

5,80

О3

8,20

О4

3,60

О5

5,40

О6

5,00

О7

9,40

О8

1,20

О9

3,60

О10

9,00

О11

11,00

О12

11,00

По средним значениям оценок, представленным в табл. 2, нельзя с уверенностью судить о том, какие меры предпочтительнее по отношению к другим, так как некоторые объекты получили одинаковые оценки (например, объекты О11 и О12).

Чтобы вычислить более точную оценку по каждому объекту, можно использовать групповую экспертную оценку, получаемую путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, ее поставившего.

Следовательно, необходимо рассчитать коэффициенты компетентности каждого из пяти экспертов. Суть этого вычисления заключается в предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Оценка коэффициента компетентности эксперта производится по формуле:

 

где Kj — коэффициент компетентности j-го эксперта;

Xij — оценка i-го объекта, поставленная j-м экспертом;

Mi — средняя оценка i-го объекта;

Si — сумма оценок i-го объекта.

Разберем на примере первого эксперта:

К1 = (4 × 4,8 + 5 × 5,8 + 9 × 8,2 + 2 × 3,6 + 7 × 5,4 + 6 × 5,0 + 8 × 9,4 + 1 × 1,2 + 3 × 3,6 + 11 × 9,0 + 10 × 11,00 + 12 × 11,00) / (4,8 × 24 + 5,8 × 2,9 + 8,2 × 41 + 3,6 × 18 + 5,4 × 27 + 5,0 × 25 + 9,4 × 47 + 1,2 × 6 + 3,6 × 18 + 9,0 × 45 + 11,00 × 55 + 11,00 × 55) = 0,20272.

В таблице 3 представлены коэффициенты компетентности остальных экспертов, рассчитанные аналогичным образом.

Таблица 3. Коэффициенты компетентности экспертов

 

Эксперт

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

 
 

Коэффициент компетентности

0,20272

0,19994

0,20091

0,19559

0,20084

 

Взвешенные экспертные оценки по каждому объекту представлены в табл. 4.

Таблица 4. Расчет взвешенных оценок

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Взвешенная оценка

О1

0,81089

1,39955

1,40636

0,78236

0,40169

4,80084

О2

1,01362

1,59948

1,00454

1,17354

1,00422

5,79540

О3

1,82451

1,19961

1,60726

1,76031

1,80759

8,19929

О4

0,40545

0,79974

0,80363

0,97795

0,60253

3,58930

О5

1,41907

0,39987

1,20545

1,56472

0,80337

5,39248

О6

1,21634

0,59981

0,60272

1,36913

1,20506

4,99306

О7

1,62179

1,99935

1,80817

2,34708

1,60674

9,38314

О8

0,20272

0,19994

0,40182

0,19559

0,20084

1,20091

О9

0,60817

0,99968

0,20091

0,39118

1,40590

3,60584

О10

2,22996

1,79942

2,41089

0,58677

2,00843

9,03547

О11

2,02724

2,39922

2,20999

1,95590

2,41012

11,00246

О12

2,43268

2,19929

2,00908

2,15149

2,20927

11,00182

Данные оценки не имеют повторяющихся значений по объектам, следовательно, могут быть проранжированы по убыванию эффективности мер.

Следующий шаг — оценка качества экспертизы.

Качество проведенной экспертизы оценивают с помощью коэффициента согласованности мнений экспертов (коэффициента конкордации, W), который рассчитывается по формуле:

 

где S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения;

n — число экспертов;

m — число объектов оценки.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 означает полную несогласованность, 1 — полное единодушие.

Рассчитаем коэффициент конкордации для нашего примера. Для начала необходимо посчитать среднее значение суммарных оценок по всем объектам:

(24 + 29 + 41 + 18 + 27 + 25 + 47 + 6 + 18 + 45 + 55 + 55) / 12 = 32,5.

Далее рассчитываем суммы квадратов отклонений (табл. 5).

Таблица 5. Расчет суммы квадратов отклонений

 

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

Отклонение

от среднего

Квадрат отклонения

О1

4

7

7

4

2

24

–8,50

72,25

О2

5

8

5

6

5

29

–3,50

12,25

О3

9

6

8

9

9

41

8,50

72,25

О4

2

4

4

5

3

18

–14,50

210,25

О5

7

2

6

8

4

27

–5,50

30,25

О6

6

3

3

7

6

25

–7,50

56,25

О7

8

10

9

12

8

47

14,50

210,25

О8

1

1

2

1

1

6

–26,50

702,25

О9

3

5

1

2

7

18

–14,50

210,25

О10

11

9

12

3

10

45

12,50

156,25

О11

10

12

11

10

12

55

22,50

506,25

О12

12

11

10

11

11

55

22,50

506,25

Итого

             

2745,00

Например, для объекта О1 сумма всех оценок экспертов составила 24. Определим:

  •                     отклонение суммы оценок от среднего: (24 – 32,5) = 8,5;

  •                     квадрат отклонения: (–8,5)2 = 72,25.

Сумма квадратов отклонений — 2745. Теперь можно рассчитать коэффициент конкордации:

 

Высокое значение коэффициента конкордации говорит о том, что мнения экспертов согласованны, следовательно, качество экспертизы можно оценить как высокое.

Представим теперь полученные результаты в виде отсортированной таблицы, в которой сначала идут объекты, получившие наибольшую оценку, а в конце — наименьшую (табл. 6).

Таблица 6.Сортировка оценок по мере убывания

Меры адаптации

Экспертная оценка

Работа с посредниками и дилерами

11,00752

Изменение ассортимента выпускаемой продукции

10,99871

Производство сырья и материалов на своем предприятии

9,37176

Активная реклама

9,07435

Вложение инвестиций в развитие предприятий-поставщиков

8,18953

Бартер

5,79682

Выход на зарубежные рынки

5,37778

Изменение профиля производства

4,97142

Сдерживание роста цен на свою продукцию

4,82035

Сокращение объема выпуска

3,60234

Борьба за госзаказы

3,58494

Сокращение ассортимента

1,20447

Таким образом, в процессе экспертизы были выявлены наиболее эффективные меры адаптации к неблагоприятным изменениям внешней среды. Высокая степень согласованности экспертов говорит о хорошем качестве полученных данных.

 

А. Ф. Гарифулин,
экономист

Статья опубликована в журнале «Справочник экономиста» № 8, 2013.

Отдаем журнал бесплатно!

Экспертное оценивание при разработке эффективной стратегии

Экспертное оценивание при разработке эффективной стратегии

Зачастую для принятия важных стратегических решений привлекаются компетентные специалисты (эксперты), авторитетное мнение которых позволяет оценить значимость и результат от принятия данного решения.


Предположим, крупному промышленному предприятию отрасли лесопереработки требуется разработать набор первоочередных мер, способствующих скорейшей адаптации к негативным условиям внешней среды. В географическом районе, в котором действует фирма, экономический кризис. Значительная часть покупателей продукции, поставщиков сырья и материалов и других контрагентов находится в затруднительном положении. Организации необходимо наилучшим образом приспособиться к новым условиям и максимально нейтрализовать их негативное воздействие, чтобы продолжить свою деятельность.

Руководство фирмы составило список мероприятий, которые применялись и применяются на аналогичных предприятиях для борьбы с кризисом. Но применение всех мер одновременно невозможно — на это, как правило, нет ни средств, ни времени. Нужно сосредоточить усилия на ключевых направлениях (не более пяти). Было принято решение пригласить экспертов, чтобы они проранжировали эти меры по степени их важности (12 баллов за первоочередную меру и далее по убывающей). Подбор экспертов и проведение оценивания должны пройти в течение 2 недель. После этого руководителю должны быть представлены рекомендуемые меры.

Основные меры адаптации российских промышленных предприятий к кризисным условиям:

1.                     Сдерживание роста цен на свою продукцию (О1).

2.                     Бартер (О2).

3.                     Вложение инвестиций в развитие предприятий-поставщиков (О3).

4.                     Борьба за госзаказы (О4).

5.                     Выход на зарубежные рынки (О5).

6.                     Изменение профиля производства (О6).

7.                     Производство сырья и материалов на своем предприятии (О7).

8.                     Сокращение ассортимента (О8).

9.                     Сокращение объема выпуска (О9).

10.                 Активная реклама (О10).

11.                 Работа с посредниками и дилерами (О11).

12.                 Изменение ассортимента выпускаемой продукции (О12).

Поставлена задача подготовить проект решения, поэтому нужно оценивать степень согласованности экспертов (всего в обсуждении принимают участие 5 экспертов).

Приглашая экспертов, необходимо учитывать следующее:

  •  они не должны работать на конкурирующие организации или иметь родственные связи с их руководителями;

  •  должны знать рынок (тенденции, движущие силы отрасли, основных игроков на рынке, ключевые факторы успеха), а также обладать знаниями в области маркетинга, ценообразования и антикризисного стратегического менеджмента;

  •  иметь высшее экономическое образование и опыт работы не менее 5 лет на руководящих должностях в отрасли (в данном случае — в отрасли лесопереработки);

  •  быть независимыми в своих суждениях и в то же время уметь прислушиваться к мнениям других;

  •  обладать аналитическимым мышлением.

Вернемся к исследованию. Эксперты проранжировали адаптационные меры по уровню значимости от 1 до 12. Оценку 12 получает мероприятие, которое необходимо провести в первую очередь, далее по убыванию. Результаты экспертного оценивания приведены в табл. 1.

 

Таблица 1. Результаты экспертного оценивания

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

О1

4

7

7

4

2

24

О2

5

8

5

6

5

29

О3

9

6

8

9

9

41

О4

2

4

4

5

3

18

О5

7

2

6

8

4

27

О6

6

3

3

7

6

25

О7

8

10

9

12

8

47

О8

1

1

2

1

1

6

О9

3

5

1

2

7

18

О10

11

9

12

3

10

45

О11

10

12

11

10

12

55

О12

12

11

10

11

11

55

Теперь посчитаем среднюю оценку по каждому объекту. Для этого необходимо сумму оценок всех экспертов по каждому из объектов, поделить на количество экспертов. Средние значения оценок экспертов представлены в табл. 2.

Таблица 2. Средние значения оценок экспертов

Объект

Средняя оценка

О1

4,80

О2

5,80

О3

8,20

О4

3,60

О5

5,40

О6

5,00

О7

9,40

О8

1,20

О9

3,60

О10

9,00

О11

11,00

О12

11,00

По средним значениям оценок, представленным в табл. 2, нельзя с уверенностью судить о том, какие меры предпочтительнее по отношению к другим, так как некоторые объекты получили одинаковые оценки (например, объекты О11 и О12).

Чтобы вычислить более точную оценку по каждому объекту, можно использовать групповую экспертную оценку, получаемую путем суммирования индивидуальных оценок с весами компетентности. Вес компетентности оценки равен коэффициенту компетентности эксперта, ее поставившего.

Следовательно, необходимо рассчитать коэффициенты компетентности каждого из пяти экспертов. Суть этого вычисления заключается в предположении о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Оценка коэффициента компетентности эксперта производится по формуле:

 

где Kj — коэффициент компетентности j-го эксперта;

Xij — оценка i-го объекта, поставленная j-м экспертом;

Mi — средняя оценка i-го объекта;

Si — сумма оценок i-го объекта.

Разберем на примере первого эксперта:

К1 = (4 × 4,8 + 5 × 5,8 + 9 × 8,2 + 2 × 3,6 + 7 × 5,4 + 6 × 5,0 + 8 × 9,4 + 1 × 1,2 + 3 × 3,6 + 11 × 9,0 + 10 × 11,00 + 12 × 11,00) / (4,8 × 24 + 5,8 × 2,9 + 8,2 × 41 + 3,6 × 18 + 5,4 × 27 + 5,0 × 25 + 9,4 × 47 + 1,2 × 6 + 3,6 × 18 + 9,0 × 45 + 11,00 × 55 + 11,00 × 55) = 0,20272.

В таблице 3 представлены коэффициенты компетентности остальных экспертов, рассчитанные аналогичным образом.

Таблица 3. Коэффициенты компетентности экспертов

 

Эксперт

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

 
 

Коэффициент компетентности

0,20272

0,19994

0,20091

0,19559

0,20084

 

Взвешенные экспертные оценки по каждому объекту представлены в табл. 4.

Таблица 4. Расчет взвешенных оценок

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Взвешенная оценка

О1

0,81089

1,39955

1,40636

0,78236

0,40169

4,80084

О2

1,01362

1,59948

1,00454

1,17354

1,00422

5,79540

О3

1,82451

1,19961

1,60726

1,76031

1,80759

8,19929

О4

0,40545

0,79974

0,80363

0,97795

0,60253

3,58930

О5

1,41907

0,39987

1,20545

1,56472

0,80337

5,39248

О6

1,21634

0,59981

0,60272

1,36913

1,20506

4,99306

О7

1,62179

1,99935

1,80817

2,34708

1,60674

9,38314

О8

0,20272

0,19994

0,40182

0,19559

0,20084

1,20091

О9

0,60817

0,99968

0,20091

0,39118

1,40590

3,60584

О10

2,22996

1,79942

2,41089

0,58677

2,00843

9,03547

О11

2,02724

2,39922

2,20999

1,95590

2,41012

11,00246

О12

2,43268

2,19929

2,00908

2,15149

2,20927

11,00182

Данные оценки не имеют повторяющихся значений по объектам, следовательно, могут быть проранжированы по убыванию эффективности мер.

Следующий шаг — оценка качества экспертизы.

Качество проведенной экспертизы оценивают с помощью коэффициента согласованности мнений экспертов (коэффициента конкордации, W), который рассчитывается по формуле:

 

где S — сумма квадратов отклонений суммы оценок каждого объекта от их среднего значения;

n — число экспертов;

m — число объектов оценки.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 0 означает полную несогласованность, 1 — полное единодушие.

Рассчитаем коэффициент конкордации для нашего примера. Для начала необходимо посчитать среднее значение суммарных оценок по всем объектам:

(24 + 29 + 41 + 18 + 27 + 25 + 47 + 6 + 18 + 45 + 55 + 55) / 12 = 32,5.

Далее рассчитываем суммы квадратов отклонений (табл. 5).

Таблица 5. Расчет суммы квадратов отклонений

 

Объект

Эксперт 1

Эксперт 2

Эксперт 3

Эксперт 4

Эксперт 5

Сумма оценок

Отклонение

от среднего

Квадрат отклонения

О1

4

7

7

4

2

24

–8,50

72,25

О2

5

8

5

6

5

29

–3,50

12,25

О3

9

6

8

9

9

41

8,50

72,25

О4

2

4

4

5

3

18

–14,50

210,25

О5

7

2

6

8

4

27

–5,50

30,25

О6

6

3

3

7

6

25

–7,50

56,25

О7

8

10

9

12

8

47

14,50

210,25

О8

1

1

2

1

1

6

–26,50

702,25

О9

3

5

1

2

7

18

–14,50

210,25

О10

11

9

12

3

10

45

12,50

156,25

О11

10

12

11

10

12

55

22,50

506,25

О12

12

11

10

11

11

55

22,50

506,25

Итого

             

2745,00

Например, для объекта О1 сумма всех оценок экспертов составила 24. Определим:

  •                     отклонение суммы оценок от среднего: (24 – 32,5) = 8,5;

  •                     квадрат отклонения: (–8,5)2 = 72,25.

Сумма квадратов отклонений — 2745. Теперь можно рассчитать коэффициент конкордации:

 

Высокое значение коэффициента конкордации говорит о том, что мнения экспертов согласованны, следовательно, качество экспертизы можно оценить как высокое.

Представим теперь полученные результаты в виде отсортированной таблицы, в которой сначала идут объекты, получившие наибольшую оценку, а в конце — наименьшую (табл. 6).

Таблица 6.Сортировка оценок по мере убывания

Меры адаптации

Экспертная оценка

Работа с посредниками и дилерами

11,00752

Изменение ассортимента выпускаемой продукции

10,99871

Производство сырья и материалов на своем предприятии

9,37176

Активная реклама

9,07435

Вложение инвестиций в развитие предприятий-поставщиков

8,18953

Бартер

5,79682

Выход на зарубежные рынки

5,37778

Изменение профиля производства

4,97142

Сдерживание роста цен на свою продукцию

4,82035

Сокращение объема выпуска

3,60234

Борьба за госзаказы

3,58494

Сокращение ассортимента

1,20447

Таким образом, в процессе экспертизы были выявлены наиболее эффективные меры адаптации к неблагоприятным изменениям внешней среды. Высокая степень согласованности экспертов говорит о хорошем качестве полученных данных.

 

А. Ф. Гарифулин,
экономист

Статья опубликована в журнале «Справочник экономиста» № 8, 2013.

Акция «50 на 50: год за полцены!»
Имущество организации: анализируем, контролируем, управляем 6 статей и расчетные файлы к ним
Финансовый анализ: 5 статей + расчетные файлы Excel к ним
Управленческий учет и отчетность
Подборки
Подборки
Типичные ошибки построения системы бюджетного управления
Подарок подписчикам журнала «Справочник экономиста» или «Планово-экономический отдел» на 1 полугодие 2018 года
Подписка для физических лицДля физических лиц Подписка для юридических лицДля юридических лиц Подписка по каталогамПодписка по каталогам