Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
ДОГМА СОГЛАСОВАННОСТИ Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [10] приведен пример деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики) Академии наук СССР).).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение статистической гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас в 80-х годах к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [5].
МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
3.2. Догма одномерности
Распространен довольно примитивный подход т. н. "квалиметрии", согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее "рыночной стоимости".
Каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
- расход бензина на 100 км пути (в среднем);
- надежность (средняя стоимость ремонта за год);
- быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
- длительность сохранения в салоне положительной температуры при низкой наружной температуре ( - 50 градусов по Цельсию) и выключенном двигателе;
- вес, и т.д.
Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (см., например, [11]).
В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению. Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
3.3. Основные стадии экспертного опроса
Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии экспертного опроса:
1) формулировка ЛПР цели экспертного опроса;
2) подбор ЛПР основного состава Рабочей группы (обычно - руководителя и секретаря);
3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).
3.4. Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны процедур подбора экспертов.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" [10], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
4. Элементы теории принятия решений
4.1. Системный подход при принятии решений
При обсуждении проблем принятия решений часто говорят о системном подходе, системе, системном анализе. Речь идет о том, что надо рассматривать проблему в целом, а не "выдергивать" для обсуждения какую-нибудь одну черту, хотя и важную. Так, при массовом жилищном строительстве можно "выдернуть" черту - стоимость квадратного метра в доме. Тогда наиболее дешевые дома - пятиэтажки. Если же взглянуть системно, учесть стоимость транспортных и инженерных коммуникаций (подводящих электроэнергию, воду, тепло и др.), то оптимальное решение уже другие - девятиэтажки.
Так, например, менеджер банка, отвечающий за распространение пластиковых карт, может сосредоточиться на рекламе. Между тем ему от системы "банк - владельцы карт" лучше перейти к системе "банк - руководители организаций - владельцы карт". Договоренность с руководителем учреждения, давшим в итоге приказ выплачивать заработную плату с помощью пластиковых карт, даст нашему менеджеру гораздо больший прирост численности владельцев карт, чем постоянная дорогая реклама. Его ошибка состояла в неправильном выделении системы, с которой он должен работать.
Менеджер банка будет не прав, оценивая работу подразделений банка в текущих рублях. Обязательно надо учитывать инфляцию. Иначе мы сталкиваемся с парадоксальными явлениями, когда реальная ставка платы за кредит отрицательна; или же - рублевый оборот растет, банк якобы процветает, а после перехода к сопоставимым ценам путем деления на индекс инфляции становится ясно, что дела банка плохи.
Различных определений понятия системы - десятки [12].). Общим в них является то, что о системе говорят как о множествами, между элементами которого имеются связи. Целостность системы и ее "отделенность" от окружающего мира обеспечиваются тем, что взаимосвязи внутри системы существенно сильнее, чем связь какого-либо ее элемента с любым элементом, лежащим все системы. .По определению действительного члена Российской академии наук Н.Н.Моисеева: "Системный анализ - это дисциплина, занимающаяся проблемами принятия решений в условиях, когда выбор альтернативы требует анализа сложной информации различной физической природы" [13, с.5].
4.2. Методы принятия решений
Кроме рассмотренных выше методов, прежде всего экспертных, при принятии решений применяют весь арсенал методов современной прикладной математики. Они используются для оценки ситуации и прогнозирования при выборе целей, для генерирования множества возможных вариантов решений и выбора из них наилучшего..
Прежде всего надо назвать методы оптимизации (математического программирования). Для борьбы с многокритериальностью используют различные методы свертки критериев, а также интерактивные компьютерные системы, позволяющие вырабатывать решение в процессе диалога человека и ЭВМ. Применяют имитационное моделирование, базирующееся на компьютерных системах, отвечающих на вопрос: "Что будет, если...?", метод статистических испытаний (Монте-Карло), модели надежности и массового обслуживания. Часто необходимы статистические (эконометрические) методы, в частности, методы выборочных обследований. При принятии решений применяют как вероятностно-статистические модели, так и методы анализа данных.
Особого внимания заслуживают проблемы неопределенности и риска, связанных как с природой, так и с поведением людей. Разработаны различные способы описания неопределенностей: вероятностные модели, теория нечеткости, интервальная математика. Для описания конфликтов (конкуренции) полезна теория игр. Для структуризации рисков используют деревья причин и последствий (диаграммы типа "рыбий скелет"). Менеджеру важно учитывать постоянные и аварийные экологические риски. Плата за риск и различные формы страхования также постоянно должны быть в его поле зрения.
Необходимо подчеркнуть, что весьма полезны и различные простые приемы принятия решений [14]. Например, при сравнении двух возможных мест работы весьма помогает таблица из трех столбцов, в левом из которых перечислены характеристики рабочего места: заработок, продолжительность рабочего времени, время в пути от дома до работы, надежность предприятия, возможности для профессионального роста, характеристики рабочего места и непосредственного начальства и др. А в двух других столбцах - Ваши оценки этих характеристик, в "натуральных" показателях или в процентах от максимума. Иногда при взгляде на подобную таблицу все сразу становится ясно. Но можно вычислить значения обобщенного показателя, введя весовые коэффициенты и сложив ваши взвешенные оценки вдоль столбцов. Не менее полезно изобразить на бумаге возможные варианты решения, которое Вам предстоит принять, а также возможные реакции лиц и организаций на те или иные Ваши решения, а затем и Ваши ответы на эти реакции. Полезны таблицы доводов "за" и "против" и др.
4.3. Проблема горизонта планирования
Во многих ситуациях продолжительность проекта не определена либо горизонт планирования инвестора не охватывает всю продолжительность реализации проекта до этапа утилизации. В таких случаях важно изучить влияние горизонта планирования на принимаемые решения.
Рассмотрим условный пример. Предположим, я являюсь владельцем завода. Если горизонт моего планирования - 1 месяц, то наибольший денежный доход я получу, продав предприятие. Если же планирую на год, то я сначала понесу затраты, закупив сырье и оплатив труд рабочих, и только затем, продав продукцию, получу прибыль. Если я планирую на 10 лет, то пойду на крупные затраты, закупив лицензии и новое оборудование, с целью увеличения дохода в дальнейшие годы. При планировании на 30 лет имеет смысл вложить средства в создание и развитие собственного научно-исследовательского центра, и т.д.
Таким образом, популярное утверждение "фирма работает ради максимизации прибыли" не имеет точного смысла. За какой период максимизировать прибыль - за месяц, год, 10 или 30 лет? От горизонта планирования зависят принимаемые решения. Понимая это, ряд западных экономистов отказываются рассматривать фирмы как инструменты для извлечения прибыли, предпочитают смотреть на них как на живые существа, старающиеся обеспечить свое существование и развитие. (Подробнее проблемы устойчивости принимаемых решений к изменению горизонта планирования рассматриваются в монографии [2].)
В последние годы все большую популярность получает т.н. контроллинг - современная концепция системного управления организацией, в основе которой лежит стремление обеспечить ее долгосрочное эффективное существование [15]. В конкретных прикладных работах успех достигается при комбинированном применении различных методов. Для подготовки решений создаются аналитические центры и "ситуационные комнаты", позволяющие соединять человеческую интуицию и компьютерные расчеты. Все шире используются информационные технологии поддержки принятия решений, прежде всего в контроллинге.
Вопросы для повторения
1. Какой из критериев прннятия решения, высказанных в Думе Загорья Воробьевым, Лебедевым, Чибисовым и Куликовым, представляется Вам наиболее естественным? Как бы Вы сами поступили на месте Думы Загорья ?
2. Проанализируйте утверждение "максимум прибыли при минимуме затрат". Как можно избавиться от его противоречивости?
3. Целесообразно ли, на Ваш взгляд, купить 100 билетов лотереи с целью разбогатеть?
4. Рассмотрите принятие решений на телевизионном конкурсе КВН как пример экспертной процедуры.
5. Имеет ли точный смысл утверждение "цель работы фирмы - максимизация прибыли"?
Темы рефератов
1. Теория конечных антагонистических игр и ее применения в экономике (в частности, по материалам монографии [3]).
2. Теория статистических решений применительно к дискуссии в Думе Загорья.
3. Методы проверки согласованности мнений экспертов на основе коэффициента конкордации и в методе люсианов.
5. Применение нечетких множеств в теории принятия решений.
4. Проведите системный анализ конкретной хорошо знакомой Вам производственной ситуации и примените изученные Вами методы принятия решений для подготовки организационных или иных мероприятий в своей организации. Оформите работу в виде доклада вышестоящему руководителю или органу (например, Совету директоров, Правлению или Собранию акционеров). Рекомендуемый объем - 10-20 стр.
Список литературы
1. Балабанов И.Т. Риск-менеджмент. - М.: Финансы и статистика, 1996. - 192 с.
2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
3. Дюбин Г.Н., Суздаль В.Г. Введение в прикладную теорию игр. - М.: Наука, 1981. - 336 с.
4. Вильямс Дж.Д. Совершенный стратег, или Букварь по теории стратегических игр. М.: Советское Радио, 1960. - 269 с.
5. Орлов А.И. Современная прикладная статистика. - Ж-л "Заводская лаборатория". 1998. Т. 64. № 3. С.52-60.
6. Орлов А.И. Сертификация и статистические методы. - Ж-л "Заводская лаборатория". 1997. Т. 63. № 3. С.55-62.
7. Пиндайк Р., Рубинфельд Д. Микроэкономика. - М.: Экономика-Дело, 1992. - 510 с.
8. Фишберн П. Теория полезности для принятия решений. - М;: Наука, 1978. - 352 с.
9. Орлов А.И. Экспертные оценки. - Ж-л "Заводская лаборатория". 1996. Т. 62. №1. С.54-60.
10. Панкова Л.А., Петровский А.М., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. - М.:Наука, 1984. - 120 с.
11. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. - М.: Наука, 1982. - 254 с.
12. Садовский В.Н. Основания общей теории систем. - М.: Наука, 1974.
13. Моисеев Н.Н. Математические задачи системного анализа. - М.:Наука, 1981.
14. Науман Э. Принять решение, но как? - М.: Мир, 1987. - 198 с.
15.
Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе.
Методологические и практические основы построения контроллинга в организациях.
- М.: Финансы и
3-11-2013, 01:55