OB

Основные стадии и методы экспертного опроса

Выделяют следующие стадии проведения экспертного опроса:
1) формулировка Лицом, Принимающим Решения, цели экспертного опроса;
2) подбор ЛПР основного состава Рабочей группы;
3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (методы статистики объектов нечисловой природы и других разделов прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при наличии нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ.
Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие “компетентность” строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций…), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один “говорун” может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ. Есть полезный метод “снежного кома”, при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного “клана”, то и метод “снежного кома” даст, скорее всего, лиц из этого “клана”, мнения и аргументы других “кланов” будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу.
Математические модели поведения экспертов. Теория и практика экспертных оценок весьма математизированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа экспертных оценок.
Модели поведения экспертов обычно основаны на предположении, что эксперты оценивают интересующий ЛПР параметр (например, ранжировку образцов изделий по конкурентоспособности) с некоторыми ошибками, т.е. эксперта рассматривают как особого рода прибор с присущими ему метрологическими характеристиками. Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы. Обычно предполагается, что эксперт чаще выбирает правильное решение (т.е. адекватное реальности), чем неправильное. В математических моделях это выражается в том, что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстояния от центра распределения - истинного значения параметра. Различные варианты моделей поведения экспертов описаны и изучены в и других публикациях. На математических моделях поведения экспертов основаны методы планирования экспертного опроса, сбора и анализа ответов экспертов. Очевидно, чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные - и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели.
Существует множество методов получения экспертных оценок. Метод интервьюирования эксперта основан на наиболее простой процедуре сбора информации, аналогичной глубинному интервью. Респондентами в данном случае выступают эксперты; исследователь проводит беседу в соответствии с поставленными задачами исследования.
Метод сценариев применяется в прогнозных исследованиях для описания будущего на основе некоторых предположений о состоянии факторов среды, оказывающих существенное влияние на функционирование фирмы. Как правило, составляются оптимистический, ожидаемый (наиболее вероятный) и пессимистический сценарии.
Метод аналитических записок предполагает самостоятельную работу эксперта над анализом проблемы и возможных путей ее разрешения.
Метод «комиссий» основан на организации открытого общения экспертов, в ходе которого они занимаются согласованием противоречивых мнений о проблеме исследования. Обсуждение заканчивается при достижении экспертами консенсуса.
Метод «мозгового штурма» представляет собой открытый свободный неструктурированный процесс генерирования идей по заданной проблеме, который проходит в два этапа — первоначально идеи генерируются, заносятся в протокол, но не обсуждаются, не критикуются. Этот этап длится примерно 1,5 часа. На втором этапе после перерыва происходит критическое рассмотрение выдвинутых идей и отбор тех из них, которые признаются наиболее верными. Окончательный результат может быть выбран путем явного или неявного голосования. Исследования эффективности метода коллективной генерации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее продуктивными признаны группы в 10-15 человек, хотя имеются примеры использования и больших групп — до 200 человек. К числу важнейших недостатков этого метода относятся значительный уровень информационного шума, создаваемого тривиальными идеями, спонтанный и стихийный характер генерации идей.
Метод «суда» имитирует «судебный процесс по проблеме исследования». Выбираются участники «процесса» — «адвокат», «прокурор», «присяжные» и др. Каждый отстаивает свою точку зрения по рассматриваемому явлению, аргументируя свои высказывания. Окончательный вердикт выносится голосованием.
Метод Дельфи относится к закрытой форме обсуждения, не предполагает личного контакта экспертов при рассмотрении проблемы. Их заочное взаимодействие организуется исследователями через знакомство с оценками, сделанными другими экспертами. Метод Дельфи сочетает творческий подход к решению проблемы и статистические методы обработки полученных данных. Процесс сбора информации также проходит в несколько этапов. На первом этапе проводится анкетный заочный и анонимный опрос экспертов, результаты которого обрабатываются, определяя разброс мнений путем вычисления среднеквадратичного отклонения. Обычно на первом этапе разброс мнений экспертов может быть очень значительным. Далее экспертов знакомят с результатами опроса, чтобы эксперт мог получить дополнительную информацию о предмете опроса. В идеале опрос повторяется до тех пор, пока не совпадут мнения экспертов, на практике — до получения наиболее узкого диапазона мнений. Более подробно метод Дельфи изложен в книге Е. П. Голубкова «Маркетинговые исследования».
Метод «коллективного блокнота» относится к смешанной форме обсуждения. Каждый участник исследовательской группы получает блокнот, в котором кратко записана суть проблемы. В течение некоторого периода времени (регламент зависит от сложности рассматриваемой проблемы и лимита времени) эксперты заносят в свой блокнот все мысли, идеи, замечания, возникшие в связи с данной проблемой. На следующем этапе руководитель группы систематизирует материал, записанный в блокноты. На последнем этапе группа проводит творческое обсуждение материала, оценивает и отбирает наиболее верные гипотезы по анализируемой ситуации или прогнозы ее развития.

Понравился данный материал?
Не стесняйся, поставь лайк, расскажи о нас своим друзьям, однокурсникам, короче, всем, кому был бы полезнен наш сайт! Тебе ничего не стоит, а нам приятно, что не зря стараемся ;)
Спасибо!