Экспертные методы в маркетинге. Экспертный анализ

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

Экспертный метод - это решение задач на основе суждения (мнения) высококвалифицированных специалистов в соответствующей области знаний (наука, техника, экономика и т.д.). При экспертной оценке событий (явлений) необходимо: четко сформулировать цель исследования; правильно определить время свершения событий; разработать организацию опроса (интервью) и анкетирования; сформировать группу экспертов; обеспечить взаимную независимость их суждений, отсутствие авторитета должности или личности, влияющих на выбор альтернатив, и обобщить полученные результаты.

Сущность экспертных методов прогнозирования заключается в выработке коллективного мнения группы специалистов в данной об­ласти. Метод экспертных оценок состоит в проведении экспертами анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов считается решением проблемы.

Экспертное ранжирование . Ранжирование применяется в случаях,

когда невозможна или нецелесообразна непосредственная оценка. При этом

«ранжирование объектов содержит лишь информацию о том, какой из них

более предпочтителен, и не содержит информации о том, насколько или во

сколько раз один объект предпочтительнее другого.

Метод ранжирования альтернатив: Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся. И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

25. Сущность экспертных методов. Метод ранжирования альтернатив

Экспертные методы принятия решений – методы сбора и обработки мнений экспертов (специалистов, респондентов) по рассматриваемой проблеме с целью принятия необходимых решений. Экспертами в зависимости от задачи

могут быть как специалисты, так и потребители.Эти методы применяются для решения слабоструктурированных и не­

структурированных задач, когда математическое описание задачи невозможно или отсутствует необходимая статистическая информация. Эти методы основаны на опыте, знаниях и интуиции специалистов (экспертов); информация, полученная от экспертов, обрабатывается статистическими методами.

Экспертные методы применяются для решения следующих задач:- разработка и оценка альтернатив решения проблем;- упорядочение списка альтернатив (различных объектов) и выбор одной или нескольких лучших альтернатив по одному или нескольким критериям;- оценка влияния факторов на некоторый показатель или ситуацию;- присвоение числовых значений качественным показателям;- прогнозирование развития рассматриваемой ситуации.

Экспертными методами оцениваются качество и конкурентоспособность товаров, конкурентоспособность предприятия, рынки, предпочтения потребителей, конкуренты и поставщики, риски, факторы, влияющие на решение и т.д. Для применения экспертного метода создаются экспертная группа и рабочая группа для организации работ и подсчета баллов. В состав групп экспертов и рабочей группы включаются специалисты по данной проблеме. Оптимальное

количество экспертов от 5 до 12 человек. Сбор информации от экспертов осуществляется с помощью анкет.

Принятие решения на основе экспертных методов включает следующие

1. Определение объекта и цели экспертизы;

2. Формирование рабочей группы;

3. Выбор объектов и критериев их оценки;

4. Разработка шкалы оценок объектов по критериям и анкет опроса экс­

5. Формирование группы экспертов;

6. Разработка сценария и процедура экспертизы;

7. Сбор и анализ экспертной информации;

8. Обработка экспертной информации;

9. Анализ результатов экспертизы;

10.Принятие решений.

Экспертные методы классифицируются по следующим признакам:

количество экспертов:- индивидуальные;- коллективные;количество критериев:- однокритериальные;- многокритериальные.количество этапов:- одноэтапные;- многоэтапные.

Метод ранжирования применяется , когда надо упорядочить некоторые

объекты (решения, показатели, факторы) по некоторому критерию и выбрать из

них один или несколько лучших или наиболее важных.

Данный метод применяется, если количество альтернатив не слишком ве­

лико и используется один критерий для упорядочения альтернатив. Метод при­

меняется также для упорядочения нескольких факторов по степени их влияния

на рассматриваемый показатель или ситуацию при недостатке статистических

Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

Метод парных сравнений

Является одним из наиболее распространенных методов оценки сравнительной предпоч­тительности альтернативных вариантов.При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, для которых он должен указать более предпочтительный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравни­ваемые альтернативные варианты равноценными либо не­сравнимыми.После последовательного предъявления эксперту всех дар альтернативных вариантов определяется их сравнитель­ная предпочтительность по оценкам данного эксперта.
В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.
Если эксперт признал некоторые альтернативные вари анты несопоставимыми, то в результате будет получено лишь их частичноеупорядочение.В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта.В этих случаях необходимо проведение специального анализа результатов экспертизы.
Отметим также, что при достаточно большом числе оцениваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.
Например, если предположить непротиворечивость оценок эксперта, то, практически, достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим.Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака. Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим.Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу,целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы.

Наиболее широко в исследовании СУ, как правило, используются экспертные методы. Как научный способ экспертный метод был разработан сравнительно недавно и впервые он получил название "Дельфи". В дальнейшем были разработаны другие аналогичные методы, имеющие в своей основе экспертные оценки. Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении.

Сущность экспертных методов, как при решении задач исследования СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Наиболее распространенными экспертными методами при классификации по признаку оценки предпочтений в настоящее время при принятии решений по управлению являются следующие:

• метод рангов;
• метод непосредственного оценивания;
• метод сопоставлений.

Последний метод включает две его разновидности:

парного сравнения и последовательного сопоставления.

В принципе каждый из них имеет много общего, а отличие, в основном, только в том, что оценивание (измерение) изучаемых объектов системного управления осуществляется различными способами. Причем каждый из методов обладает определенными достоинствами и недостатками.

Общность каждого из методов заключается в последовательности проведения процедур их использования. К ним следует отнести:

• организацию экспертного оценивания;
• проведение сбора мнений экспертов;
• обработку результатов мнений экспертов.

Практика показывает, что уменьшение субъективности и соответственно повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил организации, подготовки и проведения экспертных работ. Особенно это зависит, в первую очередь, от организации экспертного оценивания, назначения ответственного за организацию и проведение работ по экспертной оценке, а также от формирования экспертных комиссий.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную.

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, отработку результатов работы экспертов и т.п.

В экспертную группу входят эксперты - специалисты по решаемым проблемам.

Формирование экспертной осуществляет руководитель (организатор) рабочей группы. При этом выполняется ряд последовательных мероприятий:

• постановку проблемы и определение области деятельности группы;
• составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;
• анализ качественного состава предварительного списка экспертов и уточнение списка;
• получение согласия эксперта для участия в работе;
• составление окончательного списка экспертной группы.

Количество экспертов в экспертной группе зависит от множества факторов и условий. В частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых экспертов.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
• коллективная оценка кандидата в эксперты как специалиста в данной области;
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:

• профессиональной компетентности в области проектирования организационных систем;
• креативности (умению решать творческие задачи);
• научной интуицией;
• заинтересованности в объективных результатах экспертной работы;
• деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);
• объективности;
• нонконформизма.

Проведение сбора мнений экспертов предполагает решение следующих вопросов:

• определение места и времени сбора мнений;
• определение формы и методики сбора мнений;
• определение количества туров сбора мнений;
• определение состава и содержательной части документации;
• определение порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные и смешанные, т.е. указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное). Каждая из этих форм имеет ряд разновидностей:

• анкетирование;
• интервьюирование;
• дискуссия;
• мозговой штурм;
• совещание;
• деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях оргпроектирования каждая их этих разновидностей используются совместно, что дает нередко большой эффект и объективность. Такой подход к сбору мнений экспертов, то есть когда используется смешанная форма, применяется в случаях некоторой неясности проблемы, разногласиях индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

Вместе с тем, наиболее часто в практике проектирования оргсистем используется анкетирование, которое позволяет с меньшими трудозатратами экспертов собрать их мнение, но по времени сбор мнений при использовании этого вида более длительный.

Обычно процесс разработки анкеты включает:

• определение формы и содержания обращения к эксперту;
• выбор типа вопросов;
• формулировку вопросов;
• изложение необходимых для эксперта информации;
• разработку формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из представленного заранее в анкете ряда ответов; закрытый - "да", "нет", "не знаю"; открытый - вопрос, ответ на который может быть дан в произвольно форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и (или) субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов СУ. Достоинством метода рангов является его простота. Недостатками являются:

• невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;
• не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования СУ несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу(что нередко бывает при проектировании СУ) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов (рангов и др.) мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Для оценки меры согласованности мнений экспертов используются, как правило, коэффициенты конкордации - дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значения от 0 до 1. При 0 - нет согласованности между мнениями экспертов, при 1 - согласованность полная. Если дисперсионный коэффициент конкордации больше 0,5, то обычно согласованность считается достаточной.

Энтропийный коэффициент конкордации (иначе его называют коэффициентом согласия) также изменяется от 0 до 1 и также при большей величине коэффициента согласия - большая мера согласованности.

В случаях, когда мнения экспертов различаются незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании СУ. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

К разновидности экспертного метода можно отнести социологический, который основывается на опросе, сборе и анализе мнений респондентов (например, фактических или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме - распространением анкет или устно (на конференциях, аукционах, выставках, в учебных заведениях и т.п.). При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности требуют трудоемких вычислений. Поэтому следует шире использовать при проведении сбора и обработке результатов экспертной и социологической информации компьютерную технику. Возможности для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

И. Acтaшкинa, B. Mишин

Исследование систем управления,

Экспертные методы используются при решении прогностических, аналитических и проектных задач, связанных с неформализуемостью и отсутствием определенности в представлениях об организационно-экономических объектах.

Сущность данного метода: проведение экспертами интуитивно-логического анализа проблемы с качественной оценкой суждения и формальной обработкой результатов.

Особенности метода экспертных оценок: необходимость научно-обоснованной организации экспертизы, применение количественных методов для оценки качественных суждений экспертов.

Экспертный метод может использоваться при определении прогнозов развития объектов; при определении целей и задач, альтернативном распределении ресурсов; при принятии решений в условиях неопределенности и риска.

1-й этап использования данного метода – формирование группы экспертов. Свойства, которые необходимы специалисту для включения его в экспертную группу:

– компетентность (степень квалификации в определенной области знаний);

– креативность (способность решать творческие задачи);

– аналитичность и широта мышления;

– конструктивность (способность формировать конкретные предложения);

– самокритичность эксперта;

Отношение к экспертизе.

Для формирования экспертных групп могут использовать способ тестирования, документационный и другие методы.

Способ тестирования состоит в том, что на основе разработанных тестов проходят обследование возможные кандидаты, и по результатам ответов формируется группа.

Документационный способ – отбор экспертов по их объективным характеристикам, которые содержатся в их личных документах (стаж работы, должность, ученая степень, количество публикаций и др.).

Способ назначения – определение руководителем группы экспертов из числа сотрудников. Главный недостаток способа: мнение сотрудников может быть согласованным, но ошибочным, выражающим официальную позицию организации в данном вопросе («эффект школы»). Результаты экспертизы в этом случае представляют интерес в основном лишь для внутреннего пользования.

2-й этап применения экспертного метода – проведение экспертизы.

Данный этап начинается с выбора способа опроса экспертов. Различают индивидуальный, групповой и дельфийский методы.

При индивидуальном способе от каждого эксперта посредством анкетирования или интервьюирования получают оценки, не зависимые от мнениях других. Затем после их обобщения и обработки определяют общую, результирующую оценку. Индивидуальную экспертизу рационально использовать при необходимости выработки точечного прогноза состояния объекта, при ранжировании совокупности объектов и в других случаях, когда важнейшими качествами эксперта выступают его компетентность и конструктивность.

Групповой способ предусматривает получение суммарной оценки или общего решения сразу от всех экспертов путем совместного обсуждения. Его использование целесообразно при поиске нетрадиционных решений, при оценке характеристик малоизученных объектов, т. е. при необходимости получения творческого решения. Групповой опрос может осуществляться посредством проведения дискуссий, совещаний, конференций, «мозгового штурма».

Метод Дельфи синтезирует ряд положительных черт индивидуальной и групповой экспертиз. Эксперты независимо друг от друга высказывают свое мнение в письменной форме. Важнейшая составляющая метода – тщательно разработанные программы анкетирования, осуществляемого в несколько туров, и регулирование вопросов на каждом последующем туре. По окончании каждого тура группа организаторов экспертизы анализирует полученные ответы, обобщает их и готовит по результатам тура справку-бюллетень, с текстом которой знакомятся все эксперты. При этом информация в справке анонимна. При повторном опросе эксперты получают вопросы, уточняющие первоначальные ответы и сформулированные выводы с учетом итогов предыдущего тура. В третьем туре экспертам сообщают, по каких пунктам имеется единое мнение, экспертов, высказавших отличное от других мнение, просят его обосновать. Четвертый, чаще всего последний, тур повторяет процедуру третьего. Таким образом, область расхождения мнений сужается и вырабатывается общее решение.

Достоинство дельфийского метода – он уменьшает или полностью устраняет такие психологические факторы, как показная убежденность, нежелание отказаться от публичного высказывания своего мнения, влияние авторитета.

3-й этап экспертных методов – обработка результатов опроса.

Для обеспечения возможности формальной обработки результатов экспертизы необходима численная система, описывающая свойства объектов и отношения между ними с помощью количественных параметров (различные шкалы наименований (классификации), порядков, интервалов, отношений, разностей).

Шкала наименований используется для описания принадлежности объекта к определенным классам. Шкала порядка – для измерения упорядочения объектов по одному или ряду признаков (шкала рангов). Шкала интервалов – для отображения величины различий между свойствами объектов. Шкала отношений – для отражения отношения свойств объектов, например, их весомости. Шкала разностей – при необходимости определить, насколько один объект превосходит другой по одному или нескольким признакам.

Выбор шкалы определяется задачами экспертизы, особенностями объекта, возможностями группы.

При обработке результатов экспертизы важное значение имеет выбор метода измерения. Наиболее употребительные методы: ранжирование, парное сравнение, непосредственная оценка, последовательное сравнение.

Регламент должен отвечать следующим требованиям: обеспечить достаточное разнообразие формулировок; единство структуры формулировки (например, формулировка должна последовательно отвечать на вопросы: что необходимо? над чем (с чем)? для чего?). Полученные формулировки должны достаточно полно отражать важнейшее их содержание, т. е. обладать значительной емкостью; формулирование должно происходить таким образом, чтобы исключить разночтение.

Проблемы совершенствования экспертных технологий связаны с проработкой следующих направлений: формирование экспертной комиссии, организация и проведение экспертиз на основе использования современных методов, использование многокритериальных оценок при интерпретации результатов.

Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - это специалист, компетентный в решении конкретной задачи (от латинского слова expertus - опытный). Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.

Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. - это решения, принимаемые экспертными методами. При использовании экспертного метода важны следующие факторы: компетентность экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых кроме нижнего и верхнего имеется средний (удовлетворительный) уровень.

Экспертный метод может использоваться при формировании общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертного метода следующие:

оценка нормативных документов на продукцию;

обобщенная оценка качества продукции;

классификация оцениваемых товаров;

определение номенклатуры показателей качества оцениваемой продукции;

определение коэффициентов весомости показателей качества:

выбор базовых образцов и определение значений базовых показателей качества;

измерение и оценка показателей качества с помощью органов чувств (органолептически);

оценка единичных показателей, значения которых определены измерительным или расчетным методами;

идентификация продукции;

определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);

оценка конкурентоспособности продукции;

сертификация продукции.

Экспертный метод не используется, если качество можно оценить другими методами с большей точностью или с меньшими затратами.

Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов. Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание:

истории развития оцениваемой продукции, изменение ее свойств и показателей качества;

условий проектирования (конструирования) и производства (переработки) продукции;

значений показателей качества отечественных и зарубежных аналогов;

перспектив развития продукции, отраженных в научно-исследовательских работах, патентах, конструкторских разработках;

требований потребителей, условий и характера потребления (эксплуатации) и утилизации.

Квалиметрическая компетентность предусматривает четкое понимание подхода к оценке качества товаров, методов оценки качества, вопросов построения и применения оценочных шкал, определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.

Квалификация эксперта определяется не только знанием предмета обсуждения, но и умением высказывать четкие, однозначные суждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и т.д., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.

При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и организации, в которой формируется группа, но в группе должно быть не менее 7-12 чел. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15 - 20 экспертов.

Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.

В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.

При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества, при этом желательно начинать оценку с уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.

При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:

признак, по которому любой комплексный показатель делится на п показателей ниже расположенного уровня (классификационный признак), должен быть единым для всех п показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);

определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;

если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;

число показателей качества, входящих в однородные группы: на одном уровне номенклатуры показателей качества, не должны резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на первом уровне расположено три показателя (S = 1, 2, 3), на втором уровне каждый из них состоит из некоторого числа показателей - соответственно q , I, р. Желательно, чтобы выполнялось условие q I р или чтобы эти числа были достаточно близкими.

Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.

Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.

После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:

в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);

в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);

следует вычеркнуть показатели, которые можно считать маловажными и одновременно дополнить номенклатуру показателями, достаточно важными;

номенклатура показателей качества составлена правильно.

Мотивы своих действий эксперт записывает на отдельном листе, приложенном к номенклатуре, или излагает техническому работнику, который заполняет этот лист.

После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.

Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, ранг 2 - следующему по важности и т.д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не выполнять.

Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10... 15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.

Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.

На сборе экспертной группы проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты фиксируют в документах значения коэффициента весомости показателя качества и переходят к обсуждению следующего показателя.

По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.

Значения коэффициентов вариации определяются: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т.д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V < 0,10 - согласованность высокая; V= 0,11 ...0,15 - согласованность выше средней; V=0,16...0,25 - согласованность средняя; V= 0,26...0,35 - согласованность ниже средней; V > 0,35 - согласованность низкая.

Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективными и объективными. К субъективным относятся: недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибки экспертов и т.д.

Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.

Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшился (или улучшился незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.

Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов, выявить истинное мнение каждого эксперта, не стремиться сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой «неблагополучия» во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.