ПОЛОЖЕНИЕ

Об аналитическом рейтинге рангового типа

Определения терминов

Под термином рейтинг здесь понимается упорядоченный список определенных объектов, построенный по убыванию некоторого "качества" этих объектов. Рейтинг называется экспертным, если упорядочение определяется экспертом (комиссией экспертов). Аналитическим называется рейтинг, в котором упорядочение объектов определяется математической моделью.

Замечание. Экспертный рейтинг может опираться на одну или несколько математических моделей, но принципиально важно, что окончательное заключение о месте объекта в рейтинге принимает именно эксперт на основании своего опыта и знаний. В аналитическом рейтинге место объекта в упорядочении определяется на основе математической модели. Однако, в рамках модели могут тем или иным образом использоваться суждения экспертов. Например, набор критериев оценки объектов может определяться на основе коллективного мнения экспертов (что чаще всего и происходит на практике). Важно, что когда получены все экспертные оценки, окончательное заключение о месте объекта в рейтинге определяется именно математической моделью.

Упорядочение объектов может быть выполнено либо на основе некоторой шкалы, либо без шкалы. Примеры упорядочения на основе шкалы см. в Дополнении. Ранговый рейтинг есть упорядочение без шкалы.

Упорядочение называется ранжировкой, если указан номер места объекта в упорядочении. Если нам сообщают места, полученные спортсменами по результатам соревнований, то это и есть ранжировка. Например, объявляют, что первые 3 места распределились следующим образом:

1. Иванов
2. Петров
3. Сидоров

Места, занятые объектами, называются "рангами". Ранг 1 принято присваивать наилучшему объекту. Чем больше номер ранга, тем хуже некоторое "качество" объекта. Часто один и тот же ранг присваивается нескольким объектам. В терминах спортивного примера, Петров и Сидоров могут разделить второе место. Основная особенность ранжировки заключается в том, что она указывает только положение объектов относительно друг друга и не дает информации о том, "на сколько" один объект лучше (хуже) другого.

Введем следующие определения.
Ранг - целое число, определяющее место объекта в упорядочении и трактуемое как относительное "качество" объекта. Большему числу соответствует худшее "качество".
Рейтинг-лист - список объектов, упорядоченных по возрастанию номера ранга. Этот термин введен с целью отличить рейтинг рангового типа от рейтинга, являющегося градацией шкалы.
Участник - предприятие, принявшее решение об участии в рейтинге. Таким образом, в рейтинг-листе присутствуют не все предприятия данного сегмента рынка, а только предприятия-участники.
Рейтинговое агентство - предприятие, осуществляющее управление рейтинговым проектом, включая сбор данных и построение рейтинга. (В дальнейшем тексте - Агентство).
Эксперт - 1) Сотрудник Участника, которому Участник официально делегирует право представлять интересы Участника во всех вопросах, касающихся рейтинга; 2) Независимый специалист, привлекаемый Участником или Агентством в рамках рейтингового проекта.
Период - Календарный период времени (месяц, квартал, год), который определяет периодичность построения рейтинга участников.
Перечень исходных данных - список данных, которые каждый Участник должен представлять Агентству в конце периода. Данные характеризуют те стороны деятельности Участника за прошедший период, которые существенны для построения рейтинга.

1. Технология построения рейтинга

1.1. Этап 1: Формирование набора критериев.

Этап предполагает выполнение следующих действий:

• Агентство формирует исходный перечень критериев оценки Участников.
• Каждый Участник, в лице своего Эксперта, корректирует исходный перечень критериев, внося в него необходимые исправления, дополнения, или удаляя лишние, по его мнению, критерии. При этом эксперт должен обеспечить выполнение следующих условий: А) Если критерий остается в списке, то это означает, что Участник обязуется предоставлять данные, необходимые для оценки "качества" Участника по этому критерию. Б) Каждый критерии должен отражать определенную сторону деятельности Участника, не дублируя, даже частично, остальные критерии. В) Набор критериев должен максимально полно отражать все стороны деятельности Участника, существенные для цели конкретного рейтинга вне зависимости от их важности (сравнительная важность критериев будет оцениваться отдельно).
• На основе индивидуальных перечней критериев, подготовленных экспертами, Агентство строит обобщенный список критериев. При этом в обобщенный список попадают только те критерии, которые присутствуют более чем у половины экспертов. Полученный таким способом перечень критериев считается окончательным.
• На основе окончательного списка критериев Агентство разрабатывает перечень исходных данных и форму их представления.
• Каждый эксперт ранжирует обобщенный список критериев по сравнительной значимости. При этом:
• Любому рангу может соответствовать произвольное количество критериев.
• Все критерии одного ранга считаются равноважными.
• Пропуски номеров рангов недопустимы.
• Количество рангов ограничивается только общим количеством критериев.
• Ранг 1 - самые важные (значимые) критерии.
• Ранг 2 - критерии, менее важные, чем критерии ранга 1, но более важные, чем критерии ранга 3.
• И т.д.
• На основе индивидуальных ранжировок критериев, подготовленных экспертами, Агентство строит агрегированную ранжировку. При этом используется метод строчных сумм.

1.2. Этап 2: Сбор данных от участников и построение рейтинга.

• В конце каждого периода Участники представляют Агентству исходные данные для построения рейтинг-листа согласно Перечню исходных данных. Заверенный перечень служит обоснованием достоверности исходных данных.
• Участники, не приславшие исходные данные полностью, в установленной форме и в оговоренный срок, не включаются в рейтинг-лист очередного периода.
• На основании исходных данных текущего периода, Агентство строит рейтинг-лист этого периода. При этом используется методика Павла Горского "Triple Rang Rating".

2. Методика "Triple Rang Rating"

Методика основана на использовании трех различных математических моделей построения ранжировки. Такой подход позволяет избежать однобокости любой отдельной модели и дает возможность оценить участников с разных сторон.

2.1. Ранжировка методом "Спортивный турнир".

Этот вид ранжировки основан на так называемой "спортивной" модели. Суть модели в том, что по каждому критерию фиксируются "выигрыши", "проигрыши" и "ничьи" каждой пары участников. Модель служит для грубой оценки относительной "силы" участников.

2.2. Ранжировка методом линейной свертки.

Модель основана на взвешенной сумме оценок. Основное свойство модели: низкое значение оценки по одному критерию может быть компенсировано высокой оценкой по другому. Модель служит для оценки максимума возможностей участника по всей совокупности критериев с учетом их сравнительной важности.

2.3. Ранжировка методом мультипликативной свертки.

Модель основана на взвешенном произведении нормированных оценок по квалиметрическому методу Руссмана. Основное свойство модели: низкое значение хотя бы по одному критерию влечет за собой низкое место в ранжировке. Модель служит для оценки равномерности "качества" участников по всем критериям, выявлению "провалов".

2.4. На основе ранжировок, описанных в пунктах 3.1 - 3.3 строится агрегированная ранжировка методом строчных сумм.

2.5. Выполняется анализ чувствительности агрегированной ранжировки к набору критериев.

Анализ позволяет оценить влияние каждого отдельного критерия на обобщенную ранжировку и тем самым оценить ее устойчивость.

Дополнение

Хотя данное Положение ориентировано на рейтинг рангового типа, полезно познакомиться также с упорядочением на основе шкалы. Например, шкала рейтинга облигаций крупнейшего мирового рейтингового агентства Moody's имеет вид:

ААА
АА
А
ВВВ
ВВ
В
...

Каждая градация шкалы имеет определенное значение. Так, облигации, имеющие рейтинг ААА - наиболее надежны (имеют наименьший риск). Вместе с тем, присвоение рейтинга конкретному виду облигаций - прерогатива эксперта.

Буквенно-цифровой дизайн имеет шкала рейтинга кредитоспособности банков России, используемая МБО "Оргбанк".

Эту шкалу приведем в виде строки:

(LA3, LA2, LA1, LB3, LB2, LB1, ...).

Рейтинг "Оргбанка" также является экспертным.

Пример шкалы с числовым дизайном градаций дает кредитный экспертный рейтинг российского рейтингового агентства "EA- Ratings", учрежденного Фондом "Институт экономики города". Шкала имеет вид:

(555, 55, 5, 444, 44, 4, : , 2).

Градация "555" означает исключительно высокую способность эмитента оплатить финансовые обязательства, градация "2" означает, что выплата долговых обязательств эмитентом прервана.

Спортивные разряды - другой широко известный пример упорядочения на основе шкалы. В России такая шкала имеет вид:

Мастер спорта международного класса
Мастер спорта
Кандидат в мастера
1-й спортивный разряд
2-й спортивный разряд
...

Важно отметить, что упорядочение спортсменов по этой шкале не есть экспертная процедура. Существуют четкие нормативы, при выполнении которых спортсмену присваивается разряд. Однако разработка нормативов - уже является экспертной процедурой.

Звезды отелей - другой известный пример шкалы, упорядочение по которой определено нормативами.

В качестве примера можно привести также Классические шкалы мировых лидеров среди рейтинговых агентств