Как построить метрики комплаенс-рисков при недостатке статистических данных

Практический подход для банков, платёжных организаций и регулируемых компаний.

В одной из прошлых проверок мне довелось оценивать комплаенс-систему одного из банков. Честно говоря, сам подход был воодушевляющим: сильная команда, нормальная оснащённость, понятная управленческая поддержка. Было приятно видеть, что комплаенс воспринимается не как декоративная функция, а как полноценный элемент защиты бизнеса. Но затем возник главный вопрос: как измерять комплаенс-риски?

И вот тут начались сложности. Риск-менеджмент смотрел на задачу через свою профессиональную позицию, комплаенс-служба через свою, а общеустановленный подход в конкретной ситуации явно не давал рабочего результата. Накопленные данные были разнородными, находились в разных системах, относились к разным операционным периодам и не складывались в единую статистическую базу, на которую можно было бы уверенно опереться.

Поэтому сразу сделаю небольшой дисклеймер: я не являюсь риск-менеджером и не

претендую на создание универсальной модели для всех видов рисков. Но с точки зрения практической оценки именно комплаенс-рисков такой подход оказался полезным. Он позволил алгоритмизировать разрозненные данные, связать риски с контролями, ввести понятные метрики и сделать оценку более управляемой.

Методика, о которой пойдёт речь ниже, возможно, будет спорной с позиции классического риск-менеджмента. Но её задача другая: дать комплаенс-службе практичный инструмент там, где статистики мало, данные неполные, а оценивать риски всё равно необходимо.

Одна из типичных проблем при построении системы оценки комплаенс-рисков отсутствие качественной статистики с очищенными данными и приведенными к единому основанию.

В теории рисков всё выглядит понятно: нужно собрать данные, определить частоту событий, оценить размер последствий, построить модель, рассчитать остаточный риск и использовать результат для управленческих решений.

На практике всё сложнее. В частности с чем я столкнулся:

·         Исторических данных мало, нет они есть, но в разных системах и программах часть из которых уже не используется;

·         Инциденты фиксировались нерегулярно, вернее подходы с годами в банковской сфере менялись и соответственно, то что сейчас риск ранее считалось допустимым;

·         Нарушения описывались разными словами;

·         Одни события попадали в отчётность, другие оставались на уровне переписки;

·         Часть рисков вообще не реализовывалась, но потенциально могла привести к серьёзным последствиям;

·         Подразделения выполняющие часть комплаенс-функций по-разному понимали, что считать нарушением;

·         Контрольные процедуры существуют, но их эффективность никогда не измерялась.

В результате у комплаенса возникает классический вопрос: как считать риск, если статистики недостаточно?

Ответ нашелся не сразу несмотря на кажущую очевидность. И звучал он следующим образом: не пытаться изображать точную математическую модель там, где нет надёжной базы данных. Нужно строить гибридную методику, в которой количественные показатели сочетаются с экспертной оценкой, контрольными индикаторами и понятной логикой расчёта.

(!) Базовая ошибка: ждать идеальных данных

Многие компании откладывают построение метрик комплаенс-рисков, потому что у них нет полноценной статистики за несколько лет. Это ошибка.

Идеальные данные редко появляются сами по себе. Они возникают только после того, как компания начинает системно определять события, классифицировать нарушения, фиксировать контрольные результаты и накапливать сопоставимую информацию.

То есть сначала появляется методика, потом дисциплина фиксации, и только затем качественная статистика. Если ждать идеальных данных, система оценки риска так и не будет запущена.

Поэтому по моему глубокому убеждению практический подход должен быть другим: сначала создаётся рабочая модель, основанная на доступных данных и экспертной логике, а затем модель постепенно уточняется по мере накопления статистики.

Что я предлагаю использовать вместо полноценной статистики

Если исторических данных мало, это не означает, что компания вообще ничего не может измерять.

Обычно доступны другие источники информации:

1.      Результаты внутренних проверок, даже если они проводились нерегулярно, они показывают повторяющиеся слабые места.

2.      Результаты внешних проверок и замечаний регулятора такие данные особенно важны, потому что отражают не только внутренний взгляд компании, но и внешнюю оценку.

3.      Журналы инцидентов и нарушений даже неполные журналы дают основу для первичной классификации событий.

4.      Обращения клиентов и жалобы они могут указывать на процессные сбои, нарушения сроков, некорректную коммуникацию или слабые контрольные точки.

5.      Результаты мониторинга операций применимо для AML/CFT (Anti-Money Laundering / Countering Financing of Terrorism противодействие отмыванию денег и финансированию терроризма), санкционного контроля, антифрода и KYC даже ограниченная выборка может быть полезна.

6.      Данные по обучению сотрудников прохождение обучения, результаты тестирования и повторные ошибки после обучения показывают зрелость контрольной среды и качество обучения.

7.      Сроки устранения замечаний: если нарушения устраняются медленно или повторяются, это самостоятельный индикатор риска.

8.      Экспертные оценки владельцев процессов они не заменяют данные, но помогают оценить вероятность и последствия там, где статистика отсутствует.

9.      Оценка эффективности контрольных процедур если контроль формально существует, но не предотвращает нарушения, его нельзя считать полноценным снижением риска.

10. Сравнение с типовыми регуляторными ожиданиями и рыночной практикой это не статистика компании, но полезный внешний ориентир для оценки зрелости системы.

Нужно разделять риск и нарушение

В методике важно не смешивать два разных уровня:

·         Нарушение это уже произошедшее событие.

·         Риск это вероятность и возможные последствия того, что событие произойдёт.

Если компания фиксирует только нарушения, она смотрит назад. Если компания оценивает риски, она смотрит вперёд. Для комплаенса это принципиально. Например, в каком-то процессе за год не было зафиксировано ни одного нарушения. Формально статистика показывает “ноль”. Но это не значит, что риск отсутствует. Как стоит воспринимать такие данные:

·         Возможно, процесс просто не проверялся или проверялся недостаточно тщательно или не имеет фиксации;

·         Возможно, сотрудники не знают, что нужно сообщать о нарушениях;

·         Возможно, контроль на местах - отсутствует;

·         Возможно, риск ещё не реализовался, но последствия при реализации будут критическими.

Поэтому “ноль нарушений” не должен автоматически означать “низкий риск”. В условиях недостатка статистики это особенно важно.

Базовая логика модели

Практичная модель оценки комплаенс-рисков должна отвечать на четыре вопроса:

1.      Какой риск оценивается? Например: риск нарушения требований AML/CFT, риск конфликта интересов, риск санкционного нарушения, риск недостоверной идентификации клиента, риск нарушения правил взаимодействия с регулятором.

2.      Какова вероятность реализации риска? Она может оцениваться не только по частоте прошлых событий, но и по косвенным признакам: сложности процесса, количеству ручных операций, уровню автоматизации, числу участников, результатам проверок.

3.      Каковы последствия реализации риска? Последствия могут быть финансовыми, регуляторными, репутационными, операционными и управленческими.

4.      Насколько эффективны существующие контрольные процедуры? Контроль должен не просто существовать в документе, а реально снижать вероятность или последствия риска.

Интегральная оценка риска

Рабочая формула может быть невероятно простой:

Изначальный риск = вероятность × последствия

Затем оценивается эффективность контролей.

Остаточный риск = изначальный риск × коэффициент недостаточности контроля

Смысл модели не в том, чтобы создать иллюзию математической точности её тут - нет. Смысл в том, чтобы компания могла одинаково оценивать разные риски, сравнивать их между собой и принимать решения на понятной основе.

Например:

·         высокий риск + недосточность контроля = приоритетное корректирующее действие;

·         высокий риск + сильный контроль = зона регулярного мониторинга;

·         низкий риск + слабый контроль = вопрос к целесообразности усиления контроля;

·         низкий риск + сильный контроль = зона поддерживающего контроля.

Как оценивать вероятность без статистики

Если данных о частоте нарушений недостаточно, вероятность можно оценивать через набор факторов. Я предлагаю использовать следующие:

1.      Сложность процесса чем больше этапов, ручных операций и участников, тем выше вероятность ошибки или обхода процедуры.

2.      Объём операций чем больше операций проходит через процесс, тем выше вероятность инцидентов.

3.      Степень ручного участия ручные действия повышают риск ошибок, субъективных решений и злоупотреблений.

4.      Изменчивость требований если регулирование или внутренние правила часто меняются, вероятность нарушения выше.

5.      Результаты проверок повторяющиеся замечания повышают оценку вероятности.

6.      Уровень компетентности сотрудников низкие результаты обучения или частые ошибки после обучения или редкость самого обучения повышают риск.

7.      Наличие жалоб или обращений жалобы могут быть ранним индикатором проблем в процессе.

8.      Качество фиксации решений если решения принимаются устно или плохо документируются, вероятность нарушения выше.

9.      Зависимость от одного сотрудника или подразделения концентрация знаний и полномочий в одних руках повышает риск.

10. История изменений в процессе новые продукты, новые каналы, новые системы и новые подрядчики повышают неопределённость.

Таким образом, вероятность можно оценивать не только по статистике прошлых нарушений, но и по характеристикам самого процесса.

Как оценивать последствия

Последствия комплаенс-риска не всегда выражаются только в деньгах. Для регулируемой организации последствия могут включать:

1.      Регуляторные последствия предписания, ограничения, усиленный надзор, штрафы, риск ухудшения отношений с регулятором.

2.      Финансовые последствия прямые потери, штрафы, компенсации, судебные расходы, расходы на исправление нарушений.

3.      Репутационные последствия потеря доверия клиентов, партнёров, банков-корреспондентов, инвесторов или регулятора.

4.      Операционные последствия приостановка процессов, ручная переработка операций, дополнительные проверки, нагрузка на персонал.

5.      Юридические последствия споры, претензии, риск признания действий неправомерными, персональная ответственность должностных лиц.

6.      Стратегические последствия ограничение запуска новых продуктов, потери партнёров, невозможность масштабирования.

В методике лучше заранее определить шкалу последствий по степени тяжести. Например от 1 до 5:

·         1 - незначительные последствия;

·         2 - умеренные последствия;

·         3 - существенные последствия;

·         4 - серьёзные последствия;

·         5 - критические последствия.

Главное описать критерии каждого уровня так, чтобы разные подразделения понимали их одинаково иначе говоря, нужно установить общие правила игры для дальнейшего накопления статистических вероятность это крайне важно.

Как оценивать эффективность контроля

Одна из слабых точек многих методик формальное отношение к контролю и контрольным процедурам без учета пользы и эффективности. Компания указывает: “контроль есть”, и автоматически снижает риск. Но наличие контроля ещё не означает его эффективность.

Контроль должен оцениваться по нескольким параметрам:

1.      Формализованы ли контрольные процедуры? Есть ли утверждённое правило, процедура, чек-лист, контрольная точка?

2.      Назначен ли владелец контрольной процедуры? Понятно ли, кто отвечает за выполнение контрольной процедуры?

3.      Есть ли доказательства выполнения? Остаётся ли след: отчёт, отметка, журнал, согласование, выгрузка, протокол?

4.      Регулярно ли выполняется контрольные процедуры? Или они проводится только перед проверкой или когда представитель комплаенс-службы стоит над душой?

5.      Предотвращает ли контрольная процедура нарушение? Или она только фиксирует проблему после её возникновения?

6.      Автоматизированы ли контрольные процедуры? Автоматические контроли обычно устойчивее ручных, но тоже требуют проверки настроек.

7.      Тестировалась ли эффективность контрольных процедур? Есть ли результаты выборочных проверок, внутреннего аудита или комплаенс-мониторинга?

8.      Есть ли повторные нарушения при наличии контрольных процедур? Если нарушения повторяются, контрольная процедура либо слабая, либо не работает.

По итогам можно присвоить контролю уровень эффективности:

·         высокий;

·         средний;

·         низкий;

·         отсутствует.

И уже этот уровень мы сможем использовать для расчёта остаточного риска.

Пример коэффициента недостаточности контроля

В условиях недостатка статистических данных коэффициенты слабости контроля могут устанавливаться экспертно исходя из наших суждений. Это не универсальные математические константы, а внутреннее методическое допущение, которое позволяет привести разрозненные оценки к единой логике.

Например, если контроль высокий, можно применять коэффициент 0,4, поскольку такой контроль существенно снижает остаточный риск. Если контроль средний: коэффициент 0,7, так как риск снижается частично. Если контроль низкий коэффициент: 1,0, поскольку его наличие почти не влияет на уровень риска. Если контроль отсутствует коэффициент повышается до 1,2, поскольку риск не только не снижается, но и должен рассматриваться как неуправляемый.

Эти значения должны быть утверждены внутри методики и в дальнейшем пересматриваться по мере накопления статистики, результатов проверок, инцидентов и тестирования эффективности контролей.

Но предположим мы внедрили предложенные мной коэффициенты и тогда остаточный риск рассчитывается так:

Остаточный риск = вероятность × последствия × коэффициент слабости контроля

Это не единственный возможный вариант. Но он удобен тем, что показывает: слабый контроль не снижает риск, а отсутствие контроля может даже усиливать итоговую оценку. Иначе говоря мы обретаем некую почву под ногами, да это не совсем верно методологически но изрядно облегчит нам жизнь.

Почему экспертная оценка допустима

В условиях недостатка статистики экспертная оценка неизбежна. Вопрос не в том, использовать её или нет. Вопрос в том, как сделать её понятной и управляемой.

Плохая экспертная оценка выглядит так: Мне кажется, риск средний.

Хорошая экспертная оценка выглядит иначе:

·         определены критерии;

·         используется единая шкала;

·         оценку дают владельцы процесса и комплаенс;

·         разногласия фиксируются;

·         итоговая оценка утверждается уполномоченным органом или комитетом;

·         основания оценки документируются;

·         модель не является константой пересматривается после проверок, инцидентов и изменений в процессе.

Экспертная оценка становится проблемой только тогда, когда она ничем не обоснована. Если же она привязана к критериям, факторам и контрольным данным, она становится нормальным инструментом управления риском, как минимум допустимым инструментом, а иногда и единственным.

Роль KRI и KPI

В системе комплаенс-метрик важно разделять KRI и KPI. KRI (Key Risk Indicator - ключевой индикатор риска) показывает рост или снижение риска.

Например:

·         увеличение количества операций с признаками необычности;

·         рост числа клиентов с высоким уровнем риска;

·         увеличение числа просроченных проверок;

·         рост количества ручных обходов процедуры;

·         повторные замечания по одному процессу;

·         увеличение числа изменений реквизитов контрагентов;

·         снижение качества заполнения клиентских досье.

KPI (Key Performance Indicator - ключевой показатель эффективности) показывает эффективность работы функции или процесса.

Например:

·         доля проверок, выполненных в срок;

·         срок устранения замечаний;

·         процент сотрудников, прошедших обучение;

·         доля закрытых корректирующих мероприятий;

·         количество проведённых тематических проверок;

·         доля протестированных контрольных процедур.

Ошибка возникает тогда, когда KPI начинают выдавать за KRI. Например, “100% сотрудников прошли обучение” это хороший KPI, но сам по себе он не доказывает, что риск снизился. Сотрудники могут недостаточно хорошо понимать тему. учиться спустя рукава или проходить обучение редко. Если после обучения сотрудники продолжают совершать одинаковые ошибки, KRI может ухудшаться, несмотря на красивый KPI.

Минимальный набор метрик

Для зрелой, но практичной системы можно начать с ограниченного набора метрик.

1.      Количество выявленных нарушений по категориям риска.

2.      Доля повторных нарушений.

3.      Количество просроченных корректирующих мероприятий.

4.      Средний срок устранения замечаний.

5.      Доля клиентов, контрагентов или операций высокого риска.

6.      Количество случаев обхода стандартной процедуры.

7.      Доля ручных операций в критических процессах.

8.      Количество изменений реквизитов, прошедших дополнительную проверку.

9.      Доля контрольных процедур, протестированных за период.

10. Доля контрольных процедур с низкой эффективностью.

11. Количество жалоб или обращений, связанных с комплаенс-процессами.

12. Доля сотрудников, не прошедших обучение или тестирование.

13. Количество повторных замечаний по одному подразделению или контрольному процессу.

14. Доля риск-событий, выявленных превентивно, а не после нарушения.

15. Доля процессов с актуализированной оценкой риска.

Такой набор не требует идеальной статистики, но уже позволяет видеть динамику и управлять приоритетами.

Как избежать псевдоточности

При построении комплаенс-метрик есть опасность создать красивую, но ложную точность. Например, риск рассчитывается до второго знака после запятой, но исходные данные основаны на слабой экспертной оценке.

Это выглядит научно, но не даёт реальной управленческой ценности. В комплаенсе лучше честная приблизительность, чем математическая имитация точности. Если данные слабые, методика должна прямо это прямо признавать.

Например:

·         часть показателей основана на статистике;

·         часть на результатах проверок;

·         часть на экспертной оценке;

·         часть на косвенных индикаторах;

·         степень достоверности оценки фиксируется отдельно.

Можно ввести дополнительный параметр уровень уверенности в оценке.

Например:

·         высокий есть достаточная статистика и результаты тестирования контрольных процедур;

·         средний есть частичные данные и результаты проверок;

·         низкий оценка в основном экспертная.

Это очень полезно для комитетов и руководства, потому что показывает не только уровень риска, но и качество самой оценки. Важно помнить полноценная оценка рисков будет только после достаточного накопления статистических данных и даже тогда риск категория не совершенно точная, мы пользуемся вероятностями.

Риск-матрица это инструмент, а не украшение

Риск-матрица часто превращается в красивую картинку для отчёта. Но она должна быть рабочим инструментом.

Для этого в методике нужно заранее определить:

·         шкалу вероятности;

·         шкалу последствий;

·         правила оценки процедур контроля;

·         формулу остаточного риска;

·         пороги низкого, среднего, высокого и критического риска;

·         порядок преодоления противоречий при прохождении контрольных процедур;

·         частоту пересмотра оценки;

·         связь оценки с корректирующими мероприятиями.

Если высокий риск не приводит к действию, риск-матрица бесполезна. Оценка риска всегда должна запускать управленческий механизм:

·         назначение владельца риска;

·         разработку корректирующих мероприятий;

·         установление сроков;

·         контроль исполнения;

·         повторную оценку после внедрения мер;

·         информирование комитета или руководства.

Как выглядит зрелый результат

Зрелая система метрик комплаенс-рисков позволяет компании:

·         видеть не только факты нарушений, но и зоны возможной реализации риска;

·         сравнивать риски между собой;

·         объяснять руководству используя математическую модель, почему один риск важнее другого;

·         доказывать регулятору наличие системного подхода;

·         распределять ресурсы комплаенса по приоритетам;

·         оценивать эффективность контрольных процедур;

·         фиксировать динамику риска;

·         выявлять слабые процессы до того, как возникнет серьёзное нарушение.

И самое главное такая система помогает уйти от субъективного разговора “кажется, риск высокий” к более зрелому разговору: Риск высокий, потому что вероятность повышена по трём факторам, последствия существенные, две ключевых преоцедуры контроля работают слабо, а уровень уверенности в оценке средний из-за недостатка статистики.

А это уже язык управления хорошо понятный руководителю.

Вывод

Недостаток статистических данных не должен останавливать построение системы оценки комплаенс-рисков. Но он должен заставить компанию честно признать ограничения модели. Если данных мало, нельзя делать вид, что модель абсолютно точная. Нужно использовать гибридный подход: статистику, экспертную оценку, контрольные индикаторы, результаты проверок, KRI, KPI и оценку эффективности контролей.

Хорошая методика не начинается с идеальной базы данных. Она начинается с понятной логики, дисциплины фиксации и готовности постоянно уточнять модель. Комплаенс-метрики нужны не для красивого отчёта. Они нужны для того, чтобы риск стал видимым, сравнимым и управляемым.

Берегите Ваши компании!

Приложение

Практический алгоритм внедрения

Построение метрик комплаенс-рисков при недостатке статистики можно запускать поэтапно.

Шаг 1. Определить карту комплаенс-рисков

Сначала нужно определить перечень ключевых рисков.

Например:

·         ·AML/CFT (Anti-Money Laundering / Countering Financing of Terrorism — противодействие отмыванию денег и финансированию терроризма);

·         санкционный риск;

·         риск конфликта интересов;

·         риск недостоверной идентификации клиента;

·         риск нарушения требований к персональным данным;

·         риск недобросовестного поведения сотрудников;

·         риск нарушения правил взаимодействия с регулятором;

·         риск нарушения внутренних процедур;

·         риск ошибок в договорной работе;

·         риск обхода контрольных процедур.

Шаг 2. Описать факторы вероятности

Для каждого риска нужно определить факторы, которые повышают или снижают вероятность. Это позволяет оценивать риск даже при недостатке статистики.

Шаг 3. Описать шкалу последствий

Последствия должны быть описаны так, чтобы риск можно было оценить сопоставимо в разных процессах и подразделениях.

Шаг 4. Инвентаризировать процедуры контроля

Нужно понять, какие контроли уже существуют, кто ими владеет, как они выполняются и есть ли доказательства их выполнения.

Шаг 5. Оценить эффективность процедуры контроля

Контрольные процедуры оцениваются не по факту наличия, а по способности реально снижать риск.

Шаг 6. Рассчитать остаточный риск

Остаточный риск рассчитывается после учёта эффективности процедур контроля.

Шаг 7. Определить KRI и KPI

Для каждого ключевого риска желательно определить хотя бы несколько индикаторов.

·         KRI показывают изменение риска.

·         KPI показывают эффективность процесса или функции.

Шаг 8. Настроить сбор данных

Нужно определить, откуда берутся данные, кто их предоставляет, как часто, в каком формате и кто отвечает за качество.

Шаг 9. Утвердить порядок пересмотра

Оценка риска должна пересматриваться:

·         по графику;

·         после инцидентов;

·         после регуляторных замечаний;

·         после запуска новых продуктов;

·         после изменения процессов;

·         после существенных изменений законодательства или требований регулятора;

·         после выявления неэффективных процедур контроля.

Шаг 10. Связать метрики с управленческими решениями

Метрики нужны не для отчёта.

Они нужны для решений.

·         Если риск высокий должны быть действия.

·         Если контроль слабый должен быть план усиления контрольных процедур.

·         Если данные ненадёжные должен быть план улучшения сбора данных.

·         Если нарушение повторяется должен быть анализ причины, а не просто очередное обучение.

#ComplianceRisk #ComplianceMetrics #KeyRiskIndicators #KeyPerformanceIndicators #InternalControls #RiskAssessment #ResidualRisk #GovernanceRiskCompliance #GRC