Шум. Несовершенство человеческих суждений - Оливье Сибони

К разговору об источниках шума

«Мы легко замечаем разницу в средних показателях по вынесенным решениям, но насколько велик внутриэкспертный шум, которого мы не видим?»

«По вашим словам, на эту оценку повлияли предубеждения. А сказали бы вы то же самое при ином исходе? И как узнать, что это не шум?»

«Мы приняли правильное решение целенаправленно бороться с искажениями. Так давайте же не забывать и о шуме».

Часть V

Улучшение качества суждений

Как компании улучшить качество суждений своих сотрудников? Как снизить, в частности, уровень шума, влияющего на суждения? Что предприняли бы вы, случись вам искать ответы на подобные вопросы?

Первым делом следует довести до компании мысль о том, что устранение шума – тема, заслуживающая всяческого внимания. Начнем с рекомендации осуществить ревизию шумовых помех (подробное описание мы приведем в Приложении 1). В ходе подобной ревизии множество людей должно вынести свое суждение в отношении одной и той же проблемы, и вариативность мнений расскажет нам об уровне шумового фона. Вы столкнетесь с рядом случаев, когда вариативность объясняется некомпетентностью некоторых сотрудников, плохо представляющих себе, о чем речь. При наличии такого разрыва в уровне профессиональной квалификации экспертов (глобально либо в конкретных вопросах) вашей основной задачей станет восполнение недостаточной компетентности. Однако порой суждения опытных и должным образом подготовленных профессионалов также выносятся под существенным давлением шумовых помех.

Если уровень системного шума явно заслуживает внимания, стоит задуматься о замене индивидуальных оценок сводом правил или алгоритмом, что позволит полностью исключить шумовой фон. В то же время использование свода правил также имеет недостатки (о чем мы поговорим в части VI), и самые убежденные сторонники искусственного интеллекта согласятся, что алгоритмы пока не стали (и вряд ли станут в ближайшем будущем) универсальной заменой человеческому разуму. Сегодня задача улучшения качества суждений стоит как никогда остро, и в данной части книги мы обсудим пути ее решения.

Одной из самых разумных стратегий на данном пути представляется выбор «лучшего судьи». Так, некоторые стрелки` достигают выдающейся меткости. То же самое справедливо в отношении профессиональных суждений: наиболее умелый специалист будет менее всего подвержен воздействию шумовых помех и менее склонен к смещению. Как выбрать лучшего? Порой ответ очевиден: решая шахматную задачку, обратитесь за помощью к гроссмейстеру, ибо авторы данной книги в шахматах вам советом не помогут. Тем не менее существует огромное количество сценариев, когда трудно определить, какими именно качествами следует обладать «лучшему судье», на чем мы и остановимся подробно в главе 18.

Далее мы обсудим подходы к снижению количества ошибок при вынесении суждений. Искажения психологического характера подразумевают как смещение, так и шум, и в главе 19 мы расскажем о многочисленных попытках противостоять подобным явлениям. Часть попыток окончилась откровенной неудачей, другим же сопутствовал явный успех. Мы сделаем краткий обзор стратегий, применяемых для устранения искажений, и предложим перспективную модель, которая, насколько нам известно, пока систематически не исследовалась. Наша идея заключается в привлечении стороннего наблюдателя за процессом принятия решений, задача которого выявлять в режиме реального времени признаки влияния на работу группы одного или сразу нескольких заранее известных видов искажений. В Приложении 2 мы приведем примерный чек-лист, которым и будет руководствоваться наш наблюдатель.

Затем перейдем к борьбе с шумовыми помехами – основной теме данной части книги – и введем понятие гигиены принятия решений – метода, рекомендованного для снижения шумового компонента в человеческих суждениях. Читателю будут предложены исследования в пяти различных областях. В каждой из них мы изучим распространенные виды шума и приведем пугающие примеры его воздействия. Остановимся на некоторых историях с успешным финалом, не забудем и провальные случаи. Разумеется, в любом из приведенных примеров использовались комплексные подходы, однако в целях упрощения нашего рассказа в каждой из глав речь пойдет о конкретной стратегии гигиены принятия решений.

Глава 20 начнется с анализа одной из ситуаций в области криминалистики, значимой с точки зрения управления последовательностью информационных потоков. В поисках когерентности участники процесса нередко формируют предварительные впечатления в условиях ограниченной информации, а затем ищут подтверждение заранее сложившемуся мнению. Именно поэтому не следует попадать под влияние не относящейся к делу информации на ранних стадиях оценивания.

В главе 21 мы обратимся к прогнозированию с целью подтверждения значимости важнейшей стратегии снижения – агрегации (обобщению) некоторого количества независимых мнений. Известный принцип «мудрости толпы» основан на среднем арифметическом множества отдельных суждений, что гарантированно позволяет снизить уровень шума. Помимо обычного усреднения существуют и другие методы обобщения, о которых мы расскажем на конкретных примерах.

В главе 22 приведен обзор шумовых помех в области медицины и мер, используемых для их снижения. Еще раз остановимся на значимости и общих принципах применения одной из стратегий снижения шума – методических рекомендациях по вынесению суждения, – о которых мы упоминали применительно к вынесению приговоров. Методические рекомендации могут стать эффективным механизмом подавления шума, оказывая непосредственное влияние на снижение межэкспертной вариативности окончательных оценок.

В главе 23 мы рассмотрим известную проблему в области менеджмента: оценку эффективности работы персонала. Попытки снижения шума в данной сфере еще раз подтверждают исключительную актуальность применения общей шкалы оценки, основанной на взгляде со стороны. Подобный подход представляет собой важную стратегию гигиены принятия решений по одной простой причине: первое впечатление транслируется на шкалу оценки, оказывая давление на итоговое мнение. Если у каждого из судей своя шкала, возникновение шума неизбежно.

Глава 24 посвящена изучению смежного и в то же время самостоятельного процесса – подбору персонала. Исследования в этой области проводятся на протяжении нескольких десятилетий. Здесь мы подчеркнем важность еще одной стратегии гигиены принятия решений, а именно структурирования комплексных суждений. Под структурированием мы понимаем разложение суждения на отдельные составляющие и управление сбором информации. Следует обеспечить независимость каждого из компонентов, а также отсрочку всестороннего обсуждения и формирования окончательного мнения до тех пор, пока не будут собраны все компоненты.

В 25-й главе, опираясь на опыт, полученный в области подбора кадров, мы сформулируем общий принцип оценки выбора: так называемый протокол промежуточных оценок (MAP). Начнем со стартовой точки – допущения: «каждый вариант подобен кандидату». Далее опишем метод в виде схемы, поясняющей, каким образом структурирование суждений (а также иные стратегии гигиены) вводится в типичный процесс согласования типовых и