Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных - Дэвид Хэнд

Эта ситуация отличается от той, в которой отсутствуют значения некоторых атрибутов для отдельных объектов, и от той, когда для отдельных объектов отсутствуют значения всех атрибутов. Здесь значения для определенного атрибута (или атрибутов) отсутствуют для всех объектов в базе данных. Все записи для такой переменной будут обозначены пробелами или словом «неизвестно», если вообще эта переменная была включена в исследование. Например, в предыдущем примере мы могли просто забыть спросить о том, сколько лет респондентам, поэтому у нас нет информации о точном возрасте ни одного из них. Или, возможно, мы не подумали о том, что возраст будет иметь значение, поэтому нам не пришло в голову задавать соответствующий вопрос. И для того и для другого имеются естественные причины: если исследование будет перегружено вопросами, это отрицательно скажется на уровне отклика, поэтому отбирать их приходится тщательно.

Парадокс!

Иногда последствия влияния темных данных DD-тип 5: неизвестный определяющий фактор могут буквально ставить в тупик.

Трагедия «Титаника» – затонувшего океанского лайнера – известна всем. Но мало кто знает, что тщательное изучение показателей выживаемости среди пассажиров и членов экипажа выявило нечто любопытное^[46]. Как видно из табл. 2, а, на судне было 908 членов экипажа, из которых выжило только 212 человек, то есть 23,3 %, а из 627 пассажиров третьего класса – тех, чьи каюты находились на нижних палубах корабля и кому было труднее выбраться, – выжил только 151 человек, то есть 24,1 %. Хотя показатели выживаемости в этих двух группах не сильно отличаются, тем не менее мы видим, что вероятность выживания пассажиров была несколько выше.

Но давайте взглянем на показатели выживаемости мужчин и женщин по отдельности, приведенные в табл. 2, б.

В экипаже насчитывалось 885 мужчин, из которых 192 выжили, показатель выживаемости составил 21,7 %. Среди пассажиров третьего класса 462 были мужчинами, 75 выжили, показатель составил 16,2 %. У членов экипажа мужского пола более высокая выживаемость, чем у мужчин из третьего класса.

Из 23 членов экипажа женского пола выжили 20, что составляет 87,0 %. Среди пассажиров третьего класса было 165 женщин, 76 выжили, показатель выживаемости составил 46,1 %. Представительницы экипажа имеют более высокую выживаемость, чем пассажирки третьего класса.

Минуточку, что происходит? В расчете для мужчин и женщин по отдельности экипаж имеет более высокий показатель выживаемости, чем пассажиры третьего класса. Однако в целом его выживаемость ниже.

Здесь нет никакого трюка – цифры соответствуют действительности. Мы имеем дело с явлением, которое иногда так и называют парадоксом Симпсона, в честь Эдварда Симпсона, описавшего его в статье в 1951 г. (хотя это явление уже было описано как минимум на полвека раньше).

Последствия парадокса Симпсона могут быть очень серьезными. Если бы мы не учитывали пол людей на «Титанике», то есть если бы эти данные отсутствовали, результаты нашего анализа показали бы, что пассажиры третьего класса с большей вероятностью выживут, чем члены экипажа. Но это утверждение было бы ложным в отношении мужчин или женщин в отдельности. Это означает, что если бы мы решили определить вероятность выживания человека вообще на борту лайнера, то получили бы неверную картину, поскольку он мог быть мужчиной или женщиной.

Далее мы подробно рассмотрим, почему возникают подобные ситуации, но, думаю, уже вполне понятно, что их возможные последствия выглядят устрашающе. Конечно, никто и не думал регистрировать необъятное число характеристик всех, кто плыл на корабле. В то же время если любая из этих характеристик может повлиять на наши выводы, то пренебрегая ею, мы создаем отсутствующие данные, способные вводить в заблуждение. Возможно, это не так критично в случае с «Титаником», поскольку речь идет об исторических данных, но давайте рассмотрим другой пример.

Предположим, мы проводим клиническое испытание, которое обсуждалось в предыдущей главе, сравнивая препарат А с препаратом Б. Для этого мы даем препарат А одной группе людей, а препарат Б – другой. Обе группы включают людей разных возрастов, и для удобства мы будем относить их либо к «младшим», либо к «старшим», в зависимости, скажем, от того, являются ли они моложе или старше 40 лет. Далее предположим, что в группе, принимающей препарат А, 10 младших и 90 старших, в то время как в группе, принимающей препарат Б, 90 младших и 10 старших.

Теперь посмотрим на результаты, где чем выше значение, тем эффективнее препарат. Эти гипотетические результаты приведены в табл. 3.

Предположим, средний балл для младших в группе А равен 8, а средний балл для младших в группе Б – 6, как показано в табл 3, а. Это говорит о том, что препарат А более эффективен для молодых, поскольку 8 больше 6.

Аналогично для старших предположим, что средний балл в группе А равен 4, а средний балл в группе Б – 2, как во втором ряду значений табл. 3, а. Для старших препарат А также более эффективен, чем препарат Б.

Хотя средний балл для старших ниже, чем для младших, очевидно, что и для тех и для других препарат А более эффективен, чем препарат Б. Мы определенно должны рекомендовать препарат А для всех возрастов.

А как обстоит дело в целом? Общий средний балл всех людей, получающих препарат А, составляет (8 × 10 + 4 × 90)/100 = 4,4, тогда как общий средний балл всех, получающих препарат Б, равен (6 × 90 + 2 × 10)/100 = 5,6. Эти результаты отображены в табл. 3, б. В целом, когда мы игнорируем возраст пациентов, препарат Б получает более высокий балл, чем препарат A.

Это означает, что если бы мы не регистрировали возраст пациентов, то есть при отсутствии этих данных, мы бы пришли к выводу, что препарат Б эффективнее, чем препарат A, хотя для младших A лучше, чем Б, и для старших A лучше, чем Б. Иначе говоря, А лучше, чем Б, для всех.

Первое, что приходит в голову: мы должны регистрировать возраст при сборе данных. Это, конечно, хорошо, но мы можем также регистрировать и множество других переменных, любая из которых грозит поставить наши результаты с ног на голову. При этом мы не способны зарегистрировать все возможные переменные, а значит, темные данные будут всегда.

Ключ к решению состоит в том, как именно рассчитывать общие средние значения. В примере с испытаниями препаратов в группе А старших намного больше, чем младших, в то время как для группы Б верно обратное. Это приводит к снижению общего среднего значения: 8 больше 6, а 4 больше 2, но если учесть подавляющую долю старших в группе при расчете среднего значения 8 и 4 и подавляющую долю младших при усреднении 6 и 2, то результат изменится на противоположный.