Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных - Дэвид Хэнд

Другой тип ошибки, связанной с человеческим фактором, повлиял на исход миссии NASA Genesis. Космический зонд успешно взял образцы частиц солнечного ветра с лунной орбиты и доставил их обратно, но на последней стадии полета, во время посадки в Юте, он потерпел крушение. Причина: неверные данные от акселерометров зонда, которые были установлены задом наперед, так что аппарат ускорялся, приближаясь к поверхности Земли, вместо того, чтобы замедляться.

Менее очевидная проблема заключается в том, что пригодность данных может со временем снижаться. Это происходит не потому, что данные портятся, подобно гниющим фруктам, а в силу того, что мир вокруг нас меняется. Вы думаете, например, что на ваш сберегательный счет по-прежнему начисляют 3 % в год, но при обращении в банк испытываете легкий шок, обнаружив, что ставка была снижена без всякого уведомления. Данные, относящиеся к людям, особенно подвержены устареванию (DD-тип 7: данные, меняющиеся со временем) по той простой причине, что меняются сами люди.

Что еще хуже (и в следующих главах мы это подробно рассмотрим), данные могут искажаться людьми преднамеренно. Исследование, проведенное Бюро переписи населения США в 1986 г., показало, что 3–5 % счетчиков причастны в той или иной форме к фальсификации данных, потому что слишком ленивы для настоящей работы по их сбору^[56]. Американский статистик Уильям Крускал утверждал, что «достаточно проницательный человек, обладающий здравым смыслом и склонностью к цифрам, может взять почти любой структурированный и существенный набор данных или статистический сборник и менее чем за час обнаружить в нем странные числа»^[57]. Медиааналитик Тони Твайман сформулировал закон, получивший известность как Закон Тваймана, который гласит, что любые численные данные, которые выглядят интригующе или как-то выделяются, обычно неверны^[58]. Более того, ввиду гигантского количества ежедневно регистрируемых чисел следует ожидать, что какие-то из них будут введены неправильно. Например, в 2014 г. каждый день в мире совершалось около 35 млрд финансовых транзакций, и с тех пор это число только увеличилось. В своей книге «Принцип невероятности» (The Improbability Principle) я подробно рассматриваю проблему ошибочных записей при таком большом количестве цифр.

Специалисты в области глубинного анализа данных, которые занимаются поиском любопытных или полезных аномалий в больших наборах данных, называют следующие причины возникновения необычных структур в таких наборах (в порядке убывания их важности):

● проблема на уровне самих данных (возможно, они были повреждены или искажены в процессе сбора, или частично отсутствуют);

● аномалии обусловлены случайными колебаниями (иначе говоря, речь идет о единичных значениях, которые не несут в себе существенной информации);

● структуры уже известны (как, например, в случае открытия того факта, что люди часто покупают сыр и крекеры вместе);

● структуры не представляют интереса (если, например, обнаружено, что около половины женатых людей в Великобритании – женщины).

Пока все эти факторы не исключены, необычная структура не может называться реальной, интересной или потенциально ценной. Для нас же важно то, что большинство аномалий в этой области, кажущихся на первый взгляд открытиями, – не что иное, как иллюзии, вызванные проблемами на уровне данных.

Учитывая вышесказанное, неудивительно, что, по подсчетам IBM, «низкое качество данных обходится экономике США примерно в $3,1 трлн в год»^[59]. Однако верна ли эта оценка?

Во-первых, все зависит от того, что именно она включает в себя: входит ли в оценку стоимость выявления проблем с данными, исправления допущенных ошибок, а также их последствий? Во-вторых, в контексте ВВП США, который составляет около $20 трлн, сумма $3,1 трлн кажется неоправданно большой, и у меня возникает вопрос, не является ли сама эта оценка «данными низкого качества»?