Шум. Несовершенство человеческих суждений - Оливье Сибони

117 «нам не нужны…»: Dana, “What Makes Improper Linear Models Tick?”, 72.

118 Ее корреляция с конечным результатом…: Martin C. Yu and Nathan R. Kuncel, “Pushing the Limits for Judgmental Consistency: Comparing Random Weighting Schemes with Expert Judgments”, Personnel Assessment and Decisions 6, no. 2 (2020): 1–10. Как и в предыдущей главе, заявленная корреляция – невзвешенное среднее по трем выборкам. Соотношение выдерживалось в каждой из трех выборок: достоверность клинических оценок составила 0,17, 0,16 и 0,13, достоверность равновесных моделей 0,19, 0,33 и 0,22 соответственно.

119 «грубая красота»…: Robyn M. Dawes, “The Robust Beauty of Improper Linear Models in Decision Making”, American Psychologist 34, no. 7 (1979): 571–582.

120 «Вся хитрость в том…»: Dawes and Corrigan, “Linear Models in Decision Making”, 105.

121 команда исследователей…: Jongbin Jung, Conner Concannon, Ravi Shroff, Sharad Goel, and Daniel G. Goldstein, “Simple Rules to Guide Expert Classifications”, Journal of the Royal Statistical Society, Statistics in Society, no. 183 (2020): 771–800.

121[а] отдельная команда исследователей…: Julia Dressel and Hany Farid, “The Accuracy, Fairness, and Limits of Predicting Recidivism”, Science Advances 4, no. 1 (2018): 1–6.

122 Используя всего две переменных…: В этих двух примерах линейные модели основаны на крайне малом наборе переменных (а в случае освобождения под залог на аппроксимации линейных весов методом округления, фактически превратившей модель в расчеты на клочке бумаги). Другой тип «неправильной модели» – правило единственной переменной, которое учитывает всего один предиктор и игнорирует остальные. См. Peter M. Todd and Gerd Gigerenzer, “Précis of Simple Heuristics That Make Us Smart”, Behavioral and Brain Sciences 23, no. 5 (2000): 727–741.

123 широко документирована…: P. Gendreau, T. Little, and C. Goggin, “A Meta-Analysis of the Predictors of Adult Offender Recidivism: What Works!”, Criminology 34 (1996).

124 с очень большими массивами данных…: Величина массива в данном контексте характеризуется отношением количества наблюдений к количеству предикторов. Доуз в статье о «грубой красоте» предположил, что оно должно достичь не менее 15 или 20 к 1, и лишь после того оптимальные веса с перекрестной проверкой будут работать лучше, чем равные веса. Дейна и Доуз в работе “Superiority of Simple Alternatives”, используя намного большее количество случаев, подняли планку до соотношения 100 к 1.

125 другая команда…: J. Kleinberg, H. Lakkaraju, J. Leskovec, J. Ludwig, and S. Mullainathan, “Human Decisions and Machine Predictions”, Quarterly Journal of Economics 133 (2018): 237–293.

126 тренировали алгоритм…: Алгоритм тренировали на одной выборке данных, а затем оценивали его способность прогнозировать конечный результат на других случайных выборках.

127 «Алгоритмы на основе методов машинного обучения вылавливают…»: Kleinberg et al., “Human Decisions”, 16.

128 Некоторую долю системного шума составлял…: Gregory Stoddard, Jens Ludwig, and Sendhil Mullainathan, e-mail exchanges with the authors, June – July 2020.

129 набор инженеров-программистов…: B. Cowgill, “Bias and Productivity in Humans and Algorithms: Theory and Evidence from Résumé Screening”, paper presented at Smith Entrepreneurship Research Conference, College Park, MD, April 21, 2018.

130 В одной из статей 1996 года…: William M. Grove and Paul E. Meehl, “Comparative Efficiency of Informal (Subjective, Impressionistic) and Formal (Mechanical, Algorithmic) Prediction Procedures: The Clinical-Statistical Controversy”, Psychology, Public Policy, and Law 2, no. 2 (1996): 293–323.

131 часто предпочитают алгоритм…: Jennifer M. Logg, Julia A. Minson, and Don A. Moore, “Algorithm Appreciation: People Prefer Algorithmic to Human Judgment”, Organizational Behavior and Human Decision Processes 151 (April 2018): 90–103.

132 как только обнаруживают, что он делает ошибки…: B. J. Dietvorst, J. P. Simmons, and C. Massey, “Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err”, Journal of Experimental Psychology General 144 (2015): 114–126. См. также A. Prahl and L. Van Swol, “Understanding Algorithm Aversion: When Is Advice from Automation Discounted?”, Journal of Forecasting 36 (2017): 691–702.

133 А если наши ожидания не оправдались?…: M. T. Dzindolet, L. G. Pierce, H. P. Beck, and L. A. Dawe, “The Perceived Utility of Human and Automated Aids in a Visual Detection Task”, Human Factors: The Journal of the Human Factors and Ergonomics Society 44, no. 1 (2002): 79–94; K. A. Hoff and M. Bashir, “Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust”, Human Factors: The Journal of the Human Factors and Ergonomics Society 57, no. 3 (2015): 407–434; and P. Madhavan and D. A. Wiegmann, “Similarities and Differences Between Human – Human and Human – Automation Trust: An Integrative Review”, Theoretical Issues in Ergonomics Science 8, no. 4 (2007): 277–301.

Глава 11

134 Исследования на тему принятия решений…: E. Dane and M. G. Pratt, “Exploring Intuition and Its Role in Managerial Decision Making”, Academy of Management Review 32, no. 1 (2007): 33–54; Cinla Akinci and Eugene Sadler-Smith, “Intuition in Management Research: A Historical Review”, International Journal of Management Reviews 14 (2012): 104–122; and Gerard P. Hodgkinson et al., “Intuition in Organizations: Implications for Strategic Management”, Long Range Planning 42 (2009): 277–297.

135 Одно из исследований…: Hodgkinson et al., “Intuition in Organizations”, 279.

136 Последние обзоры…: Nathan Kuncel et al., “Mechanical Versus Clinical Data Combination in Selection and Admissions Decisions: A Meta-Analysis”, Journal of Applied Psychology 98, no. 6 (2013): 1060–1072. Обсуждение методики подбора персонала смотрите также в главе 24.

137 Излишняя самоуверенность…: Don A. Moore, Perfectly Confident: How to Calibrate Your Decisions Wisely (New York: HarperCollins, 2020).

138 эксперты со своими «комментариями и рекомендациями…»: Philip E. Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? (Princeton, NJ: Princeton University Press, 2005), 239 and 233.

139 обзор 136 исследований…: William M. Grove et al., “Clinical Versus Mechanical Prediction: A Meta-Analysis”, Psychological Assessment 12, no. 1 (2000): 19–30.

140 постановка диагноза при инфаркте…: Sendhil Mullainathan and Ziad Obermeyer, “Who Is Tested for Heart Attack and Who Should Be: Predicting Patient Risk and Physician Error”, 2019. NBER Working Paper 26168, National Bureau of Economic Research.

141 в крайне неопределенных обстоятельствах…: Weston Agor, “The Logic of Intuition: How Top Executives Make Important Decisions”, Organizational Dynamics 14, no. 3 (1986): 5–18; Lisa A. Burke and Monica K. Miller, “Taking the Mystery Out of Intuitive Decision Making”, Academy of Management Perspectives 13, no. 4 (1999): 91–99.

142 готовы доверять алгоритму…: Poornima Madhavan and Douglas A. Wiegmann, “Effects of Information Source,