Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

698

www.apa.org/pubs/journals/psp/?tab=4

699

Srivastava S. A Pottery Barn Rule for Scientific Journals. The Hardest Science. 27 Sept. 2012. Это именуют “правилом гончарной мастерской” (Pottery Barn Rule), по названию сети американских магазинов Pottery Barn, где оно якобы применяется. Однако это что-то вроде городской легенды, поскольку в магазинах Pottery Barn такого правила нет. См. Grant D. You Break It, You Buy It? Not According to the Law. Crafts Report. April 2005.

700

Nosek B. A. et al. Promoting an Open Research Culture. Science. 348, no. 6242 (2015): 1422–5.

701

De Vrieze J. “Replication Grants” Will Allow Researchers to Repeat Nine Influential Studies That Still Raise Questions. Science. 11 July 2017.

702

Приведу лишь два хорошо изученных примера, относящихся к середине и концу XX века: Bakan D. The Test of Significance in Psychological Research. Psychological Bulletin. 66, no. 6 (1966): 423–37; Cohen J. The Earth Is Round (p <.05). American Psychologist. 49, no. 12 (1994): 997–1003.

703

Ziliak S. T., McCloskey D. N. The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives, Economics, Cognition, and Society. Ann Arbor: University of Michigan Press, 2008.

704

Amrhein V. et al. Scientists Rise up against Statistical Significance. Nature. 567, no. 7748 (2019): 305–7.

705

Подробнее эта точка зрения изложена здесь: Cumming G. The New Statistics: Why and How. Psychological Science. 25, no. 1 (2014): 7–29; Halsey L. G. The Reign of the p-Value Is Over: What Alternative Analyses Could We Employ to Fill the Power Vacuum? Biology Letters. 15, no. 5 (2019): 20190174.

706

Если известны величина эффекта и p-значение, вы можете вычислить доверительный интервал, и наоборот. См. Altman D. G., Bland J. M. How to Obtain the Confidence Interval from a P Value. BMJ. 343 (2011): d2090; Altman D. G., Bland J. M. How to Obtain the P Value from a Confidence Interval. BMJ. 343 (2011): d2304.

707

Ioannidis J. P. A. The Importance of Predefined Rules and Prespecified Statistical Analyses: Do Not Abandon Significance. JAMA. 321, no. 21 (2019): 2067.

708

Цитируется по: Gelman A. “Retire Statistical Significance”: The Discussion. Statistical Modeling, Causal Inference, and Social Science. 20 March 2019.

709

В этом смысле байесовская априорность – это математическое воплощение знаменитой фразы Карла Сагана “Экстраординарные утверждения требуют экстраординарных доказательств”.

710

К слову, более распространенная статистическая традиция, где присутствуют p-значения, называется частотной статистикой (частотным подходом). Потому что тех, кто использует p-значения, по сути, интересуют частоты – главным образом частота, с которой вы получали бы результаты с p-значениями ниже 0,05, если бы проверяемая вами гипотеза была неверна, а исследование проводилось бы бесконечное число раз.

711

Полезный аннотированный список литературы, который служит введением в байесовскую статистику, см. здесь: Etz A. et al. How to Become a Bayesian in Eight Easy Steps: An Annotated Reading List. Psychonomic Bulletin & Review. 25, no. 1 (2018): 219–34. Еще см. McElreath R. Statistical Rethinking: A Bayesian Course with Examples in R and Stan. Boca Raton: CRC Press / Taylor & Francis Group, 2016.

712

Доводы в защиту (зачастую весьма квалифицированную) затравленных p-значений см. тут: Savalei V., Dunn E. Is the Call to Abandon P-Values the Red Herring of the Replicability Crisis? Frontiers in Psychology. 6:245 (2015); Murtaugh P. A. In Defense of P Values. Ecology. 95, no. 3 (2014): 611–7; Senn S. Two Cheers for P-Values? Journal of Epidemiology and Biostatistics. 6, no. 2 (2001): 193–204.

713

Benjamin D. J. et al. Redefine Statistical Significance. Nature Human Behaviour. 2, no. 1 (2018): 6–10. Впрочем, см. и ответ: Lakens D. et al. Justify Your Alpha. Nature Human Behaviour. 2, no. 3 (2018): 168–71. Есть также новые статистические методы, в которых все еще используются p-значения, но отброшен наивный сценарий, когда результаты всегда сравниваются с нулем (или нулевой разницей). См. Lakens D. et al. Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science. 1, no. 2 (2018): 259–69.

714

Либо же исследователи могли бы проводить анализ данных самостоятельно, но при этом позволять независимым статистикам его интерпретировать. Boutron I., Ravaud P. Misrepresentation and Distortion of Research in Biomedical Literature. Proceedings of the National Academy of Sciences. 115, no. 11 (2018): 2613–9.

715

Или когда статистик считает, что плох сам дизайн исследования. Известно такое высказывание Рональда Фишера 1938 года: “Зачастую консультироваться со статистиком после завершения эксперимента – значит просто просить его провести посмертное обследование. Возможно, он сумеет сказать, от чего эксперимент умер”. Fisher R. Presidential Address [to the First Indian Statistical Congress]. Sankhya: The Indian Journal of Statistics (1933–1960). 4, no. 1 (1938): 14–7.

716

“Анализ кривой спецификаций”: Simonsohn U. et al. Specification Curve: Descriptive and Inferential Statistics on All Reasonable Specifications. SSRN. 2015. “Анализ вибраций эффектов”: Patel C. J. et al. Assessment of Vibration of Effects Due to Model Specification Can Demonstrate the Instability of Observational Associations. Journal of Clinical Epidemiology. 68, no. 9 (2015): 1046–58. “Анализ мультивселенной”: Steegen S. et al. Increasing Transparency Through a Multiverse Analysis. Perspectives on Psychological Science. 11, no. 5 (2016): 702–12.

717

Orben A., Przybylski A. K. The Association between Adolescent Well-Being and Digital Technology Use. Nature Human Behaviour. 3, no. 2 (2019): 173–82. Признание: Орбен и Пшибыльски – мои друзья и коллеги.

718

Blanchard S. Smartphones and Tablets Are Causing Mental Health Problems in Children as Young as TWO by Crushing Their Curiosity and Making Them Anxious. MailOnline. 2 Nov. 2018.

719

См., например: Twenge J. M. Have Smartphones Destroyed a Generation? Atlantic. Sept. 2017; Twenge J. M.