Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

O’Boyle E. H. et al. The Chrysalis Effect: How Ugly Initial Results Metamorphosize into Beautiful Articles. Journal of Management. 43, no. 2 (2017): 376–99. Недавно эффект “окукливания” был подтвержден для психологических исследований: Cairo A. H. et al. Gray (Literature) Matters: Evidence of Selective Hypothesis Reporting in Social Psychological Research. Personality and Social Psychology Bulletin. 24 Feb. 2020.

369

Один из классических примеров такого дурного совета приведен в указанной ниже книге, в главе не кого иного, как Дэрила Бема (чье исследование паранормального мне воспроизвести не удалось, о чем мы говорили в предисловии). Он просит молодых научных сотрудников “вылавливать что-нибудь – что угодно – интересное” в своих данных. Конечно, рассуждает он, иногда это может привести к ложноположительным результатам, но нам все-таки следует “ошибаться в сторону открытий”. Bem D. J. Writing the Empirical Journal Article // Darley J. M. et al. (eds.) The Compleat Academic: A Career Guide. Washington, D. C.: American Psychological Association, 2003.

370

Hossenfelder S. Lost in Math: How Beauty Leads Physics Astray. New York: Basic Books, 2018. [Хоссенфельдер С. Уродливая Вселенная. Как поиски красоты заводят физиков в тупик. М.: Бомбора, 2021.] Также Хоссенфельдер утверждает, что сложные философские и теоретические проблемы в физике “заметают под ковер”, поскольку физики предпочитают вопросы, которые “с большей вероятностью дадут пригодные для публикации результаты за короткое время”. Мы еще поговорим об этом дальше. Обсуждение проблем в физике см. здесь: Smolin L. The Trouble with Physics: The Rise of String Theory, the Fall of a Science and What Comes Next. London: Allen Lane, 2007; Woit P. Not Even Wrong: The Failure of String Theory and the Continuing Challenge to Unify the Laws of Physics. London: Vintage Books, 2007.

371

Устоявшегося перевода этого термина на русский язык пока нет, в оригинале – outcome-switching.

372

De Angelis C. et al. Clinical Trial Registration: A Statement from the International Committee of Medical Journal Editors. New England Journal of Medicine. 351, no. 12 (2004): 1250–1.

373

Мы подробнее обсудим предварительную регистрацию исследований в восьмой главе.

374

http://compare-trials.org

375

Из ничего (лат.).

376

Команда Голдакра еще пыталась опубликовать в журналах заметки, в которых говорилось, что результаты клинических испытаний не были изложены точно. Большинство редакторов интереса не проявили. Goldacre B. Make Journals Report Clinical Trials Properly. Nature. 530, no. 7588 (2016): 7.

377

Jones P. M. et al. Comparison of Registered and Reported Outcomes in Randomized Clinical Trials Published in Anesthesiology Journals. Anesthesia & Analgesia. 125, no. 4 (2017): 1292–1300; см. также Altman D. G. et al. Harms of Outcome Switching in Reports of Randomised Trials: CONSORT Perspective. BMJ. 356 (2017): j396.

378

Книги о решении проблем с медицинскими испытаниями: Goldacre B. Bad Pharma: How Drug Companies Mislead Doctors and Harm Patients. London: Fourth Estate, 2012; Harris R. F. Rigor Mortis: How Sloppy Science Creates Worthless Cures, Crushes Hope, and Wastes Billions. New York: Basic Books, 2017.

379

В метаанализе это прозвали принципом “мусор на входе – мусор на выходе”. Hunt M. How Science Takes Stock: The Story of Meta-Analysis. New York: Russell Sage Foundation, 1998.

380

Абсолютное число финансируемых индустрией медицинских исследований со временем увеличивалось, однако их доля среди всех клинических испытаний сокращалась. Ehrhardt S. et al. Trends in National Institutes of Health Funding for Clinical Trials Registered in ClinicalTrials.Gov. JAMA. 314, no. 23 (2015): 2566–7.

381

Тут можно было бы возразить, что у фармацевтических компаний денег и других ресурсов достаточно, чтобы оплачивать исследования получше качеством, поэтому мы бы ожидали разных результатов. Однако будь исследования получше качеством, это означало бы, что они меньше подвержены предубеждениям, а значит, реже давали бы положительные результаты, ведь мы знаем, что основные предубеждения в подобных исследованиях ведут к большему числу ложноположительных результатов. (Если средство лечения работает, беспристрастное исследование покажет только это, ни больше ни меньше, а пристрастное – как преувеличит эффект, так и потенциально даст еще и какие-то ложноположительные результаты.) Кроме того, в недавнем обзоре размер выборки учитывался – вот чем, в частности, исследования, щедро финансируемые фармкомпаниями, нередко отличаются от исследований, финансируемых из других источников, – и все равно получилось, что первые чаще давали положительные результаты. Waldorff S. Results of Clinical Trials Sponsored by For-Profit vs Nonprofit Entities. JAMA. 290, no. 23 (2003): 3071.

382

Lathyris D. N. et al. Industry Sponsorship and Selection of Comparators in Randomized Clinical Trials. European Journal of Clinical Investigation. 40, no. 2 (2010): 172–82; Estellat C. Lack of Head-to-Head Trials and Fair Control Arms: Randomized Controlled Trials of Biologic Treatment for Rheumatoid Arthritis. Archives of Internal Medicine. 172, no. 3 (2012): 237–44.

383

Jones C. W. et al. Non-Publication of Large Randomized Clinical Trials: Cross Sectional Analysis. BMJ. 347 (2013): f6104. Впрочем, стоит отметить, что “переключение на другие исходы” в исследованиях, оплачиваемых фармкомпаниями, похоже, происходит не чаще. (Jones C. W. et al. Primary Outcome Switching among Drug Trials with and without Principal Investigator Financial Ties to Industry: A Cross-Sectional Study. BMJ Open. 8, no. 2 (2018): e019831.) В одном обзоре даже обнаружилось, что в исследованиях, финансируемых некоммерческими организациями, дело с “переключением на другие исходы” обстоит хуже: Delgado A. F., Delgado A. F. Outcome Switching in Randomized Controlled Oncology Trials Reporting on Surrogate Endpoints: A Cross-Sectional Analysis. Scientific Reports. 7, no. 1 (2017): 9206.

384

Я иногда посещаю цикл лекций в своем университете, и там предусмотрен ланч, всегда четко обозначенный как “ланч не от фармкомпаний”. Вот как медицинские исследователи боятся невольно принять что-либо в дар от фармацевтических компаний – подарки, которые пришлось бы указывать в разделе “Конфликт интересов” каждой своей статьи.

385

См. Chivers T. Does Psychology Have a Conflict-of-Interest Problem? Nature. 571, no. 7763 (2019): 20–3.

386

См. Bero L. A., Grundy Q. Why Having a (Nonfinancial) Interest is Not a Conflict of Interest. PLOS Biology. 14, no.