Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

заболеваний, результаты которого показаны на рисунке 5, ярко иллюстрирует влияние предварительной регистрации[725]. До того, как регистрация стала обязательной, в журналах сообщалось о впечатляющем количестве положительных результатов, изображенных белыми точками в нижней половине графика (то есть указывающих на сниженный риск изучавшихся исходов, связанных с сердечно-сосудистыми заболеваниями), а также о случайных отрицательных. Но посмотрите, что произошло после 2000 года, когда ввели обязательную предварительную регистрацию. Внезапно положительных результатов стало только два, а остальные исследования дали отрицательные результаты, группирующиеся вокруг нулевого эффекта (он соответствует единице по вертикальной оси “относительного риска”). Успешность испытаний до введения обязательной предварительной регистрации составляла 57 %, а после – рухнула до 8 %. Повторюсь: до введения регистрации испытания казались чрезвычайно успешными, свидетельствующими о множестве вроде бы эффективных средств от сердечно-сосудистых заболеваний, после же правда вышла наружу: лекарства и пищевые добавки, проверяемые в этих исследованиях, и близко не такие полезные, как нас уверяли.

Рис. 5. Исследования, посвященные лечению и профилактике сердечно-сосудистых заболеваний и опубликованные до либо после 2000 года, когда регистрация клинических испытаний (или по меньшей мере их основных исходов) стала обязательной (вертикальная пунктирная линия). В исследованиях, расположенных ниже горизонтальной пунктирной линии, получилось, что изучаемые средства профилактики или лечения сердечно-сосудистых заболеваний снизили риски (чем ниже точка, тем меньше риск). Белыми точками обозначаются исследования, в которых обнаружился статистически значимый эффект, говорящий в пользу профилактики или лечения; черными – в которых результаты оказались отрицательными. Обратите внимание, что еще есть одно исследование со статистически значимыми результатами, проведенное после 2000 года, в котором обнаружилось, что изучаемое средство лечения вообще опасно (точка с крестиком). Адаптировано из Kaplan R. M., Irvin V. L., 2015

Не стоит совершать ошибку отождествления корреляции и причинности, считая, что новые требования регистрировать исследования обязательно вызвали сокращение количества положительных результатов, – возможно, в том же году произошли и какие-нибудь иные изменения, например сдвиг фокуса на другие виды лечения. Но мы вправе предположить, что публичная предварительная регистрация своих планов могла побудить ученых, проводящих клинические испытания, быть более честными и откровенными в отношении того, что они обнаружили. Если результаты свидетельствуют все-таки о причинно-следственной связи, то они служат сильным аргументом в пользу предварительной регистрации всех исследований вообще, а также суровым обвинением стандартной научной практики, существовавшей до нововведения[726].

Впрочем, предварительная регистрация – не серебряная пуля. Многие ученые, предварительно регистрирующие свои исследования, все равно не публикуют их (или не сообщают хотя бы о результатах) в установленный срок. Другие, несмотря на предварительную регистрацию, все равно вносят изменения в свой анализ после его начала[727]. В случае с клиническими испытаниями ученые не просто пренебрегают передовой практикой, но нарушают закон – в ходе одного расследования, проведенного журналом Science в 2020 году, обнаружилось, что о результатах свыше 55 % исследований ученые сообщили позже, чем обязаны были по реестру правительства США. Скажу лишь, что все должно было работать иначе: предварительная регистрация приносит пользу, только если соблюдается внесенный в реестр план. В области клинических испытаний нам необходимо ужесточить контроль за выполнением предписаний, а также наказания для “клинических нарушителей” (например, запрещать им в будущем получать правительственные гранты или публиковаться в определенных журналах в течение какого-то срока)[728]. В других областях, где нет установленной законом обязанности следовать зарегистрированным планам, нужно найти другие способы обеспечивать их выполнение учеными. В Великобритании, например, Национальному институту исследований в области здравоохранения и ухода удается добиться, чтобы почти все финансируемые им проекты оказывались опубликованными, отчасти потому, что он удерживает 10 % от суммы гранта до тех пор, пока не появится отчет о проведенном исследовании[729].

Другой вариант – использовать еще более строгую версию предварительной регистрации. Ученые тогда подают на рецензирование саму регистрационную заявку, и если рецензенты ее одобряют и соглашаются, что дизайн исследования осмысленный, то журнал берет на себя обязательство опубликовать итоговую работу независимо от того, какими окажутся результаты. И только после этого ученые приступают к сбору данных[730]. Такой тип исследований (его называют registered report, “зарегистрированный отчет”) не только кладет конец публикационному смещению, разрушая пагубную связь между статистической значимостью результатов и решением публиковаться, но еще и подрезает крылья p-хакингу, поскольку вы должны согласовывать свой анализ с рецензентами заранее и не можете просто изменить его задним числом, не объяснив предельно четко, что именно сделали. А самое главное, такой тип исследований сводит на нет многие из порочных стимулов, которые и приводят к предвзятостям и мошенничеству. Вы знаете, что опубликуете статью в любом случае, поэтому нет больше сильного давления, заставлявшего украшать свои результаты[731].

Предварительная регистрация – задумка удачная, если вынести за скобки практические аспекты контроля за соблюдением правил. Ведь в конечном итоге суть в прозрачности: не прячь свои планы или свой анализ от мира. Связанная с этим концепция “открытой науки” возникла намного раньше, чем кризис воспроизводимости, но может стать одним из мощнейших от него противоядий[732]. Открытая наука – это идея, согласно которой доступ к каждому этапу научного процесса нужно по мере сил делать свободным[733]. Идеальное исследование с точки зрения открытой науки имело бы соответствующую веб-страницу, где можно было бы скачать все данные, весь статистический код, который использовался учеными для их анализа, и все материалы, что использовались для самого сбора данных[734]. И вместе с основной работой публиковались бы рецензии (даже если личность рецензентов не раскрывается) и предыдущие версии статьи, что позволяло бы читателю увидеть весь публикационный процесс[735].

Предоставление свободного доступа ко всем своим данным и методам воплощает мертоновскую норму коллективизма: вы позволяете другим ученым воспользоваться вашей работой, чтобы сделать их собственные исследования более эффективными. Еще оно служит норме организованного скептицизма: облегчает другим исследователям проверку вашей работы на наличие ошибок по небрежности, попытки воспроизвести ваши результаты и вообще более детальное изучение ваших открытий. Они смогут сделать все это гораздо проще, чем если бы использовали лишь итоговые таблицы и графики из вашей статьи, которые, как правило, только и прилагаются к журнальной публикации; причем отпадает необходимость писать вам напрямую и просить прислать данные, что, как мы знаем, срабатывает редко. Приверженность подходу открытой науки демонстрирует вашим коллегам: вам скрывать нечего, им не нужно слепо верить, что все было представлено точно.

Как следствие, если вам действительно есть что скрывать (вдруг вы подделали данные или результаты), открытая наука сильно осложняет вам жизнь. Как мы видели в третьей главе, создать фальшивый