Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

в поисках всего, что окажется статистически значимым. Это частично объясняет бессистемную, противоречивую мешанину из существующих в области питания корреляционных исследований. В уже классической работе под заглавием “Все ли, что мы едим, связано с раком?” исследователи Джонатан Шонфельд и Джон Иоаннидис наугад выбрали из кулинарной книги пятьдесят ингредиентов, а затем проверили, не говорилось ли в научной литературе, что те влияют на риск развития рака[583]. Про сорок из них – говорилось, включая бекон, свинину, яйца, помидоры, хлеб, масло и чай (в общем-то, все ингредиенты того самого “английского завтрака – убийцы”). Некоторые продукты риск вроде бы повышали, другие снижали, а некоторые в разных исследованиях оказывали различное воздействие. Числовые данные, как мы знаем, всегда зашумлены, поэтому логично ожидать, что литература будет выглядеть неупорядоченной. Тем не менее мы должны задаться вопросом, что вероятнее: что 80 % часто употребляемых продуктов из выборки действительно влияют, зачастую сильно, на риск развития рака или что низкие стандарты в этой области привели к публикации недоброкачественных, подверженных p-хакингу исследований, которые просто выехали на случайности, введя нас в заблуждение, будто многие из основных продуктов питания либо опасны, либо гарантируют долгую здоровую жизнь?[584]

Исследования в области питания часто не оправдывают ажиотажа, поскольку в значительной степени опираются на результаты наблюдений, а не экспериментов. Иными словами, во многих работах просто собираются данные о том, что люди едят, без каких-либо рандомизированных контролируемых испытаний. Взаимосвязь между продуктами, которые считаются здоровыми или нездоровыми в наблюдательных исследованиях, и продуктами, которые определяются как таковые в рандомизированных испытаниях, очень хлипкая – должно быть, с одним из двух типов исследований что-то не так[585]. Еще одна проблема в том, что отличия по здоровью могут быть обусловлены не продуктами, которые люди едят, а скорее культурными или социально-экономическими факторами, влияющими как на здоровье, так и на рацион. Кроме того, каждый компонент чьего-либо рациона, скорее всего, коррелирует с каким-то другим компонентом, что усложняет анализ эффектов: люди, потребляющие больше яиц, вероятно, также едят больше бекона и сосисок, а еще, наверное, многих других продуктов и питательных веществ, о которых вы и не подумали спросить. Существуют статистические методы, позволяющие “внести поправку” на такие помехи, но их сложно применить правильно, а основаны они на том, что вы измеряете потребление каждого вида пищевых продуктов и питательных веществ, которые могут быть важны[586]. Точность подобных измерений сама по себе служит предметом серьезных споров, и идет удивительно ожесточенная дискуссия о том, как в наблюдательных исследованиях регистрируется потребление пищи. Некоторые исследователи называют опросники по частоте потребления различных пищевых продуктов “в корне неверными”, отчасти потому, что те полагаются на зачастую неточные воспоминания людей о съеденных продуктах[587]. Еще искажения происходят из-за предвзятости социальной желательности, когда участники не хотят сообщать, что за последние семь дней слопали, скажем, пять двойных чизбургеров[588].

Одно решение, предложенное для улучшения эпидемиологии питания, таково: ресурсы, расходуемые на курирование данных наблюдательных исследований, вместо этого направлять на проведение серии очень крупных, четких “мегаиспытаний”, в которых, ко всеобщему удовлетворению, будут установлены факты об оптимальной диете[589]. Беда в том, что масштабные исследования, посвященные питанию, – какие угодно, но только не четкие[590]. Одно из крупнейших рандомизированных испытаний в эпидемиологии питания, в котором участвовало свыше семи тысяч человек, было обнародовано в издании The New England Journal of Medicine в 2013 году и посвящено было средиземноморской диете[591]. По сравнению с контрольными участниками, которым предписывалось придерживаться диеты с низким содержанием жиров, у тех, что придерживались средиземноморской диеты (больше белого мяса и морепродуктов; больше орехов и бобовых; больше оливкового масла), показатель, отражающий количество инсультов, инфарктов и смертей от сердечно-сосудистых заболеваний в течение следующих пяти лет, оказался значительно ниже. Испанские ученые, проводившие исследование, объявили, что после получения результатов и сами перешли на средиземноморскую диету.

Исследование, названное Prevención con Dieta Mediterránea (“Профилактика с помощью средиземноморской диеты”), сокращенно PREDIMED, привлекло все внимание средств массовой информации, какого только можно ожидать: “Средиземноморская диета показала, что предотвращает инфаркты и инсульты”[592], “Средиземноморская диета снижает риск сердечно-сосудистых заболеваний”[593]. Даже Комиссия по калифорнийскому ореху выпустила взволнованный пресс-релиз[594]. И кто может их винить? Как сообщили нам авторы PREDIMED, это было “масштабное исследование”, которое “убедительно доказало”[595] преимущества средиземноморской диеты.

А затем появился Джон Карлайл. Возможно, вы помните Карлайла как бесстрашного расследователя в мире данных, который проверил тысячи “рандомизированных” контролируемых испытаний и обнаружил, что многие из них рандомизированными вовсе и не были. Исследование PREDIMED было одним из разоблаченных по методу Карлайла: числовые показатели просто не согласовывались с утверждением, что исследование было якобы надлежащим образом рандомизировано[596]. Авторы вернулись к своим данным и, конечно же, обнаружили несколько серьезных ошибок. Среди прочего выяснилось, что не каждому участнику случайным образом назначалась одна из двух диет: когда несколько участников приходили из одной семьи, им всем назначалась одна и та же диета. Между тем в одном из мест проведения испытаний исследователи случайно провели рандомизацию по клиникам, а не по участникам, так что всем, кто посещал одну и ту же клинику, назначали одинаковую диету. Поскольку на людей из одной семьи или одной клиники неизбежно влияют и другие общие факторы, становится невозможно приписать различия в результатах между ними и остальными участниками именно диете[597]. Эти и другие ошибки были допущены в отношении тысячи пятисот восьмидесяти восьми участников – 21 % от всей выборки.

Статья, на которую к тому моменту успели сослаться уже более трех тысяч раз, была отозвана и заменена исправленной версией в 2018 году[598]. Как водится, авторы утверждают, что подправленные результаты еще убедительнее доказывают преимущества средиземноморской диеты. Но есть причины оставаться настороже. Например, любопытно, что когда три типа нежелательных исходов, отслеживавшихся в исследовании, рассматривают по отдельности, то диета, похоже, влияет только на риск инсульта, но не на инфаркты или смертность[599]. Кроме того, исследование завершили раньше, чем планировалось изначально, поскольку эффект от диеты был настолько впечатляющим, – а это в области клинических испытаний считается сомнительной практикой[600]. А еще большую тревогу вызывает тот факт, что с использованием данных PREDIMED опубликовано уже больше двухсот пятидесяти статей, рассказывающих о других эффектах средиземноморской диеты, причем в некоторых работах, по-видимому, есть необъясненные числовые несоответствия[601]. Характерны ли и для них проблемы с рандомизацией, остается неясным.

Я поведал здесь и об исследовании PREDIMED не потому, что это