Ингредиенты. Странные химические свойства того, что мы едим, пьем и наносим на кожу - Джордж Зейдан Страница 58

Иоаннидис утверждает, что выяснить, какие переменные сидят на водительском месте, практически невозможно без проведения рандомизированных контролируемых испытаний.

Уиллетт парирует, что хорошо проведенные обсервационные исследования могут приспособиться к спутанным переменным достаточно хорошо, чтобы позволить делать публичные заявления о здоровье.

Мы завершили наш тур по периферии кроличьей норы. Я упростил аргументы и состав персонажей. За каждым человеком, Иоаннидисом и Уиллеттом, стоят другие. На каждый аргумент есть контраргумент. За этими контраргументами есть другие встречные доводы. Глубина кроличьей норы равна для вас глубине, на которую вы готовы опуститься, и на дне, скорее всего, найдутся только гордыня и страх.

* * *

Помните Шляпу мерзавца, которую мы впервые надели в седьмой главе? Носить ее, несомненно, весело, но в какой-то момент приходит пора сменить ее на каску и начать решать проблемы, вместо того чтобы просто указывать на них. Ученым нравится искать варианты, поэтому недостатка потенциальных решений не наблюдается.

Давайте рассмотрим их (очень быстро).

Самым драматичным и горячо обсуждаемым выходом является сокращение числа обсервационных исследований и перенаправление средств на масштабные рандомизированные контролируемые испытания. Вы можете догадаться, кто стоит в авангарде этой позиции, а кто яростно выступает против нее. Как бы цинично это ни звучало, я думаю, что этот конфликт будет разрешен только тогда, когда кто-то уйдет на пенсию первым… или получит право распоряжаться средствами Национальных институтов здоровья.

Что насчет проблемы Р-хакинга?

Один из вариантов ее решения – сделать то же, что и Кевин Холл: раздать поручения и предварительно зарегистрировать исследование, особенно план анализа данных. Другой выход – показать свою работу. Не просто кратко пересказать основные моменты, а подробно описать каждый шаг. Брайан Нозек неоднократно упоминал об этом в нашем разговоре. Он сказал, что это важнее предварительной регистрации:

Я лишь хочу, чтобы люди показывали, как пришли к выводам, независимо от того, каким образом они действовали. Путем проб и ошибок, следуя предварительно зарегистрированному плану, проводя разносторонний анализ – неважно, просто покажите свою работу с момента зарождения идеи до получения результатов.

Показывая в деталях, как вы сделали что-то, нужно продемонстрировать необработанные данные (анонимные, разумеется) и код, который использовался для их анализа. Одни исследователи воспринимают это нетерпимо, а другие относятся к этому нормально. Если бы вы, например, хотели загрузить и повторно проанализировать все необработанные данные, полученные в ходе исследования Кевина Холла, посвященного ультраобработанным пищевым продуктам, то вы могли бы это сделать ^[145]. Если бы Уолтер Уиллетт намеревался найти слабые стороны исследования, он мог бы загрузить необработанные данные. А если бы Джон Иоаннидис желал указать на слабые стороны анализа, проведенного Уиллеттом, то и он мог бы скачать их и выполнить задуманное. Даже если бы случайная третья сторона преследовала цель залатать одни дыры в эксперименте и пробить другие, то она тоже могла бы это сделать, используя все ту же общедоступную информацию. Что-то подобное уже происходит, и я считаю, что это замечательно. Я на 100 % поддерживаю полный и открытый обмен знаниями.

Другое решение проблемы Р-хакинга – это создание так называемой кривой спецификации. Чтобы понять, как это работает, давайте сначала рассмотрим рецепт печенья с шоколадной крошкой. Даже имея фиксированный и неизменный список ингредиентов, вы можете проявлять гибкость, комбинируя их при приготовлении десерта. Вы можете точно следовать рецепту, но также можно менять многие вещи. Так, вы можете увеличить температуру в духовке на 15 °C; подождать, пока масло нагреется до комнатной температуры, прежде чем размять его, или не делать этого; положить тесто в морозилку на 20 минут, прежде чем поставить печенье в духовку; или посыпать солью каждый кусочек в отдельности, вместо того чтобы добавить ее в тесто. Возможности безграничны. То же самое касается исследований: даже при наличии одинаковых данных (ингредиентов) есть множество разных методов анализа этой информации, и от выбранного способа зависит конечный результат (печенье). Отчасти именно это делает Р-хакинг возможным.

В большинстве случаев ученые просто выбирают тот метод анализа данных, который кажется им лучшим. Проблема в том, что не все считают его таким. В этот момент на сцену выходит кривая спецификации. Ее цель – следовать ВСЕМ ВАРИАЦИЯМ РЕЦЕПТА. Таким образом, вместо одной партии печенья вы делаете сотни, систематически меняя каждую возможную переменную и наблюдая, как это влияет на вкус. В науке происходит то же самое: вы заставляете компьютер обрабатывать данные всеми возможными способами и наблюдаете, что получится. Если результаты получаются примерно одинаковыми, независимо от метода обработки данных, то вы можете быть уверены, что находитесь на правильном пути. Но если изменение способа анализа данных приводит к тому, что результаты получаются совершенно разными, то, возможно, они не соответствуют действительности.