Искусство замечать. Секреты наблюдательности истинных лидеров - Макс Базерман Страница 17

1) что мужчины чаще выбирают акции, а женщины – облигации;

2) что мужчины предпочитают акции с более высокой степенью риска, чем женщины;

3) что мужчины предпочитают облигации с более высокой степенью риска, чем женщины;

4) что мужчины в целом готовы пойти на более высокий уровень риска в своих инвестициях, по результатам испытаний тремя различными методами агрегирования, разработанными представителями науки о финансах (4а, 4б и 4в).

Теперь представьте себе, что в вашем эксперименте участвуют 15 мужчин и 15 женщин. Результаты склоняются в предсказанном вами направлении, однако они не соответствуют уровню значимости р < 0,05. Вы вновь проводите эксперимент с другими 15 женщинами и 15 мужчинами. Теперь результаты минимально значимы (уровень значимости колеблется между 0,1 и 0,05), поэтому вы проводите эксперимент еще раз – теперь с 20 мужчинами и 20 женщинами. Наконец, объединив результаты трех экспериментов, вы видите, что мужчины значительно чаще, чем женщины, выбирают инвестиции с большей степенью риска.

Основная идея этого гипотетического примера заключается в том, что исследователь может использовать множество разных выводов для проверки одной идеи; на языке ученых, он может собрать множество зависимых переменных. Если результаты полученного им массива данных близки к уровню значимости, ничто не мешает ему собрать дополнительную информацию – то есть несколько раз попытаться добиться, чтобы результат удовлетворял критерию р < 0,05. Кроме того, часть данных он может исключить (странные ответы, предполагающие, что участники не поняли задание), после того как вся информация собрана, и он видит, что это положительно повлияет на результаты.

В 2011 году исследователи-психологи Джо Симмонс, Лейф Нельсон и Ури Симонсон опубликовали великолепную работу, в которой показали, что использование четырех степеней свободы и доля креативности почти наверняка приведут любые убедительные доказательства к вероятности р < 0,05, даже если проверяемая гипотеза неверна [11]. Даже если для проверки своей идеи множеством разных способов исследователь использует случайные данные, его шанс достичь желаемого эффекта значительно превышает 5 % – и он может затем опубликовать тот вариант, который дал нужные результаты. Симмонс с коллегами демонстрируют, что очень небольшое количество степеней свободы позволяет поднять вероятность получения значимого результата выше 50 % даже с использованием случайных данных. Другими словами, их исследование показывает, что более чем возможно работать в рамках установленных правил и прийти к желаемым, но неверным результатам.

Цитируемые журналы косвенно поддерживают недостоверные методы и подходы, которые встречаются в исследованиях. Они не требуют, чтобы ученые описывали полученные данные и эксперименты полностью, якобы потому, что это займет слишком много места. А чем больше субъективность в данной области, тем выше вероятность использования спорных методов исследований. Это означает, что в общественных науках они встречаются особенно часто.

В своей работе на ту же тему Лесли Джон, Джордж Лоуэнштейн и Дражен Прелеч провели опрос среди исследователей-психологов с использованием сложной процедуры, заставляющей людей отвечать честно. Они задавали вопросы об использовании ряда недостоверных исследовательских методов и подходов [12]. Их интересовало вот что: 1) замалчивание части зависимых величин, полученных в ходе исследования (результатов, которые были оценены); 2) принятие решения о том, собирать ли дополнительные данные, после проверки значимости полученных результатов; 3) замалчивание всех условий или вариантов исследования; 4) прекращение сбора данных раньше, чем предполагалось, поскольку желаемый результат уже получен; 5) округление уровня значимости в желаемую сторону (например, округление 0,054 до 0,05); 6) выборочная публикация результатов экспериментов, которые «сработали», и умолчание о том, что не получилось; 7) принятие решения об исключении данных после оценки влияния этого шага на результаты; 8) сообщение о том, что неожиданное открытие предполагалось с самого начала; 9) лживое заявление, будто на результаты не влияют демографические переменные (такие как пол), и 10) фальсификация данных. Последний пункт – это подтасовка, в которой были замешаны Хаузер и Стапель. Мы же поговорим о девяти других – их считают менее вредоносными.

По оценкам Лесли Джон и ее коллег, доля исследователей-психологов, которые используют спорные методы и подходы, разнится от 36 до 74 % для первых пяти пунктов, равна 13 % для девятого пункта и 9 % – для десятого. Даже если эти цифры завышены в два раза, использование исследователями недостоверных методов и подходов поражает. Мы приходим к очевидному выводу – велика вероятность того, что многие результаты, о которых сообщается в научной литературе и затем в СМИ, просто не соответствуют действительности.

Как мы докатились до такого состояния дел в общественных науках? Надо начать с того, что в последние годы конкуренция в науке неуклонно растет. Сегодня гораздо сложнее, чем 30 лет назад, когда я был младшим преподавателем, получить престижную должность в университете. Количество публикаций свежеиспеченных кандидатов наук, претендующих на свое место на рынке труда, огромно. И это отнюдь не странно. Ученые из лучших университетов имеют больше шансов привлекать внимание СМИ, получать высокие гонорары за выступления и выгодные контракты на книги – поэтому ставки на выигрыш хороших должностей высоки. В то же время редакторы журналов хотят публиковать «интересные» результаты. Для того чтобы напечатать больше статей на ограниченном количестве страниц, многие ведущие журналы сократили место, отведенное на публикацию подробностей методов исследования. Все эти факторы вместе мотивируют ученых использовать слишком много степеней свободы и не замечать нечестности своих поступков. Так происходило, по крайней мере, до тех пор, пока Симмонс, Джон и их коллеги не привлекли внимание общественности, наглядно продемонстрировав это в своих работах. Многие из нас, ученых, просто следовали советам своих учителей, предложениям редакторов журналов и стандартным схемам, принятым в нашей области. Мы шли по проторенной дорожке, и нам не приходило в голову остановиться и подумать о том, что мы сводим на нет сам смысл использования уровня значимости – критерия р < 0,05. Многих из нас эта прекрасная работа подтолкнула к тому, чтобы изменить свои методы и подходы, она показала, насколько важно описывать, как мы ведем свои лабораторные исследования.

Но не все психологи поддерживают мой энтузиазм по поводу реформирования исследовательских методов. Авторов этих двух работ широко критиковали за мелкие детали их системы. Например, доля ответивших на опрос, который провела Джон с коллегами, составила всего 36 %, что вызвало сомнения в репрезентативности выборки. Из-за этого может показаться, что результаты опроса были трагически завышены. Но стойте: кто с большей вероятностью заполнит анкету по исследовательской этике: ученые, соблюдающие ее правила, или те, кто их нарушает? Ответ на этот вопрос с достаточной очевидностью показывает, что оценки Джон и ее коллег, скорее, занижены.

Джон и ее команду также обвиняли в том, что они нарушили правила этики, чтобы привлечь к себе внимание, критиковали их и за то, что они не понимают основ исследовательских методов. Оба обвинения голословны: авторы работы – известные ученые, привыкшие быть в центре внимания, у всех у них длинные списки публикаций, демонстрирующие, что в методах они прекрасно разбираются. Критики подчеркивали те нередкие случаи, в которых спорные исследовательские методы и подходы вполне простительны, и обвиняли авторов в том, что те хотят разрушить социальную психологию как научную область. Они пытались оправдать нежелание предавать широкой огласке полученные выводы тем, что нельзя выносить сор из избы (то есть раскрывать секреты социальной психологии прессе). И, наконец, критики заявляли, что вместо претворения в жизнь необходимых реформ следует провести дополнительные исследования, особенно по проблеме степеней свободы. Наблюдая за всей этой возней, за попытками защититься и отложить насущные дела в долгий ящик, я с ужасом понял, что мои коллеги поступают в точности как представители американской табачной индустрии, как люди, отрицающие глобальное потепление, или как аудиторская отрасль – все они стараются противостоять позитивным изменениям в своих областях [13].