Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок Страница 28

Даже на вопрос на 50 миллиардов долларов — «Насколько точны прогнозы разведывательных аналитиков?» — нет ответа. Конечно, некоторые думают, что они знают. Высокопоставленные чиновники могут утверждать, что РС не ошибается в 80 или 90 % случаев, но это только предположения. Как врачи XIX века, которые были уверены, что их лекарства излечивают пациентов в 80–90 % случаев, они могут быть правы, или почти правы, или совсем не правы. В отсутствие мерок для подсчета точности не существует ни одного осмысленного способа призвать разведывательных аналитиков к ответственности за точность. Заметьте слово «осмысленного» в последнем предложении. Потому что, когда директора национальной разведки тащат распекать в Конгресс — это тоже ответственность за точность. Пусть к ответу в данном случае призывают люди плохо проинформированные и своевольные, пусть процедура не служит никакой иной цели, кроме как политической игре на зрителя, но это ответственность. По контрасту, для того чтобы осмысленно призвать к ответственности, требуется не просто расстроиться, когда что-то пошло не так. Требуется систематическая оценка точности — по всем вышеизложенным причинам. Но прогнозы разведывательного сообщества никогда не подвергались систематической оценке. Вместо этого существует ответственность за процесс: разведывательным аналитикам говорят, что они должны делать, когда проводят исследования, думают и оценивают ситуацию, и они несут ответственность за соответствие этим стандартам. Рассматривали ли вы альтернативные гипотезы? Искали ли вы контрдоказательства? Это все разумно, но суть прогнозирования не в том, чтобы проставить галочки во всех пунктах списка «как делать прогноз», а в том, чтобы предвидеть будущее. Ответственность за процесс, а не за результат — это как если бы от врачей требовали, чтобы они мыли руки, осматривали пациента и думали обо всех симптомах, но не проверяли при этом, как работает назначенное ими лечение.

Разведывательное сообщество не одиноко в таком подходе к работе. Количество организаций, которые производят или покупают прогнозы, не заботясь о том, чтобы проверить их на точность, просто ошеломляет. Но благодаря шоку от катастрофы, которая случилась с предсказанием ОМП в Ираке, а также тычку со стороны комиссии Государственного совета по исследованиям и усилиям некоторых преданных своему делу чиновников, РС решило что-нибудь по этому поводу предпринять. А именно IARPA решило. Агентство передовых исследований в области разведки очень мало кому известно за пределами разведывательного сообщества. И это неудивительно. В этом агентстве нет шпионов и приключений, нет там и аналитиков, которые интерпретируют информацию. Его работа — организовывать и поддерживать исследования с высоким риском, но и высокой отдачей, которые повысили бы возможности РС. В этом IARPA похоже на DARPA, но последнее гораздо более знаменито, потому что оно крупнее, дольше существует и часто финансирует высокие технологии. Большинство разведывательных исследований не столь экзотично, хотя может иметь такую же важность для национальной безопасности.

Летом 2010 года два официальных представителя IARPA, Джейсон Мэтни и Стив Рибер, навестили Беркли. Мы с Барбарой Меллерс встретились с ними в отеле с видом на Сан-Франциско — настоящей приманкой для туристов. Новости, которыми они поделились, были такими же прекрасными, как открывавшаяся из окна панорама. Они планировали претворить в жизнь главную рекомендацию заключения Государственного совета по исследованиям — а я-то с уверенностью предсказал, что эта рекомендация благополучно покроется пылью. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. Сбежит ли президент Туниса в уютное изгнание в течение ближайшего месяца? Унесет ли начавшаяся эпидемия птичьего гриппа жизни более десяти человек в ближайшие шесть месяцев? Упадет ли евро ниже отметки 1,20 доллара в течение года?

IARPA искала вопросы в обитаемой зоне сложности — не такие простые, чтобы на них мог ответить любой внимательный читатель New York Times, но и не до такой степени сложные, что на них не мог ответить ни один человек на планете. IARPA считала, что в обитаемой зоне можно будет найти новых талантливых прогнозистов и протестировать новые методы культивирования талантов. Будущий турнир не должен был походить на проведенное мною ранее исследование EPJ: самые большие временные рамки в нем предполагались меньше самых маленьких в моем. IAPRA не хотело тратить время и заставлять людей делать то, что, как мы теперь знаем, просто невозможно. Человеческое зрение никогда не сможет распознать нижнюю строчку таблицы Снеллена со стометрового расстояния. И как бы вы ни упражняли глазные мышцы, вы этого не измените. Как показало EPJ и другие исследования, человеческая система мышления никогда не сможет предсказать поворотные моменты в жизни людей и государств на несколько лет вперед, и никакие героические поиски суперпрогнозистов этого не изменят.

План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны ^[70]. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой. Команды должны обойти общий прогноз («мудрость толпы») контрольной группы, причем с отрывом, который мы все тогда сочли устрашающим. IARPA хотело, чтобы за первый год команды превзошли этот стандарт на 20 %, а к четвертому году отрыв уже должен был достичь 50 %.

Но это было только частью плана. Внутри каждой команды исследователи могли проводить эксперименты в стиле Арчи Кокрана, чтобы определить, что́ на самом деле работает против внутренних контрольных групп. Например, исследователи думают, что базовый тренинг поможет улучшить точность прогнозистов. Но если они проведут тренинг всем прогнозистам, что это докажет? Если их точность возрастет, это может быть благодаря тому, что тренинг сработал. Или вопросы стали легче. Или прогнозистам просто повезло. Если же точность снизится, это может быть из-за того, что тренинг возымел обратный эффект, или, возможно, точность без тренинга снизилась бы еще сильнее. Не было бы ни одного способа это выяснить. Узнаете проблему? Та самая, с которой сталкивались врачи в течение всей истории медицины. Арчи Кокран увидел решение: прекратить притворяться, что ты что-то знаешь, и начать эксперименты. Тренинг можно было провести с одной случайно выбранной группой прогнозистов и не проводить с другой. Все остальные факторы не должны меняться. Затем сравниваются результаты. Если прогнозисты, прошедшие тренинг, стали более точными, чем не прошедшие, значит, он сработал.

Возможности исследований ограничивались только воображением, но, чтобы их реализовать, нам нужно было большое количество прогнозистов. Мы с коллегами распространили информацию о проекте через блоги и профессиональную сеть: «Хотите ли вы предсказывать будущее мира? У вас есть шанс! И вам даже не нужно выходить из дома: просто уделяйте каждый день какое-то время политически-экономическим загадкам и выдвигайте ваши лучшие предположения». Наши общие усилия не пропали даром. За первый год в проект записалось несколько тысяч добровольцев. Из них 3200 прошли нашу начальную серию психометрических тестов и приступили к работе. Мы, как я уже говорил, назвали нашу команду исследователей и всю программу «Проект „Здравое суждение“».