Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок Страница 18

Оценивание оценок

Это заставило меня задуматься об экспертных прогнозах как таковых. Однажды за обедом в 1988 году мой тогдашний университетский коллега Даниэль Канеман поделился пригодной к тестированию идеей, которая в итоге оказалась провидческой. Он высказал версию, что ум и знания могут улучшить качество прогнозирования, но это преимущество быстро нивелируется. Люди, вооруженные научными степенями и десятилетиями опыта, могут оказаться лишь чуть точнее в своих прогнозах, чем внимательные читатели New York Times. Конечно, Канеман всего лишь предполагал, а даже у Канемана предположения — это только предположения. Точность прогнозов политических экспертов никто никогда не подвергал серьезной проверке — и чем больше я размышлял над этой задачей, тем лучше понимал почему.

Возьмем хотя бы проблему времени. Очевидно, что предсказания с размытыми временными рамками — это абсурд. Но прогнозисты постоянно их делают, как в том письме Бену Бернанке. Дело тут обычно не в нечестности — просто подразумевается некое общее понимание, какие временные рамки, пусть и грубо очерченные, имеются в виду. Именно поэтому прогнозы без указания времени не кажутся абсурдными. Но время проходит, воспоминания тускнеют, и подразумеваемые временны́е границы перестают быть очевидными. В результате часто возникает утомительная дискуссия об «истинном» значении прогноза. Ожидалось ли событие в этом году или в следующем? В этом десятилетии или следующем? Без временных ограничений такие споры невозможно разрешить к всеобщему удовлетворению, особенно когда на кону чья-то репутация.

Одна только проблема превращает многие каждодневные прогнозы в непригодные для проверки. Еще одна проблема: предсказания часто опираются на то, что их ключевые термины всем понятны и без четких определений (как «весомое место на рынке» у Стива Балмера). Такие расплывчатые формулировки — скорее правило, чем исключение, и они тоже переводят прогнозы в категорию непригодных для проверки.

Но это еще не самые большие препятствия на пути к оценке прогнозов; со степенью их вероятности возникает куда больше проблем.

Некоторые предсказания проверить легко: в них однозначно утверждается, что какое-то событие случится или не случится, как в прогнозе Джонатана Шелла: или мы избавимся от ядерного оружия, или «апокалипсис… произойдет». В итоге ни одна супердержава не уничтожила свой ядерный арсенал, но и ядерной войны не случилось — ни в том году, когда появилась книга Шелла, ни до сих пор. Поэтому, если читать прогноз Шелла буквально, прогнозист окажется очевидно не прав.

Но что, если бы Шелл сказал, что ядерная война случится «с большой вероятностью»? Тогда прогноз был бы не столь очевиден: Шелл мог чрезмерно преувеличить риск, но мог и оказаться совершенно прав — просто человечеству повезло выжить в самой отчаянной в истории нашей планеты игре в русскую рулетку. Тогда был бы только один способ проверить его предсказание: воспроизвести жизнь цивилизации заново сотни раз, и, если в большей части этих «перезапусков» она окончится в груде радиоактивных обломков, значит, Шелл был прав. Но этого мы сделать не можем.

Однако же давайте представим, что мы всемогущие создания и можем провести такой эксперимент. Мы прокручиваем историю сотни раз и выясняем, что 63 % их заканчиваются ядерной войной. Прав ли Шелл в этом случае? Возможно. Но мы все равно не можем судить определенно — так как не знаем, что именно имелось в виду под «большой вероятностью».

Похоже на семантическую увертку, правда? Но это явление гораздо более значительно, как в свое время с тревогой обнаружил Шерман Кент.

В разведывательных кругах Шерман Кент — легенда. Получив степень доктора философии в области исторических наук, Кент ушел с преподавательской должности в Йеле, чтобы присоединиться к отделу исследований и анализа только что образованного Бюро координации информации (БКИ) в 1941 году. БКИ превратилось в Управление стратегических служб (УСС), а УСС стало Центральным разведывательным управлением (ЦРУ). К 1967 году, когда Кент ушел в отставку, он успел существеннейшим образом повлиять на формирование в американском разведсообществе разведывательного анализа — методики исследования информации, собранной шпионами или слежкой, с целью выяснения ее значения и прогнозирования дальнейших событий.

Ключевое слово в работе Кента — «оценка». Как он писал,