Долой среднее - Тодд Роуз Страница 20

Чтобы заменить коллегу, Моленаару пришлось открыть Лорда и Новика и готовиться к семинару. Тут-то он и испытал aha-erlebnis, что в переводе с немецкого означает «прозрение». Этот момент круто изменил его жизнь и поколебал основы общественных наук. Во введении к учебнику авторы довольно сухо отмечали, что всякий тест на умственное развитие создан для оценки «истинного показателя» испытуемого в той или иной области. Что ж, разумно: в конце концов, для того мы и предлагаем человеку пройти тест на интеллект, личностный тест или тест при поступлении в колледж, ведь нам надо узнать уровень его интеллекта, тип личности или точную процентиль успеваемости.

Далее Лорд и Новик писали, что в соответствии с ведущей теорией тестов того времени — классической теорией тестирования ^[127] — узнать истинный показатель можно только одним способом: следовало дать испытуемому пройти один и тот же тест множество раз ^[128]. Но зачем? Предполагалось, что во время каждого тестирования будет допущено некоторое количество ошибок (испытуемый может отвлечься или проголодаться, неправильно истолковать вопрос-другой или просто угадать правильный ответ). Но если взять средний балл большого количества тестирований, мы получим реальную оценку способностей конкретного человека.

Лорд и Новик прекрасно понимали, что на практике предлагать пройти один и тот же тест много раз подряд неправильно, потому что у человека есть такая вещь, как память, поэтому при повторном тестировании, к примеру, по математике, человек неизбежно покажет совсем другие результаты, а значит, получить объективную оценку не удастся ^[129]. Однако, не желая признать поражение, ученые предложили альтернативный способ поиска истинной оценки: вместо многократного тестирования одного человека по одному тесту нужно просто протестировать многих людей ^[130]. Согласно классической теории тестов, распределение результатов группы можно принять за распределение результатов одного человека.

Тот же хитроумный ход сделал почти на сто лет раньше Адольф Кетле, впервые в истории давший с помощью метафоры «статуя гладиатора» определение среднему показателю применительно к человеку. Ученый заявил, что средний результат замеров тысячи копий одной и той же статуи воина эквивалентен среднему результату замеров тысячи реальных солдат. По сути, и Кетле, и Лорд с Новиком утверждали, что замерить многих людей по одному разу — это все равно что замерить одного человека множество раз.

Вот тут-то Моленаара осенило. Он понял, что любопытный вывод Лорда и Новика применяется не только в тестировании — аналогичный подход лежит в основе исследований во всех областях науки о человеке. Следовательно, есть повод усомниться в валидности огромного количества якобы надежных научных инструментов: вступительных тестов для частных школ и колледжей; процедур отбора учеников на академические программы для одаренных и для нуждающихся в особой помощи; диагностических тестов для оценки физического и умственного здоровья и рисков различных заболеваний; моделей мозга, увеличения веса, семейного насилия, поведения избирателей; способов борьбы с депрессией; инсулинотерапии при диабете; методов найма и оценки персонала, уровня заработной платы и стратегий повышения по службе и базовых методов оценки в школах и вузах.

Странная мысль о том, что распределение результатов одного человека можно заменить распределением результатов целой группы, глубоко въелась в сознание практически каждого, кто изучает личность, хотя большую часть времени сами ученые об этом не задумывались. Однако Моленаар всю жизнь занимался математическими аспектами психологии, поэтому, заметив такое несоответствие, черным по белому изложенное на страницах учебника, сразу понял: в самое сердце теории усреднения вкралась бесспорная ошибка.