Роботы наступают: Развитие технологий и будущее без работы - Мартин Форд Страница 47

В марте 2013 г. в ответ на информацию о том, что оценкой эссе, написанных в рамках стандартизированных тестов, будут заниматься машины, небольшая группа ученых, состоящая главным образом из специалистов по английскому языку и преподавателей письменного английского, выступила в Интернете с петицией, направленной против данной инициативы. В этой петиции под названием «Профессионалы против оценки машинами студенческих эссе в ответственных случаях» (Professionals Against Machine Scoring of Student Essays in High Stakes Assessment) ^{179} отражено общее мнение авторов о том, что алгоритмическое оценивание эссе, помимо прочего, отличается упрощенностью, неточностью, произвольностью и предвзятостью, не говоря уже о том, что оно выполняется «устройством, которое на самом деле даже не умеет читать». Меньше чем за два месяца петицию подписали почти 4000 преподавателей и специалистов, а также все уважаемые интеллектуалы, включая Ноама Хомского.

Разумеется, в идее использовать компьютеры для оценки тестов нет ничего нового: уже многие годы они занимаются простейшей задачей оценки тестов с несколькими вариантами выбора. В этом контексте они рассматриваются как средство снижения трудоемкости. Однако стоит лишь алгоритмам покуситься на область, которая, по всеобщему мнению, в значительной степени зависит от человеческих навыков, включая способность выносить суждения, как тут же многие преподаватели начинают видеть в технологиях угрозу. В основе машинных технологий оценки эссе лежат передовые средства искусственного интеллекта; основная стратегия, используемая при оценке студенческих эссе, во многом схожа с методологией, реализованной в онлайн-переводчике Google. Сначала в алгоритмы машинного обучения загружается большое количество образцов с оценками, выставленными преподавателями-людьми. Затем алгоритмы применяются при оценке новых студенческих эссе; при этом они выдают результат практически мгновенно.

Авторы петиции, безусловно, правы в том, что участвующие в оценивании машины «не умеют читать». Однако, как мы уже видели на примере других случаев применения больших данных и технологий машинного обучения, это не имеет никакого значения. Методы, основанные на анализе статистических корреляций, очень часто не уступают лучшим экспертам или даже превосходят их по эффективности. Например, в 2012 г. сотрудники Педагогического колледжа Университета Акрона провели исследование, в ходе которого сравнили результаты работы машин с оценками, поставленными преподавателями. Выяснилось, что применение машинных технологий позволило «добиться практического такого же уровня точности и при этом в некоторых случаях ПО оказалось даже надежнее». В исследовании приняли участие девять компаний, занимающихся разработкой решений для автоматизации оценивания, в нем было использовано свыше 16 000 студенческих эссе с проставленными оценками из государственных школ шести штатов США ^{180}.

Одним из самых ярых противников машинного оценивания и одним из инициаторов протестной петиции 2013 г. является Лес Перельман, бывший директор программы обучения письменной речи в МIT. Перельману удалось ввести в заблуждение алгоритмы оценивания с помощью нескольких абсурдных эссе, некоторые из которых заслужили высокую оценку машин. Однако, по моему мнению, навыки, требуемые для составления бессмысленных текстов специально для того, чтобы обмануть ПО, в общем и целом сравнимы с навыками, необходимыми для написания логически выстроенного эссе. Это противоречит выводу Перельмана о том, что систему легко обмануть. На самом деле следовало бы задаться вопросом: а способен ли студент, который не владеет развитыми навыками письменной речи, обмануть ПО, используемое для оценивания? Исследование специалистов из Университета Акрона показывает, что это невозможно. Впрочем, одна из поднимаемых Перельманом проблем заслуживает внимания: опасение, что в будущем студентов будут учить так, чтобы их работы нравились алгоритмам, которые, по его мнению, «дают студентам непропорционально много баллов за длинные и вычурные высказывания» ^{181}.

Несмотря на все споры, у алгоритмического оценивания есть все шансы стать главным методом в школах, которые продолжают искать способы сокращения издержек. Этот подход имеет неоспоримые преимущества в ситуациях, когда требуется оценить большое количество эссе. И дело не только в скорости и низкой стоимости: алгоритмический подход обеспечивает такой уровень объективности и надежности, единственной альтернативой которому в случае с преподавателями-людьми является привлечение нескольких проверяющих. Например, многие языковые курсы предполагают ежедневное ведение дневника; при использовании алгоритма для оценки любой записи и, возможно, даже получения рекомендаций по улучшению текста будет достаточно простого щелчка мыши. Представляется разумным предположить, что автоматизированное оценивание — по крайней мере в ближайшем будущем — будет применяться во вводных курсах, посвященных базовым навыкам. Вряд ли преподающим английский профессорам стоит бояться вторжения алгоритмов в работу семинаров по писательскому мастерству для хорошо подготовленных студентов. При этом внедрение алгоритмов в рамках вводных курсов может привести к вытеснению ассистентов-преподавателей, выполняющих сейчас рутинную работу по оцениванию текстов.