Идиот или гений? Как работает и на что способен искусственный интеллект - Мелани Митчелл Страница 27

Чтобы предотвратить такое подглядывание данных, но в то же время позволить участникам соревнования ImageNet проверять, насколько хорошо работают их программы, организаторы ввели правило, в соответствии с которым каждая команда могла загружать результаты на тестовый сервер не более двух раз в неделю. Таким образом они ограничили обратную связь, которую команды получали в ходе тестовых прогонов.

Великая битва на конкурсе ImageNet 2015 года разгорелась за доли процента – казалось бы, пустяшные, но потенциально весьма прибыльные. В начале года команда Baidu объявила, что точность (топ-5) их метода на тестовом множестве ImageNet составила невиданные 94,67 %. Но в тот же день команда Microsoft объявила, что ее программа показала еще более высокую точность – 95,06 %. Через несколько дней команда конкурентов из Google сообщила об использовании немного другого метода, который справился с задачей еще лучше и показал результат 95,18 %. Этот рекорд продержался несколько месяцев, пока команда Baidu не сделала новое заявление: она усовершенствовала свой метод и может похвастаться новым рекордом – 95,42 %. Пиарщики Baidu широко разрекламировали этот результат.

Но через несколько недель организаторы соревнования ImageNet сделали краткое объявление: “В период с 28 ноября 2014 года по 13 мая 2015 года команда Baidu использовала не менее 30 учетных записей и загрузила результаты на тестовый сервер не менее 200 раз, значительно превысив существующее ограничение в две загрузки в неделю” ^[116]. Иными словами, команда Baidu попалась на подглядывании данных.

Двести прогонов позволили команде Baidu определить, какие корректировки необходимо внести в программу, чтобы научить ее лучше всего справляться с этим тестовым множеством и набрать доли процента точности, необходимые для победы. В наказание Baidu отстранили от участия в конкурсе 2015 года.

Надеясь смягчить удар по репутации, Baidu быстро принесла извинения, а затем возложила ответственность на нерадивого сотрудника: “Мы выяснили, что руководитель группы велел младшим инженерам делать более двух загрузок в неделю, нарушая действующие правила соревнования ImageNet” ^[117]. Сотрудника быстро уволили из компании, хотя он утверждал, что не нарушал никаких правил.

Несмотря на то что эта история – всего лишь любопытное примечание к истории глубокого обучения в сфере компьютерного зрения, я рассказала ее, чтобы показать, что соревнование ImageNet стало считаться главным символом прогресса в компьютерном зрении и ИИ в целом.

Если забыть о жульничестве, прогресс на ImageNet продолжился. Последний конкурс состоялся в 2017 году, и точность топ-5 у победителя составила 98 %. Как отметил один журналист, “сегодня многие считают ImageNet решенной задачей” ^[118] – по крайней мере по классификации. Специалисты переходят к новым эталонным данным и новым задачам, в частности к таким, которые предполагают интеграцию зрения и языка.

Что же позволило сверточным нейронным сетям, которые в 1990-х годах казались тупиковой ветвью развития, вдруг захватить лидерство в соревновании ImageNet и занимать доминирующее положение в сфере компьютерного зрения все последние годы? Оказывается, недавний успех глубокого обучения связан не столько с новыми прорывами в ИИ, сколько с доступностью огромных объемов данных (спасибо, интернет!) и аппаратного обеспечения для очень быстрых параллельных вычислений. Вкупе с совершенствованием методов тренировки эти факторы позволяют всего за несколько дней натренировать сети, имеющие более сотни слоев, на миллионах изображений.

Сам Ян Лекун удивился тому, как быстро изменилось отношение к его сверточным нейронным сетям: “Очень редко технология, известная на протяжении 20–25 лет и почти не претерпевшая изменений, становится наилучшей. Скорость ее принятия людьми поражает воображение. Я никогда прежде не видел ничего подобного” ^[119].