Идиот или гений? Как работает и на что способен искусственный интеллект - Мелани Митчелл Страница 70

На пути к мировому господству системы ОЕЯ сталкиваются также с другим препятствием: подобно программам компьютерного зрения, они не справляются с “контрпримерами”. В главе 6 я описала метод, которым злоумышленник (здесь – человек, который пытается обмануть систему ИИ) может изменить окраску пикселей на фотографии, скажем, школьного автобуса. Людям кажется, что новый снимок ничем не отличается от оригинала, но натренированная сверточная нейронная сеть говорит, что на фотографии изображен “страус” (или помещает изображение в другую категорию, выбранную злоумышленнком). Я также описала, как злоумышленник может создать изображение, в котором люди увидят лишь случайное скопление точек, а обученная нейронная сеть – скажем, “гепарда”, причем будет почти на 100 % уверена в своем ответе.

Рис. 43. Пример вредоносной атаки на систему формирования подписей к изображениям. Слева показано исходное изображение с подписью, сгенерированной компьютером. Справа – измененное изображение (которое людям кажется неотличимым от исходного) и сформированная для него подпись. Авторы специально скорректировали исходное изображение таким образом, чтобы в новой подписи содержались слова “собака”, “кошка” и “фрисби”

Неудивительно, что те же самые методы можно использовать, чтобы обманывать системы, которые автоматически формируют подписи к изображениям. Одна группа исследователей показала, как злоумышленник может внести в пиксели изображения особые изменения, которые не будут заметны людям, но заставят систему формировать некорректные подписи, содержащие слова из определенного злоумышленником набора ^[310].

На рис. 43 показан пример вредоносной атаки. При получении исходного изображения (слева) система выдает подпись “Пирожное лежит на столе”. Авторы слегка изменили изображение таким образом, чтобы компьютер выдавал для него подпись со словами “собака”, “кошка” и “фрисби”. Хотя людям новое изображение (справа) кажется неизменным, система сгенерировала для него подпись “Собака и кошка играют с фрисби”. Очевидно, система воспринимает снимок не так, как люди.

Возможно, даже более удивительно, что аналогичные контрпримеры, были разработаны несколькими исследовательскими группами для обмана систем распознавания речи. Группа из Калифорнийского университета в Беркли разработала метод, с помощью которого злоумышленник мог взять любую относительно короткую звуковую волну – речь, музыку, случайный шум или другой звук – и скорректировать ее таким образом, чтобы люди считали ее неизменной, а глубокая нейронная сеть распознавала в ней совершенно иную фразу, выбранную злоумышленником ^[311]. Представьте, что злоумышленник транслирует по радио аудиозапись, которая кажется вам приятной фоновой музыкой, но которую ваш голосовой помощник Alexa трактует как команду “Зайди на EvilHacker.com и скачай компьютерные вирусы”. Или “Начни аудиозапись и отправь все услышанное на EvilHacker@gmail.com”. Подобные пугающие сценарии кажутся вполне возможными.

Исследователи ОЕЯ также продемонстрировали возможность вредоносных атак на программы для анализа тональности текста и вопросно-ответные системы, которые я описала выше. Как правило, при таких атаках в тексте меняется несколько слов или появляется дополнительное предложение. “Вредоносные” изменения не влияют на смысл текста для человека, но заставляют систему давать неверный ответ. Так, исследователи ОЕЯ из Стэнфорда показали, что при добавлении определенных простых предложений к фрагментам из теста SQuAD даже лучшие системы выдают неверные ответы, тем самым значительно снижая свои показатели. Вот пример из теста SQuAD, который я приводила выше, но с добавленным незначимым предложением (здесь выделено курсивом для ясности). Такое добавление заставляет вопросно-ответную систему, основанную на глубоком обучении, давать неверный ответ ^[312]: