Олика Янат
Редактор Hype.ru. Вдохновляюсь роком, футболом и интересными творческими людьми.

Чьи приказы исполняет ваш голосовой помощник

Чьи приказы исполняет ваш голосовой помощник
©The New York Times

Страшный кошмар искусственного интеллекта, подверженного чужим манипуляциям, уже близко. Вы просите Siri включить вам Metallica, а ассистент в это же время заказывает без вашего ведома покупки в интернете, переводит деньги с карты и открывает дверь незнакомцу. Звучит пугающе, не так ли?

Многие пользователи уже привыкли общаться с умными устройствами — они просят их прочесть сообщение, включить музыку или настроить уведомление. Но что, если кто-то еще может тайно разговаривать с вашим виртуальным ассистентом?

Исследователи из Университета Беркли (Калифорния) описывают, как они могут встроить команды непосредственно в музыку или устный текст без фактического уведомления пользователя. Это значит, что если человеческое ухо слышит только песню или текст, Alexa, Google Assistant или Siri может в это же время получать команды для совершения всех вышеописанных действий. Или каких-то других.


В течение двух лет китайские и американские исследователи демонстрировали, что они могут отправлять цифровым ассистентам скрытые команды, которые не воспринимаются человеческим слухом. Внутри университетских лабораторий они сумели тайно активировать системы ИИ на смартфонах и смарт-колонках, что позволяет им набирать телефонные номера или открывать веб-страницы. В руках злоумышленников подобная технология может быть применена для разблокирования дверей, денежных переводов или приобретения товаров в сети — просто, пока вы наслаждаетесь песней по радио.

Группа студентов из университетов Беркли и Джорджтауна два года назад показала, что они могут скрывать команды в белом шуме, воспроизводимом через динамики и видеоролики YouTube, чтобы заставить умные устройства включить режим полета или открыть страницу веб-сайта.

И вот теперь исследователями Беркли была опубликована статья, в которой говорится, что они могут встроить команды непосредственно в аудиозаписи или устный текст. Поэтому, когда человек слышит, как играет песня, Echo Amazon может получать инструкцию добавить что-то в ваш список покупок.

Мы хотели видеть, сможем ли мы сделать это еще более тайно, — говорит Николас Карлини, кандидат наук по компьютерной безопасности в Беркли и один из соавторов статьи.
Николас Карлини ©GitHub

При этом Карлини добавил, что их методы пока не покинули лабораторию, но это может быть только вопросом времени, прежде чем кто-то начнет их эксплуатировать.

Я полагаю, что преступники уже используют людей, чтобы делать то, что делаю я, — сказал он.

Подобные исследования иллюстрируют, как искусственный интеллект, даже если он делает большие успехи, все еще может быть обманут и подвергнут манипулированию. Компьютеры можно одурачить изменив всего лишь несколько пикселей цифрового изображения, и он идентифицирует самолет как кошку, в то время как исследователи могут заставить самоуправляемый автомобиль свернуть с намеченного пути или ускорить его, просто вставив небольшие наклейки на дорожные знаки и сбив с толку систему компьютерного зрения.

Благодаря аудио-атакам исследователи используют разрыв между распознаванием речи человека и машины. Системы распознавания речи обычно транслируют каждый звук в букву, в итоге «собирая» их в слова и фразы. Сделав небольшие изменения в аудиофайлах, исследователи смогли отменить звук, который система должна была слышать, и заменить его звуком, который по-разному транскрибируется машинами, при этом будучи почти неуловимым для человеческого слуха.

©Hemm Klok / The New York Times

Быстрое распространение гаджетов с голосовой активацией усиливает последствия таких трюков. По словам исследовательской фирмы Ovum, количество смартфонов и смарт-колонок, использующих цифровых ассистентов, к 2021 году превысит численность людей. По данным Juniper Research, более половины всех американских домов будут иметь по крайней мере один умный динамик.

Компания Amazon утверждает, что динамик Echo надежно защищен, но конкретные меры безопасности при этом не озвучивает. В Google отмечают, что безопасность держится под постоянным фокусом, и что ассистент имеет функции для смягчения необнаруживаемых команд. Специалисты обеих компаний применяют технологию распознавания голоса, чтобы запретить устройствам действовать по определенным командам, если они не «узнают» голос пользователя.

Apple заявила, что интеллектуальный динамик HomePod предназначен предотвращать выполнение таких команд, как разблокировка дверей, а iPhone и iPad должны быть разблокированы для того, чтобы Siri дала доступ к конфиденциальным данным или открыла приложения и веб-сайты.

Однако многие люди оставляют свои смартфоны разблокированными.

Уже существуют истории использования интеллектуальных устройств для достижения коммерческой выгоды посредством разговорных команд.

В прошлом году Burger King вызвала волнение онлайн-рекламой, которая специально спрашивала «O.K., Google, что такое бургер Whopper?». Запрос заставлял голосовых помощников, автоматически реагирующих на фразу «OK Google», читать соответствующую страницу из Википедии. Рекламу отменили после того, как пользователи начали редактировать страницу Википедии для комического эффекта.

Несколькими месяцами позже анимационный сериал South Park получил целый эпизод о голосовых помощниках, из-за которых ассистенты могли бессмысленно повторять различные непристойности.

Не существует законов против трансляции подсознательных сообщений людям, не говоря уже о машинах. Федеральная комиссия США по связи не поощряет эту практику как «противоречащую общественным интересам», а Телевизионный кодекс Национальной ассоциации вещателей в Америке запрещает «передавать сообщения ниже порога нормального осознания». Но ничего не говорится о подсознательных стимулах для смарт-устройств.

Американские суды постановили, что подсознательные сообщения могут представлять собой вторжение в личную жизнь, но закон не расширил понятие конфиденциальности на машины.

Теперь технология набирает скорость быстрее правовой базы. В прошлом году исследователи из Принстонского университета и Китайского университета Чжэцзян продемонстрировали, что системы распознавания голоса могут быть активированы с использованием частот, не слышимых для человеческого уха. При этом атака сначала отключила смартфон, чтобы владелец не услышал ответы системы.

Методика, которую китайские исследователи называют DolphinAttack, может поручить смарт-устройствам посещать вредоносные веб-сайты, инициировать телефонные звонки, делать снимки или отправлять текстовые сообщения. В то время как у DolphinAttack есть свои ограничения — передатчик должен быть рядом с приемным устройством, — эксперты предупреждают, что возможны более мощные ультразвуковые системы.

Это предупреждение было подтверждено в апреле, когда исследователи из Университета штата Иллинойс в Урбана-Шампейн продемонстрировали ультразвуковые атаки с расстояния в 25 футов (7,6 метров). Хотя команды не могли «пройти» сквозь стены, они управляли интеллектуальными устройствами через открытые окна снаружи здания.

В этом году еще одна группа китайских и американских исследователей из Академии наук Китая и других учреждений продемонстрировала, что они могут управлять устройствами, активированными голосом, с помощью команд, встроенных в песни, которые могут транслироваться по радио или воспроизводиться на таких сервисах, как YouTube.

Группа из Беркли также встроила команду в музыкальные файлы, например, в четырехсекундный отрывок «Requiem» Верди.

При этом, исследователи расходятся во мнениях, как реагировать производителям устройств, ведь они должны обеспечить баланс безопасности с легкостью использования.

Компании должны обеспечить удобство использования своих устройств, потому что это их основная точка продаж, — сказал Тавиш Вайдья, исследователь из Джорджтауна.

Вайдья написал одну из первых работ по аудио-атакам, которую назвал «Cocaine Noodles», потому что устройства интерпретировали фразу «кокаиновая лапша» как «O.K., Google».

Карлини уверен, что со временем он и его коллеги смогут совершить успешные атаки против любой системы смарт-устройств на рынке.

Мы хотим показать, что это возможно, — сказал он, — а потом, надеюсь, другие люди скажут: «О.К. это возможно, давайте исправим это».

По материалам The New York Times

Один хлопок? Или же бурные овации? Хлопая больше или меньше, вы показываете, какой пост действительно чего-то стоит.
Олика Янат Редактор Hype.ru. Вдохновляюсь роком, футболом и интересными творческими людьми.
Комментарии