Зловмисники виявили спосіб застосовувати звуки, які не чути людині, приховані в подкастах чи випадкових відео, для компрометації голосових ШІ-помічників. За даними Futurism, що посилається на звіт науковців з Китаю та Сінгапуру, представлений на симпозіумі IEEE з безпеки та конфіденційності.
Дослідники продемонстрували розробку так званого “adversarial audio” – сигналів, які повністю нерозрізненні людським слухом, але розпізнаються голосовим ШІ-ботом на вашому пристрої як команда. Ці аудіосигнали можуть бути вбудовані в будь-який контент, наприклад, у відео з YouTube, яке може відтворюватися алгоритмом у фоновому режимі.
Якщо система надає відповідні дозволи, голосовий чатбот потенційно може надати зловмисникам доступ до ваших приватних фотографій, банківських рахунків або іншої конфіденційної інформації.
“Створення такого сигналу займає близько тридцяти хвилин, і оскільки він не залежить від контексту, його можна використовувати для атаки на цільову модель у будь-який час, незалежно від того, що говорить користувач”, – коментує Мен Чень, провідний автор дослідження та аспірант Чжецзянського університету. “Захисні механізми мають низьку ефективність проти такої атаки, оскільки моделям складно розрізнити звичайний запит користувача від шкідливої команди”.
Цей тип атаки має суттєве обмеження: хакерам потрібен доступ до параметрів ШІ-моделі, що означає, що метод працює лише проти відкритих (open-source) версій. Однак багато комерційних систем базуються на таких моделях, тому ця вразливість може впливати на популярні продукти від Microsoft та Mistral.
“Ми цінуємо роботу дослідників, яка допомагає краще зрозуміти ці методи. Дане дослідження оцінює стійкість моделі через контрольовані прямі взаємодії, що сприяє вдосконаленню захисту. На практиці ШІ-моделі часто інтегруються в додатки, і ми надаємо розробникам інструменти та рекомендації для забезпечення додаткових рівнів безпеки”, – зазначено у заяві Microsoft, опублікованій у відповідь на звіт.
Читайте також: Селфі з жестом “V” можуть розкрити ваші відбитки пальців – експерти з кібербезпеки
Оригінал статті: mezha.ua