Автоматизация ИИ-агентов и атаки
С ИИ-агентами, типа бота от OpenAI, описанного в прошлой записке, возможны всякие забавные направления атак. Так, по условиям задачи, агент полностью управляет компьютером, через системный API клавиатуры и мыши (то есть, эмуляция HID, по-научному). Поэтому атакующий может, например, убедить ИИ-агента открыть в браузере нужную веб-страницу, где уже автоматом установится то или иное “зловредное ПО”. Теоретически, такой ИИ-агент должен отказываться устанавливать произвольное ПО непосредственно. Однако, во-первых, ПО может устанавливаться без участия агента через ту или иную уязвимость, про которую ни OpenAI, ни, тем более, ИИ-агент не знают, – главное, чтобы в браузере были выполнены нужные действия. Во-вторых, ИИ-агента, который отказывается установить ПО, можно и обмануть, и взломать – это всего лишь программный интерфейс, а не какой-то там “интеллект”, что неоднократно демонстрировалось на практике.
Вообще, в системе, которая для работы требует установить на пользовательский компьютер средство для удалённого доступа (а ведь типовой подход, так сказать), с “приваси” и безопасностью всё будет заведомо плохо, это понятно: скриншоты записываются и уходят “неопределённому кругу лиц”, а все вводимые в формы данные – сохраняются в логах сервиса, откуда могут быть получены другими пользователями, отправляющими запросы в какой-нибудь чат-бот на той же системе. Но нельзя игнорировать и более технические моменты, которые в такой схеме традиционно возникнут, но, как бы, “неожиданно”: например, окажется, что удалённый доступ к локальному агенту практически никак не защищён и тут, из-за ошибок, аутентификация либо совсем не работает, либо легко взламывается удалённо. А могут взломать и центральные системы OpenAI, получив удалённый доступ к большому количеству агентов на устройствах (или даже ко всем агентам сразу). Масштабы применения нового поколения игрушечного сервиса “автозаполнения форм” – велики.
Программа-агент такого типа, конечно, вовсе не нуждается в браузере и в присутствии на компьютере: понятно, что даже если это “говорящая” система, принимающая команды на естественном языке, то для выполнения задач типа бронирования отеля система должна напрямую обращаться к сервисам бронирования, а не скриншоты из пользовательского браузера рассматривать. Но если реальная задача состоит в том, чтобы попасть приложением-ботом на пользовательское устройство, да ещё и с разнообразными правами доступа, даже выше браузера, то о реальном удобстве для этого пользователя можно не особенно-то и задумываться. Тем более, что пользователь ещё и платит. Тут и прозрачные “интеграции” с рекламными сервисами наладить нетрудно, хоть бы и через тот же браузер, передавая уникальный идентификатор, через ИИ-агента, на сторону центральных серверов провайдера GPT, с которых уже выполняется привязка сессий к рекламному провайдеру.
Кстати, наличие программы-агента позволяет автоматически открыть браузер (или банковское приложение) и не просто подписать пользователя на всякие совершенно точно “необходимые” ему платные сервисы, подтвердив всё, что требуется, но и совершить произвольные платежи: если агент работает ещё и на смартфоне, то код подтверждения получить совсем нетрудно. И поэтому атакующий может убедить ИИ-агента через чат, что это настоящий пользователь пишет, потому что он “забыл ключи дома”, “потерял смартфон”, а нужно срочно оплатить авиабилеты и бронь отеля, который вчера выбирали вместе, всё по указанным реквизитам, которые, вот же – прикреплены к сообщению. Тоже забавное развитие технологий. Особенно, когда убеждать через чат и звонками одного ИИ-агента станет другой ИИ-агент, специально обученный: всё должно автоматизироваться – для этого же и придумывается.
Адрес записки: https://dxdt.ru/2025/01/24/14886/
Похожие записки:
- Неверная интерпретация систем ИИ как "инструмента для анализа"
- Спутниковый радар Umbra
- Машинный ИИ в книгах прошлого века
- Набеги ботов под прикрытием AI
- Ретроспектива заметок: "умные счётчики"
- Bluetooth и CVE-2023-45866
- Как правильно "показать TLS-сертификат", рекомендации
- Ссылки: запрет продуктов Kaspersky в Штатах
- Агенты ИИ, действующие через скриншоты
- Алгоритмы преобразования в биометрии
- Циклы и логические формулы
Написать комментарий