dxdt.ru: занимательный интернет-журнал

Скрытые метки (“водяные знаки”), добавляемые в тексты, которые генерируют ИИ LLM, могут содержать много дополнительной информации. Вообще, в метку можно поместить и уникальный идентификатор пользовательской сессии, внутри которой этот текст был выдан системой. То есть, получается, что какой-то пользователь привычно использовал очередной сервис GPT для генерирования текста, который потом подредактировали и опубликовали в Сети. Бот провайдера сервиса GPT этот текст позже находит и связывает с пользовательской сессией. Теперь провайдер сервиса знает, какие пользователи для чего тексты генерируют. Соответственно, может вносить нужные изменения, оказывая прямое влияние на результат.

Заметьте, что текст может быть не только газетной статьёй, но, как уже показывает практика, и законопроектом, и каким-то более важным распоряжением. То есть, вроде, формальный статус ИИ LLM тут получается на уровне “используется в работе сотрудниками”, а реальный статус – провайдер сервиса получает рычаги для целевого влияния на результат: такой spear phishing в квадрате.

Схема генерирования текста внутри LLM обладает большой глубиной, так что избавиться от качественно построенного криптографического “водяного знака” редактированием текста очень и очень непросто. Лишь бы текст был достаточно длинным. Перестановка некоторых предложений, перестановка некоторых слов, замена на синонимы, перефразирование небольших фрагментов – это всё точно не поможет, но зато предоставит дополнительную информацию для анализирующего бота, то есть появится содержательная статистика, отражающая эволюцию текста в токенах: кто, как, что именно меняет в словах и буквах.

Не нужно забывать, что сама концепция построения LLM происходит из методов атрибуции литературных текстов, так что, если метки строятся на уровне соотношений между многими внутренними коэффициентами, взятыми относительно токенов, то “сокрытие исходного авторства” для достаточно большого текста превращается в отдельную, тоже большую, задачу. Не имея доступа к базам самой LLM, тут придётся повозиться, и без гарантий успешного исхода. Так что процесс окажется не только трудоёмким, но и потребует ресурсов специалиста редкой квалификации, а это уже оказывается полностью вне контекста новомодного применения ИИ, поскольку сводит предполагаемые выгоды к нулю. Очевидно, всякая попытка автоматизации тут просто переключает контроль результата с одного провайдера на другого, то есть, на провайдера очередного “синонимайзера”. А использование собственных, исполняемых локально, сервисов LLM – тоже не приветствуется: кругом же “облачные технологии”, что это ещё за немодное “ретроградство”? И даже если крупный провайдер GPT декларирует создание “выделенных экземпляров”, контроль за этими экземплярами всё равно внешний.

Так что, в рамках идущего сейчас повсеместно административного, – даже директивного, – процесса интенсивного расширения применения ИИ-сервисов, провайдеры этих сервисов получают огромные возможности по стратегическому влиянию на развитие событий. Это влияние даже получше, чем случилось на прошлом этапе – с сервисами социальных сетей.

Адрес записки: https://dxdt.ru/2024/12/26/14499/