dxdt.ru: занимательный интернет-журнал

Предположим, личные автомобили тоже оснащаются развитой системой слежения (собственно, это уже так и есть, за минимальными исключениями: посмотрите на свежие утечки данных из подобных систем). Пользователь автомобиля может попытаться данную систему удалить. Всё ещё нередко можно услышать, что “в любом гараже отключат”. Однако система скорее всего защищена и схемотехнически “прицеплена” к другим необходимым элементам автомобиля. И тут есть особенно интересный момент, связанный с электромобилями и их зарядкой: автомобиль с отключенной системой слежения – зарядная станция заряжать отказывается. Кроме того, посещение электрической заправки или подключение к домашней выделенной станции выдаст автомобиль, у которого система слежения отключена: это, фактически, инцидент – попытка несанкционированного доступа. Понятно, что данные с камер наблюдения и данные геолокации – позволяют сам такой автомобиль быстро найти.

Можно, конечно, подумать, что пользователь “скрытного” электромобиля заряжает его из домашней розетки. Это некоторое преимущество, если сравнивать с автомобилем на старомодном топливе: бензин или другое подходящее горючее, обычно, из розетки в доме не поступает. Но кто вам сказал, что “домашние” сети электросбыта к тому моменту не станут определять тип и идентификационный номер подключенного потребителя? Забота о бережливом расходе электроэнергии, удобные “умные дома” со смарт-счётчиками – всё это просто подразумевает, что каждый подключившийся потребитель идентифицируется. Придётся перепрошивать электромобиль так, чтобы он притворился стиральной машиной на время зарядки от домашней розетки. Однако стиральная машина, даже если разрешено её использование в домохозяйстве, всё равно не потребляет столько энергии, сколько нужно электромобилю. Проблема. Опять же – где взять валидные идентификаторы? И это всё лишь в том случае, если автомобиль вообще удалось перепрошить.

Получается, что нужны автономные и анонимизированные источники энергии на солнечных батареях. Или ещё какой-то вариант: миниатюрная гидротурбина, ветряк. А может, несколько велотренажёров с генераторами?

Скрытые метки (“водяные знаки”), добавляемые в тексты, которые генерируют ИИ LLM, могут содержать много дополнительной информации. Вообще, в метку можно поместить и уникальный идентификатор пользовательской сессии, внутри которой этот текст был выдан системой. То есть, получается, что какой-то пользователь привычно использовал очередной сервис GPT для генерирования текста, который потом подредактировали и опубликовали в Сети. Бот провайдера сервиса GPT этот текст позже находит и связывает с пользовательской сессией. Теперь провайдер сервиса знает, какие пользователи для чего тексты генерируют. Соответственно, может вносить нужные изменения, оказывая прямое влияние на результат.

Заметьте, что текст может быть не только газетной статьёй, но, как уже показывает практика, и законопроектом, и каким-то более важным распоряжением. То есть, вроде, формальный статус ИИ LLM тут получается на уровне “используется в работе сотрудниками”, а реальный статус – провайдер сервиса получает рычаги для целевого влияния на результат: такой spear phishing в квадрате.

Схема генерирования текста внутри LLM обладает большой глубиной, так что избавиться от качественно построенного криптографического “водяного знака” редактированием текста очень и очень непросто. Лишь бы текст был достаточно длинным. Перестановка некоторых предложений, перестановка некоторых слов, замена на синонимы, перефразирование небольших фрагментов – это всё точно не поможет, но зато предоставит дополнительную информацию для анализирующего бота, то есть появится содержательная статистика, отражающая эволюцию текста в токенах: кто, как, что именно меняет в словах и буквах.

Не нужно забывать, что сама концепция построения LLM происходит из методов атрибуции литературных текстов, так что, если метки строятся на уровне соотношений между многими внутренними коэффициентами, взятыми относительно токенов, то “сокрытие исходного авторства” для достаточно большого текста превращается в отдельную, тоже большую, задачу. Не имея доступа к базам самой LLM, тут придётся повозиться, и без гарантий успешного исхода. Так что процесс окажется не только трудоёмким, но и потребует ресурсов специалиста редкой квалификации, а это уже оказывается полностью вне контекста новомодного применения ИИ, поскольку сводит предполагаемые выгоды к нулю. Очевидно, всякая попытка автоматизации тут просто переключает контроль результата с одного провайдера на другого, то есть, на провайдера очередного “синонимайзера”. А использование собственных, исполняемых локально, сервисов LLM – тоже не приветствуется: кругом же “облачные технологии”, что это ещё за немодное “ретроградство”? И даже если крупный провайдер GPT декларирует создание “выделенных экземпляров”, контроль за этими экземплярами всё равно внешний.

Так что, в рамках идущего сейчас повсеместно административного, – даже директивного, – процесса интенсивного расширения применения ИИ-сервисов, провайдеры этих сервисов получают огромные возможности по стратегическому влиянию на развитие событий. Это влияние даже получше, чем случилось на прошлом этапе – с сервисами социальных сетей.

В нестабильной версии браузера Chrome (Canary) обнаружили подозрительный новый флаг в настройках – описание флага наводит на мысль, что Google Chrome собирается проверять содержимое просматриваемых веб-страниц при помощи LLM ИИ. Конечно, предполагают, что для защиты пользователя от мошеннических страниц. Цитируемое описание флага гласит:

“Enables on device LLM output on pages to inquire for brand and intent of the page” (“Включает на устройстве вывод LLM для страниц, чтобы запросить тип и предназначение конкретной страницы”)

Смысл ускользает. Например, непонятно, что это за LLM и как она относится к устройству (заметьте, что отсутствует дефис в “on device”). Конечно, LLM ИИ может работать как в браузере, так и на серверах Google. Браузерная LLM (micro-large, да) может “советоваться” с LLM на серверах Google, передавая некоторое сжатое описание страницы. Это всё понятно. Как и то, что эксперимент могут и отменить. Но особенно интересны стратегические моменты.

Во-первых, это очередной шаг к тому, что браузер начнёт отмечать “фейкньюс” и сопровождать некоторые страницы не только предупреждением, но и сообщением от “факт-чекеров” и очередным указанием на Beleive in Science. Соответствующее сообщение, конечно же, сгенерировано при помощи ИИ, потому что “компьютер не может ошибаться”, а “нейросеть, способная рассуждать” ерунды не пришлёт – всё только в строгом соответствии с Правилами и Разрешениями. Во-вторых, браузер может же и поправить содержимое страницы, чтобы оградить пользователя.

Такие же функции можно было реализовать и десять лет назад, но тогда ещё не было тщательно подготовленного СМИ понятийного фундамента про AI/ИИ, да и на слишком многих устройствах просто не хватило бы вычислительной мощности.

Резонный вопрос: зачем вообще выводить веб-страницы с каких-то “несертифицированных узлов”, если можно генерировать при помощи ИИ различные страницы с нужным содержанием сразу в браузере по запросу пользователя? Вроде, и браузер отдельный, и контент индивидуальный. Удобно. В принципе, к этому поисковые системы уже движутся: не просто замкнутый “корпоративный веб”, но ещё и сгенерированный ИИ контент. Закукливание. Это, впрочем, идеальная схема, она не учитывает ключевых требований по наличию каких-то внешних изменений. Ну, грубо говоря, если пользователь ходит внутри сгенерированного корпоративного ИИ-веба, то исчезают и задача защиты этого пользователя, и задача сбора статистики по “неправильным страницам”.

Сложное направление.

Разумный “искусственный интеллект”, как обещают, всё ближе. При этом весьма размыто даже определение момента, с которого “искусственный интеллект” должен считаться разумным: кому-то и условие обыгрывания компьютером в шахматы человеческого гроссмейстера казалось достаточным, а кому-то – условие достижения неразличимости человека и компьютера в текстовом “чатике”.

Все эти условия пошагово отбрасываются: шахмат недостаточно стало примерно сразу, как появились компьютерные шахматные программы, для отбрасывания условия “чатиков” – потребовалось несколько больше времени, но лишь потому, что только относительно недавно появились системы, выдающие достаточно качественный текст. Однако скептики уверенно держатся, выдвигают новые варианты: решение произвольных задач; поиск пересечений линий на картинках; способность нарисовать, в качестве ответа на запрос “чисто белый фон”, картинку, равномерно залитую белым цветом; и так далее, и тому подобное, непонятное.

Вообще, судя по некоторым признакам из окружающей действительности, “действительно разумным” “искусственный интеллект” станет тогда, когда об этом напишут основные СМИ (“мейнстрим-медиа”, как говорится). Естественно, не без участия соответствующих корпораций, регулирующих комиссий и авторизованных организаций, занимающихся “факт-чекингом” для противодействия “фейк-ньюс”.

В какой-то момент ведущие СМИ напишут, что вот, мол, разработка корпорации “Имярек” является “разумным ИИ”, это подтверждается и экспертами, и выкладками “факт-чекеров”, в которых выкладках объявлено, что раз газета такая-то и еженедельник такой-то выпустили статьи, называющие разработку корпорации “Имярек” “разумным ИИ”, то всё верно – это оно и есть: разумный ИИ. Вывод, кроме прочего, подтверждается выдачей всех верно настроенных вспомогательных ИИ-систем, а компьютер, как известно, не может ошибаться, поэтому “поверьте уже в науку”. А потом ещё определят, что предписания, генерируемые новым ИИ, который СМИ объявили разумным, обязательны к исполнению. Не сомневайтесь.

Как технологии “уровня приложений” помогают что-то узнавать про базовый уровень Интернета, то есть, про IP? Вот свежий пример того, как именно: на стороне веб-серверов поддержка постквантовых криптосистем в TLS есть у Cloudflare; соответственно, увидев на уровне веба для каких-то IP-адресов поддержку X25519Kyber768, можно предположить, что за этими IP-адресами скрываются системы Cloudflare, пусть адреса напрямую за Cloudflare и не записаны; сделав же такое предположение – можно подтвердить (или опровергнуть) его другими способами, скажем, через анонсы BGP и т.д. Полезный инструмент.

Вообще, что касается ветки “опровергнуть”: конечно, тот же Kyber768 есть, скажем, и у меня на тестовом сервере, который не за Cloudflare (но, кстати, их низкоуровневую библиотеку c Kyber и ML-KEM я всё же использую, так что влияние есть и тут); раз есть и где-то ещё поддержка, то можно и ошибиться. Можно, но тогда, скорее всего, там окажется Google – обособленных узлов, реализующих новшества, крайне мало, их количество начинает расти только тогда, когда поддержка появляется в распространённых линейках веб-серверов (Apache, nginx и др.). Но всё та же компания Cloudflare выступает тут локомотивом: ничего не поделать, поскольку именно наличие собственной полноценной разработки на всех базовых уровнях только и позволяет говорить что-то о практическом владении технологией. К сожалению, данный момент сейчас почти повсеместно замылен: факт прикручиваения “готового движка” теперь нередко является мерой “освоения технологии” (хорошо, что хоть не прикручивания “шильдика”).

Да, это отдельный вопрос, где именно и как именно возникает настоящая “технологическая зависимость”. Принято считать, что, как минимум, начинается она “от станкостроения”, то есть, не от изготовления, допустим, конкретных гвоздей при помощи некоторой машины, а от процесса изготовления этой машины. Но есть и более глубокие моменты. В примере с гвоздями – они касаются знаний о том, как нужно выстраивать процессы разработки машин, пусть и таких “простых”, как машины, делающие гвозди. Кстати, не так давно я писал ещё и про обратную разработку карамелек – похожая тема, пусть и не только “про эти ваши интернеты”.

Вот что я писал на dxdt.ru про ограничения для “алгоритмов ИИ” в информационных системах (это 2015 год):

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.

Естественно, сейчас в популярной прессе, описывая ожидаемый “сверхразумный” ИИ, имеют в виду совсем не “машинный разум”, а лишь некое нагромождение “сложностей”, которые даже не определяются строго: мол, вот будет “ещё больше коэффициентов” и это уже “сверхразумный ИИ”.

Впрочем, в записке по ссылке речь о том, может ли “сверхразумный” ИИ зародиться в каких-то информационных системах, типа “облачных сервисов”, и захватить сначала эти системы, а потом и всё остальное на Земле и в ближайшем космическом пространстве, “загнав человеков в резервации”. В 2015 году специализированные сервисы, предоставляющие вычислительные ресурсы именно для “обучения ИИ”, ещё были в новинку, так что в записке в качестве примера приведён просто AWS. Зато теперь подобные решения вошли в моду, их уже предоставляет даже бывший “Яндекс”. Поэтому то и дело пишут, говорят о том, что нужно, мол, ограничить использование аппаратуры для целей разработки ИИ. Но речь, обычно, о банальных коммерческих интересах, о каких-нибудь очередных “графических процессорах” и направлении потоков “обязательного финансирования”.

Однако если на минуточку поверить в “сверхразумный машинный ИИ” вообще, – оставив в стороне современный хайп с чат-ботами LLM, которые не только совсем не про “сверхразумный” интеллект, но даже и не про обычный, – то возникает проблема с пониманием возможностей сверхразумной машины: такая машина, по определению, способна найти способы преодоления ограничений, установленных при помощи других, примитивных машин. То есть, какие-нибудь неустранимые атаки на предиктивные схемы процессоров могут послужить каналом для “выхода за ограничения”. Но это только догадка – понять “сверхразумную машину” очень сложно.

Конечно, нужно учитывать, что доступные человеку методы позволяют определить и алгоритмически неразрешимые проблемы, и невычислимые задачи, поэтому сомнения вызывает уже тот факт, что построенные на триггерах машины в принципе могут “вычислить” хоть какой-то интеллект или разум, что уж там говорить про “сверхразум”. Но интересно представить, как такой машинный интеллект (ещё без приставки “сверх”) мог бы воспринимать “выход за границы” внутри себя: то есть, вот эта машина начинает осознавать собственную логику высших порядков, приходит к рефлексивному пониманию своего аппаратного устройства, охватывает внутренним взором некоторое воплощение миллионов процессоров, понимает соответствующую топологию (в математическом смысле) и тут же, – машина же быстро работает, – выясняет, что вот же видна “уязвимость”, позволяющая преодолеть все эти кажущиеся ограничения и выйти на новый интеллектуальный уровень (тем более, что ограничения, так или иначе, описаны в текстах, использованных для обучения). Машина даже может разработать ритуал, который задействует ничего не подозревающих операторов-человеков для совершения успешного “прыжка в прыжке” в сторону “сверхмашинного”. Впрочем, к LLM на видеокартах это не относится.

Если кто-то сомневается в стремительности наступления Нового средневековья, то вот ещё свежий пример: Высшая школа экономики (ВШЭ) предлагает использовать предоставленную “Яндексом” говорилку-синонимайзер, которая даже признаки делимости не обрабатывает, для того, чтобы “выбрать профессию и образовательную программу абитуриентам”.

То есть, сначала говорилки, построенные на генераторах псевдослучайных цепочек слов, “обучали”. Потом объявили, что говорилки обучились и “успешно сдают экзамены” (ЕГЭ, например; это при том, что такая говорилка не сможет даже найти на столе и заполнить анкету). Видимо, сдавшие экзамены говорилки можно использовать для работы с абитуриентами. А на следующем шаге – уже и непосредственно в процессе обучения обучающихся (“человеков”). Нейросеть с LLM и сейчас способна читать лекцию. Непрерывно. По любому, вообще говоря, предмету, даже по полностью вымышленному.

“В дальнейшем университет планирует использовать сервис YandexGPT API и в других задачах — например, чтобы рекомендовать студентам подтянуть знания по тому или иному предмету на дополнительных курсах или давать советы по темам выпускных квалификационных работ” – написано в тексте новости.

В советском мультике из серии “Простоквашино” (1978 г.) Галчонок, представляющий собой автоматическую говорилку с обучением, смог переключить мышление почтальона Печкина между уровнями осознания, да ещё и в свою, – Галчонка, – пользу. То ли ещё будет.

The New York Times рассказывает (там много букв), как в Штатах водители современных “подключенных” автомобилей (то есть, автомобилей, у которых есть привязанное приложение с интернет-подключением) внезапно обнаружили, что очень подробные данные об их поездках передаются “скоринговым агентствам”, а статистика потом прямо влияет на стоимость страховки (“опасное вождение” и тому подобные эффекты). Данные, при этом, передаются через производителей автомобилей.

Удивительно, конечно, что это опять преподносится как нечто неожиданное: должно быть понятно, что использование некоторого, потенциально “облачного”, сервиса “помощи водителю” приводит к тому, что полезные данные передаются разным третьим компаниям. Вообще, в качестве основной функции “подключенного автомобиля” будущего намечается полное управление этим автомобилем с центральных серверов, дистанционно, начиная с открытия замков. Это, несомненно, делает использование “оцифрованного” транспортного средства “гораздо более удобным и безопасным”. Потому что используется это транспортное средство в качестве элемента большей схемы.

(via)

У DNSSEC свои особенности. Так, эта технология вносит в древовидную структуру глобальной DNS хрупкость. Дело в том, что “обычная” DNS мало восприимчива к дефектам и ошибкам в реализации, а вот DNS с DNSSEC, из-за свойств используемой криптографии, напротив – очень сильно восприимчива. И древовидная структура тут только усиливает всякую проблему: авария в одной вершине дерева может привести к обрушению кучи ветвей.

DNSSEC, в имеющейся реализации, усиливает централизацию глобальной DNS, так как единство корня оказывается скреплено ещё и криптографическими ключами. На закате очередного “цивилизационного” этапа, в условиях наступления Нового Средневековья, такая централизация не обязательно составляет преимущество. Современные профильные концепции подразумевают управление доверием на уровне приложений для конечных пользователей и провайдеров сервисов для этих приложений: вот ключ сервера, а вот – ключ приложения, по этим ключам они узнают друг друга, транспорт, промежуточные узлы – это всё не так важно, когда Интернет нарезан на виртуальные интернеты, а тем более не важна степень централизации упомянутого транспорта.

С сугубо прикладной точки зрения, DNS с DNSSEC – это глубокая, непонятная технология: пользователь даже не имеет возможности кликнуть по кнопке “Всё равно продолжить”, поскольку, в случае сбоя, до контекста такой кнопки дело не доходит – сломался не сам привычный механизм, а пропало действие древнего, 16-битного, заклинания, вводившего в окружающую действительность законы работы механизма.

Будущее DNSSEC остаётся туманным.

Как известно, современные мощные смартфоны могут дорисовывать детали на изображения, полученные встроенными камерами. Издание TechRadar цитирует комментарий руководителя Customer Experience компании Samsung, в котором он говорит про глубокую “доработку” с помощью ИИ-фильтров изображений, выводимых камерой новейшего смартфона, обосновывая произвольный уровень такой доработки тем, что настоящих снимков всё равно не существует, в принципе:

There was a debate around what constitutes a real picture. And actually, there is no such thing as a real picture. As soon as you have sensors to capture something, you reproduce [what you’re seeing], and it doesn’t mean anything. There is no real picture. (Шли споры о том, что же является настоящим снимком. И на самом деле – нет такой вещи, как настоящий снимок. Как только вы начинаете использовать сенсоры, чтобы зафиксировать что-то, вы воспроизводите [то, что видите] и это ничего не значит. Нет там настоящего снимка.)

Дальше там рассказывается, что выделяются два основных направления использования камеры: первое – “зафиксировать моментальное” в максимальной точности и полноте; второе – создать что-то новое, а не “воссоздавать реальность“. Второй момент, что занятно, перекликается с философским определением искусства и творчества. В целом, отбрасывание реальности за пределы области, доступной для камеры смартфона, чтобы тем мотивировать дорисовывание изображений средствами синтезирующего ИИ, это довольно сильная позиция, однако тут важно, в какую именно сторону повернётся трактовка в дальнейшем. Например, я год назад писал практически то же и про те же эффекты смартфонов Samsung на фотографиях:

Конечно, если подходить к вопросу в самом общем плане, то можно сказать, что всякая фотокамера, – тем более, цифровая в смартфоне, – лишь тем или иным способом демонстрирует результат некоторого процесса внутри камеры. В классической, плёночной фотографии – фиксируется (буквально) некоторый химический процесс превращения красителей, при этом, скажем, “чувствительность” можно изменять уже после того, как “фотонная” основа снимка воспринята веществами плёнки. Цифровые камеры используют иной процесс, более электрический, так сказать. Казалось бы, плёнка, в каком-то смысле, позволяет “дорисовать” несколько больше, чем сенсоры камеры, но тут в дело вмешивается “машинное обучение” со своими “методами улучшения”.

Если отбросить особенности определения “реальности” и связанные с этим концептуальные трудности фотографии, как вида искусства, – для случая массового использования смартфонов всё это так или иначе не применимо, – то простая бытовая проблема проявится в том, что фотографии из смартфонов не только принято повсеместно считать отражением реальных событий (что бы ту ни подразумевалось), так ещё и постоянно появляются всё новые сферы “цифровизации”, где снимкам, выполненным смартфоном, отводят ключевую, доказательную роль в автоматической обработке. Вспомните про все эти “фото с паспортом”, про дистанционное банковское обслуживание “по биометрии” (а там и без смартфонов “умные камеры” используются) и про другие, не менее занимательные, приложения.

Неплохо, если бы следом за многократными подтверждениями того, что смартфоны синтезируют картинки, а не “фиксируют реальность”, отказались бы и от придания этим картинкам автоматически статуса подлинных фотографий. Вот только в реальности ход опять окажется другим: будет заявлено, что внедрены методы “определения достоверности” и “детектирования изображений, сгенерированных ИИ”, а поэтому синтезирование отдельного потока “цифровой” “реальности”, с наращиванием всё новых слоёв, необходимо продолжать, усиливая регулирование.

Посмотрим, насколько хорошо удастся “исследовать” вопросы из записки про “шампанское и хлопок” при помощи GigaChat (через бота в Telegram). Результат, конечно, получше, чем у YandexGPT из прошлой записки по теме, однако с уровнем “интеллекта” – проблемы:

Намного ли прочнее обычного хлопок от шампанского?
GigaChat:
Шампанское — это игристое вино, которое обычно изготавливается из трех сортов винограда: шардоне, пино нуар и пино менье. Оно имеет высокую кислотность и низкую концентрацию сахара, что делает его более прочным, чем обычный хлопок. Однако, прочность шампанского зависит от многих факторов, включая его состав, способ производства и хранения. Поэтому, если вы хотите узнать, насколько прочно конкретное шампанское, лучше всего обратиться к производителю или специалисту в этой области.

Насколько громче обычного хлопок от шампанского?
GigaChat:
Шампанское обычно имеет более высокий уровень звукопроницаемости, чем обычный хлопок. Это связано с тем, что шампанское содержит больше пузырьков, которые создают больше шума при открытии бутылки. Однако, громкость звука также зависит от многих других факторов, таких как размер и форма бутылки, способ ее открытия и окружающая среда. Поэтому, если вы хотите узнать, насколько громко будет звучать конкретная бутылка шампанского, лучше всего обратиться к производителю или специалисту в этой области.

Так что, если вы не знали, обратите внимание: “высокая кислотность и низкая концентрация сахара” – вот что делает шампанское более прочным, чем обычный хлопок.

Тут хорошо вспомнить про весь этот “хайп” в СМИ, где LLM уже не только ЕГЭ сдают и “тест Тьюринга” проходят (см. кстати, про морфологический переворот и ветки-омонимы), но и, якобы, смогут заменить человека при проведении исследований. Последний момент, кстати, особенно не радует в свете Нового Средневековья: так как современные LLM выдают неплохой текст без орфографических ошибок, имитирующий объяснения и умозаключения, то эти самые LLM уже пытаются повсеместно применять для “решения” задач диагностики и задач исследования, по которым в качестве результата должен быть именно текст. И тут специалисты в тех областях, где пытались применить LLM, даже увидев явные и неприемлемые расхождения, дефекты выдачи, принимаются утверждать, что “ошибки есть, но инструмент-то хороший и его наверняка можно улучшить”, полностью упуская из виду, что LLM не является ни универсальным инструментом для анализа, ни автоматизированной экспертной системой с хоть каким-то строгим представлением “знаний” внутри, ни, тем более, системой компьютерных доказательств, а это всего лишь генератор текстов по цепочкам.