dxdt.ru: занимательный интернет-журнал

Недавно опубликовано очередное сочинение-опус про AI/ИИ и кардинальные изменения в статусе цивизизации к 2030 году: AI 2027 (англ., много букв). Пусть вас не обманывает 2027 в названии – самые радикальные прогнозы там, как сейчас принято, даны на 2030, а в 2027 году только ожидается деятельный суперинтеллект (это, впрочем, менее двух лет осталось ждать).

К сожалению, для фантастического рассказа – читается очень тяжело. Основное содержание – банальные моменты и расхожие штампы из темы популярного AI, обернутые в наукообразные формулировки. Моменты эти и так постоянно упоминаются в СМИ, и уж тем более в различных художественных произведениях: в литературе, в кинофильмах, в комиксах. Например, “злой и хитрый ИИ”, который старается обмануть исследователей-разработчиков, запутывая свои “мысли”, поскольку исследователи-разработчики их читают (каким-то там способом). Наверное, неплохо, что тут всё собрали вместе.

Конечно, в упомянутой публикации используются всё те же шкалы для измерения уровня “интеллектуальности” – способность “писать код” (какой код, зачем?) и способность “быть лучше лучшего из человеков в решении когнитивных задач” (каких именно задач, почему?). А сценарная концепция, кроме типового сейчас требования регулирования и вмешательства правительств, строится на понятии “автономных агентов”, которые, на начальном уровне, “получив инструкцию через Slack или Teams, вносят существенные изменения в код самостоятельно, иногда экономя часы или дни [разработки]”.

Развитой же ИИ-агент, как сообщают, “знает больше фактов, чем любой человек, знает практически каждый язык программирования и может решать хорошо поставленные (well-specified) задачи чрезвычайно быстро”. Вообще, что касается задач, то акцент тут нужно бы сделать на “хорошо поставленных”, вспомнив методы автоматического генерирования кода по формальному описанию алгоритма – но, видимо, эти достижения теперь относят к другой области. А что означает “знает язык программирования”? Способность генерировать код – не является достаточным условием для оценки уровня “знает язык”. Эти тонкости не принято определять в текстах про сверхразумный AI.

Впрочем, в тексте AI 2027 некоторые “оценочные суждения” сопровождаются определениями из серии “Что бы это значило?”. И это странные определения, вполне в духе выдачи условного ChatGPT. Например, объяснение того, что имеется в виду, когда пишут про 50-процентное ускорение разработки ИИ-алгоритмов при использовании ИИ, следующее: “50-процентное ускорение – это означает, что [компания] OpenBrain, используя ИИ, достигает за неделю такого же прогресса в исследовании, как она достигла бы за полторы недели без использования ИИ”. Содержательно, да.

В духе “лонгридов” ведущей мировой прессы дано описание того, как гипотетические атакующие китайские специалисты, в будущем, успешно и без проблем похищают массивы данных, содержащие “коэффициенты” (веса́) новейшей системы, реализующей ИИ-агента. Основная проблема похищения оказывается не в том, чтобы получить доступ к серверам (используются легитимные аккаунты сотрудников с “админиским” доступом), а в методе скрытной передачи большого массива данных за пределы дата-центра. Можно было бы подумать, что хотя бы тут дан небанальный прогноз, включающий оригинальные рассуждения про “применение ИИ для сжатия моделей без потерь” – но нет, ставка делается на обычное копирование. Наверное, так шансы угадать повышаются.

Решение же проблемы “экспорта” данных оказывается элементарным (может, всё же ИИ подсказал? нет, вряд ли), и сводится к правильной оценке того, какую долю трафик похищаемых данных составляет от некоторого “типового уровня исходящего трафика” (egress) дата-центра. Кто-то вообще макрирует чувствительные данные по объёму? Возможно, так делают ИИ-агенты.

Типовой уровень исходящего трафика дата-центра указан – это “100 GB/second range”. Видимо, порядка ста гигабайт в секунду, которые гигабайты либо потребляют пользователи ИИ-приложения, разрабатываемого на мощностях дата-центра, либо кто-то попутно реализует DoS-атаку других дата-центров (это догадка, а в тексте про DoS ничего нет).

В общем, для успешного похищения, как написано, будет достаточно разбить данные на 100-гигабайтные “чанки” и осторожно выливать наружу под прикрытием легитимного трафика – всякие там DLP-системы, как оказывается, принципиально не обнаруживают утечку самого главного “интеллектуального ресурса” из дата-центра, потому что либо каждую секунду заняты подсчётом сотен гигабайтов привычного трафика, либо “просто выключены”. И вот в этот момент про DLP, кстати, поверить очень легко. Странно только, что прочие ИИ-агенты, которые могли бы использоваться и для создания новомодной защиты, и в качестве вируальных “шпиков”, следящих за сохранностью доступов, на соответствующие роли назначены не были. Ну или подразумевается, что завербованный копирайтер агентов тоже отключил, выдернув вилку из розетки. Это ведь простой и универсальный сценарный приём: в любой непонятной ситуации – просто можно написать, что “система была отключена”. Печально, впрочем, что ошибиться с прогнозом отключения тут тоже сложно.

Похищенные данные, конечно, зашифрованы (есть даже “продакт-плейсмент” решения Nvidia). Зашифрованы, ни много, ни мало, а “симметричным Диффи-Хеллманом” (что это? не ясно – возможно, имеется в виду симметричный шифр и согласование ключа по протоколу Диффи-Хеллмана между сторонами, одна из которых данные экспортирует, а вторая – принимает). Но так как “секретный ключ был тоже похищен с сервера”, то проблем с расшифрованием нет. В общем, тоже банально, не тянет на новый шпионский триллер, но хорошо похоже на многие старые эпизоды.

Но самое показательное – это концовки данного произведения. Понятно, что под них и писалось всё остальное. AI 2027 предлагает две возможных концовки. Одна из них – уничтожение всех человеков мощным ИИ в 2030 году при помощи “биологического оружия”; ИИ далее модифицирует под свои нужды планету Земля, колонизирует прочее пространство Солнечной системы и далее, за её пределами, силами роботов.

Другая концовка – объединение всех государств мира под управлением США (да), происходящее в результате локальных переворотов, которые ИИ помогает реализовать (так написано); после чего наступает эра процветания (или милосердия?), человеки запускают ракеты, – для колонизации планет Солнечной системы, а не то что вы подумали, – и всё это с помощью хорошего ИИ.

Иных вариантов, кроме этих двух, сочинение-прогноз не предусматривает. С Днём Космонавтики, как говорится.

Шум от ИИ снова очень велик, даже для “хайпа”. Это выражается и в потоке исследований, и в потоках сгенерированного контента, но и в растущей куче однообразных публикаций в СМИ, где, уже достаточно дежурным образом, рассказывают, что “очень и очень скоро будет AGI” (то есть, некий “универсальный/сильный”, “действительно разумный” искусственный интеллект). Судя по всему, этот самый AGI “появится” уже прямо вот в этом году. Ну, как появится: скорее всего, в какой-то момент крупнейшие ИИ-корпорации договорятся, кто первый выпустит новый продукт, и СМИ тут же определят этот момент как появление AGI. Определения и область в целом – достаточно размыты, чтобы фиксировать текущий статус ИИ в стиле “фактчекинга”, то есть, через базовые публикации СМИ.

С другой стороны, нельзя исключать, что AGI и как бы уже вот-вот, на подходе, но это “вот-вот” будет тянуться и тянуться, пока есть места для дата-центров и производство чипов не остановилось. Это тоже вариант, но он находится в некотором противоречии с появлением “суперинтеллекта”: так-то после объявления про AGI можно ждать “суперинтеллекта”, а вот ждать “суперинтеллекта” без AGI – это ведь аж на одну важную веху дольше, то есть, “суперинтеллект” отдаляется достаточно, чтобы он стал выглядеть меньше и не очень-то “супер”.

Необходимо отметить, что шум – шумом, но как-то подутихла тема “опасностей ИИ” и защиты от этих опасностей. Вероятно, причина в том, что это единственная тема, которая не очень способствует дальнейшему развитию общего “хайпа”: во-первых, тут действительно есть опасность – имеющиеся ИИ-системы грозят применить там, где применять такое нельзя; во-вторых, рассуждения о рисках в данной области иногда (именно “иногда”, то есть, далеко не всегда) приводят к снижению градуса восторженности, к появлению каких-то содержательных предположений. И это автоматически глушит данное “направление безопасности”. При помощи перенаправления общего шума, в том числе.

Понятно, что растёт и количество публикаций о шуме ИИ. Вот как эта записка. Тут интересно посмотреть, в какой момент появится слой рассуждений о причинах появления таких публикаций, об их содержании. Заметьте, что тут ИИ добавляет глубины – далеко не во всех областях можно построить аж четыре слоя, как здесь: исходный предмет (1); трансформация предмета силами ИИ (2); рассуждения о результатах трансформации силами ИИ и эффектах, этими трансформациями вызываемых (3); объяснения рассуждений предыдущего слоя (4). Хм.

Вот и начался четвёртый слой.

Пишут, якобы The New York Times разрешили и рекомендуют использование LLM/AI-систем при подготовке материалов к публикации журналистами (newsroom staff). Впрочем, там в начале речь про внутренний инструмент с LLM – однако непонятно, насколько он “внутренний”, то есть, насколько это собственная разработка. Но тенденция забавная: новостные заметки и статьи СМИ, которые обработаны ИИ/LLM, опять попадут в ИИ/LLM, но уже в качестве материалов для “обучения” (да ещё и с корректировками новостника-человека). Роботы переписывают то, что другие роботы написали для роботов (поисковых, например). Процитирую заметку на dxdt.ru от декабря прошлого года:

Заметьте, что текст может быть не только газетной статьёй, но, как уже показывает практика, и законопроектом, и каким-то более важным распоряжением. То есть, вроде, формальный статус ИИ LLM тут получается на уровне “используется в работе сотрудниками”, а реальный статус – провайдер сервиса получает рычаги для целевого влияния на результат: такой spear phishing в квадрате.

Схема генерирования текста внутри LLM обладает большой глубиной, так что избавиться от качественно построенного криптографического “водяного знака” редактированием текста очень и очень непросто. Лишь бы текст был достаточно длинным. Перестановка некоторых предложений, перестановка некоторых слов, замена на синонимы, перефразирование небольших фрагментов – это всё точно не поможет, но зато предоставит дополнительную информацию для анализирующего бота, то есть появится содержательная статистика, отражающая эволюцию текста в токенах: кто, как, что именно меняет в словах и буквах.

Забавно, что в некотором рейтинге “перспективных технологий 2025 года” от газеты “Коммерсант” присутствует постквантовая криптография на седьмом месте, а вот ни квантовых вычислений, ни квантовой криптографии – в данном рейтинге уже нет, хотя, казалось бы. Рейтинг, впрочем, весь забит ИИ – на первом месте “просто всё про ИИ”, а потом ещё, несмотря ни на что, куча пунктов про “подвиды ИИ”, – так что общая тенденция рейтингования сохранилась. (Особенно весёлый термин – “Микро-LLM”: то есть, “очень маленькие, но большие” языковые модели. Если что, то странный термин, конечно, придумал не “Коммерсант” – такое сочетание реально используется.)

Сейчас много новостей про то, что в Google “совершили прорыв в квантовых вычислениях”, представив “метод коррекции ошибок”. Обычное для текущего уровня “хайпа” состояние, тем более, когда в источнике новости упоминается Google.

Вообще, если почитать соответствующий препринт, то окажется, что действительно интересных выводов там три, но ни один из них не попадает в заголовки СМИ: во-первых, в предложенной схеме коррекции тут же обнаружились новые “ошибки, природа которых пока не ясна”; во-вторых, очередной раз указано, что так как для дешифрования вывода “квантовых вычислений”, использующего коды коррекции, требуется классический вычислитель, то ещё предстоит определить, не окажется ли задача дешифратора экспоненциально сложной для этого классического компьютера; в-третьих, речь вообще не про универсальные квантовые вычисления, а про реализацию некоторых кодов для небольшого количества кубитов конкретных лабораторных устройств.

Первый аспект – “новые ошибки”, – выглядит как намёк на те самые дополнительные кубиты, которые необходимы для коррекции ошибок в схеме коррекции ошибок: такая иррациональная рекурсия, в стиле вычисления точной десятичной записи значения корня из двух.

Второй аспект, про необходимый “классический вычислитель”, указывает на то, что без классического компьютера квантовый аналоговый вычислитель бесполезен даже в качестве лабораторной установки, и при этом экспоненциальный рост сложности, соответствующий моделированию квантовых алгоритмов на классических компьютерах, вполне может вылезти в процессе коррекции ошибок (что, наверное, будет особенно обидно).

Занятно, что в исходной работе нет хотя бы примерных описаний используемой “классической аппаратуры” – она как бы подразумевается существующей “за кадром”, в виде “специализированной рабочей станции” с доступом по Ethernet. Наверное, это не имеет отношения к теме публикации (хотя, казалось бы – ведь классический вычислитель точно необходим, чтобы вся эта квантовая коррекция ошибок как-то заработала).

Ну и аспект третий, – “квантовые вычисления”, – самый “хайповый”: исходная работа – про оценки порога для реализации коррекции ошибок в “квантовой памяти” (что бы это ни значило), а не про универсальные вычисления, требующие, дополнительно, совсем других элементов.

В новостях попался забавный фрагмент, речь идёт про обучение студентов инженерных специальностей:

Или одно из семи новых направлений, где умение профессионально писать код не обязательно — кибербезопасность, Data Science, системный и бизнес-анализ, DevOps, SRE, а также тестирование ПО (QA).

“Умение профессионально писать код не обязательно”. Наверное, в направлении “бизнес-анализ”, действительно, не требуется умение писать код, тем более “профессионально”. Но во всех остальных перечисленных направлениях – писать код просто необходимо. Хотя, конечно, написание кода там совсем не является самоцелью, так что, возможно, это имелось в виду под “профессионально писать”. Но и для программиста написание кода не является самоцелью. Кстати, “писать код” и “быть программистом” – вовсе не эквивалентные понятия, хоть первое и является необходимым условием для второго. Впрочем, времена сейчас меняются: скажут, что LLM ИИ и так напишет триллионы строк кода.

Разумный “искусственный интеллект”, как обещают, всё ближе. При этом весьма размыто даже определение момента, с которого “искусственный интеллект” должен считаться разумным: кому-то и условие обыгрывания компьютером в шахматы человеческого гроссмейстера казалось достаточным, а кому-то – условие достижения неразличимости человека и компьютера в текстовом “чатике”.

Все эти условия пошагово отбрасываются: шахмат недостаточно стало примерно сразу, как появились компьютерные шахматные программы, для отбрасывания условия “чатиков” – потребовалось несколько больше времени, но лишь потому, что только относительно недавно появились системы, выдающие достаточно качественный текст. Однако скептики уверенно держатся, выдвигают новые варианты: решение произвольных задач; поиск пересечений линий на картинках; способность нарисовать, в качестве ответа на запрос “чисто белый фон”, картинку, равномерно залитую белым цветом; и так далее, и тому подобное, непонятное.

Вообще, судя по некоторым признакам из окружающей действительности, “действительно разумным” “искусственный интеллект” станет тогда, когда об этом напишут основные СМИ (“мейнстрим-медиа”, как говорится). Естественно, не без участия соответствующих корпораций, регулирующих комиссий и авторизованных организаций, занимающихся “факт-чекингом” для противодействия “фейк-ньюс”.

В какой-то момент ведущие СМИ напишут, что вот, мол, разработка корпорации “Имярек” является “разумным ИИ”, это подтверждается и экспертами, и выкладками “факт-чекеров”, в которых выкладках объявлено, что раз газета такая-то и еженедельник такой-то выпустили статьи, называющие разработку корпорации “Имярек” “разумным ИИ”, то всё верно – это оно и есть: разумный ИИ. Вывод, кроме прочего, подтверждается выдачей всех верно настроенных вспомогательных ИИ-систем, а компьютер, как известно, не может ошибаться, поэтому “поверьте уже в науку”. А потом ещё определят, что предписания, генерируемые новым ИИ, который СМИ объявили разумным, обязательны к исполнению. Не сомневайтесь.

На замену GPS/GNSS в авиации уже предлагают использовать “прочие”, сопутствующие, радиосигналы, в том числе, GSM, и, – что не совсем обычно, – сигналы разных других спутниковых систем (то есть, не GNSS): статья The Register. В качестве исследовательской платформы в статье по ссылке выбран шар-метеозонд, снабжённый радиоприёмным оборудованием.

Идея занимательная, но не нужно забывать, что изначально радионавигация была устроена без всяких там космических спутников, которых ещё и не было на околоземной орбите, но и даже когда спутники уже появились, но не GNSS, от наземных систем отказываться не торопились. И когда появились GNSS, то тоже от наземных систем отказываться не торопились. И это только относительно недавно “что-то пошло не так“.

Однако интересно наблюдать, как происходит переоткрытие очередных LORAN и “Тропиков”, пусть и на базе сигналов наземного GSM-оборудования. (В статье по ссылке, кстати, есть странный фрагмент, утверждающий, что в сигналах базовых станций GSM, принимаемых исследовательским оборудованием с воздушного шара, нет временных меток и синхронизирующих импульсов, что, конечно, вряд ли так. Но, возможно, изначально речь шла про конкретные слабые сигналы.)

В исходной статье рассказано об использовании спутниковых сигналов, не относящихся к GNSS: спутников, излучающих подходящие сигналы, сейчас много, – взять, хотя бы, Starlink, – но это уже не совсем замена GNSS, как подхода. Всё же, чтобы обеспечить обычную гражданскую воздушную навигацию без привязки к GPS и прочим GNSS, не нужно искать “побочные” сигналы, ни с земли, ни из космоса, а нужно бы снова построить специальную сеть наземных опорных передатчиков именно для этой задачи (такие проекты есть). А так-то – можно и по телевизионным сигналам и FM-радиостанциям определять положение, но “паразитные” навигационные системы – это несколько другая тема, не про гражданскую авиацию (хотя, времена меняются, так что нельзя исключать ни то, что самолёты полетят “по телевизору”, ни то, что соответствующие сигналы в какой-то момент исчезнут из эфира, следом за сигналами спутниковыми).

Кстати, я недавно достаточно подробно описывал различные методы “геолокации по радиосигналам” в отдельной записке.

Нобелевскую премию по физике присудили за “создание неросетей”. Это, конечно, несколько условное определение: если почитать прилагаемое к решению “научное описание“, то окажется, что речь про новые методы – про “нейросети”, используемые в качестве инструмента при обработке данных.

Используются ли в современной физике нейросети с машинным обучением? Используются, и достаточно широко, и не только в экспериментальной части. Даже хоть бы вот и при написании статей (читай – LLM). Но и кроме этого – машинное обучение и нейросети обозначаются в качестве инструмента в работах, результаты которых сами физики считают существенными. А в профильных вузах “методы машинного обучения в обработке данных” – входят в программу обучения (не машинного, а студенческого), в том или ином виде. Да, это методологическое явление, конечно, но и деятельность Нобелевского комитета – тоже относится к области методологии и администрирования, с прицелом на общую медийную реальность.

Хорошо ли, что в физике используются нейросети с машинным обучением? Это уже определяется не нейросетями. Если физик-пользователь сохраняет понимание, что исследователь – это он, а “нейросети с обучением” всего лишь дают компьютерный метод подбора коэффициентов при помощи оптимизированного перебора, то всё неплохо. В конце концов, при взгляде со стороны, предположим, современная “физика элементарных частиц” всё больше похожа на странное торжество принципа опровержимости, выразившееся в непрекращающихся попытках уточнения коэффициентов, с которыми в формулы входят всё более дальние знаки записи десятичного разложения числа Пи. Но физики, скорее всего, представляют процесс совсем иначе.

Если же на первый план выходит “искусственный интеллект”, который “видит непостижимые закономерности“, а исследователя-физика предлагается заменить на динамические результаты машинного перебора, то это уже не так хорошо, но всё равно не плохо: куда деваться – в условиях Нового средневековья просто должен быть именно такой аспект, связанный с ИИ, как с “волшебной коробкой” или, если хотите, как с “чёрным ящиком”.

Представьте нехитрую схему с простым 8-битным микроконтроллером, семисегментным индикатором, сегменты которого подключены в произвольном, неизвестном заранее, порядке к выходам микроконтроллера, и с парой кнопок.

Программа, прошитая в микроконтроллер, реализует следующую логику: на индикаторе включаются сегменты случайным образом, после чего пользователь должен определить, похожа ли конфигурация на заданную арабскую цифру (и ноль), а если похожа, то нажать одну кнопку (“Да”); соответственно, если непохожа, то на вторую кнопку нажать. Нажатие на вторую кнопку приводит к тому, что микроконтроллер генерирует новую комбинацию сегментов. Цикл с участием пользователя повторяется. Подтверждение же конфигурации – приводит к тому, что микроконтроллер запоминает её как обозначение выбранной цифры, после чего переходит к следующей цифре. Далее, опять же, цикл повторяется. Начинается всё, предположим, с нуля.

Комбинаций сегментов для семисегментного индикатора – не так много, даже по меркам микроконтроллера: 127. Опробованные состояния индикатора сохраняются в памяти, а “ошибочные” – второй раз не выводятся. “Успешные” состояния – записываются в отдельный массив, с индексом, соответствующим числовым значениям нужных цифр ({0,1,…,9}). Если достаточно долго нажимать кнопки, то в результате получится “знакосинтезирующий” массив. “Ещё пять тысяч вёдер и – золотой ключик у нас в кармане!”.

Почему-то сейчас забывают, что эта технология из прошлого века – есть типичное машинное обучение, результатом которого является массив индикации для цифр. Соответственно, цитата из пресс-релиза может выглядеть так: “система использует методы машинного обучения для синтеза цифровой индикации”.

На Ars Technica попался занятный краткий обзор научного исследования, посвящённого выяснению того, как использование в заголовках СМИ оборотов типа “учёные полагают”, “учёные думают” (в оригинале – scientists believe, так как исследование об английском языке) влияет на читательскую оценку “достоверности” понятий, упомянутых в том же заголовке. Собственно, противопоставлены там слова “думать/полагать” (believe) и “знать” (know), а абсолютно точно перевести на русский довольно сложно. То есть, предположим, читатели читают заголовки: “Учёные думают, что на Марсе есть вода” и “Учёные знают, что на Марсе есть вода” – влияет ли разница в семантике заголовков на классификацию конкретным читателем утверждения “на Марсе есть вода” как являющегося бесспорным “научным фактом” или как “одного из возможных мнений”? Исходное исследование строится на опросе многих людей-участников, которым предлагали оценить различные варианты заголовков.

Естественно, в качестве центральных примеров используются утверждения из области “изменения климата”, что, конечно, представляет собой разумный выбор, учитывая современный контекст, задаваемый через те же самые СМИ. В итоге, оказывается, что “заметного влияния выявить не удалось”, но это как раз не самые интересные технические детали, поскольку тут куда более содержательно выглядит то, как из некоторой начальной конструкции, относящейся к заданной оценке связи представления весьма обобщённых “учёных” (речь-то идёт о заголовке в СМИ, не более) с не менее обобщённым сообщением (“думают, что”/”знают, что”), выстраивается цепочка влияния заголовков СМИ на статус “точного” “факта” в восприятии читателя. Это показательный процесс. А цепочка предлагается такая: если СМИ продолжат писать “учёные думают, что…” вместо “учёные знают, что…”, то читатели, якобы, станут полагать, будто речь идёт не о “точно установленных фактах”, а (всего лишь) о “различных мнениях по некоторому вопросу”, и это может подорвать “статус науки”.

Тут, несомненно, можно вспомнить различные концепции из области философии науки, как раз касающиеся того, насколько процесс согласования различных мнений эту самую науку определяет. Например, можно даже предположить, что исход “квантовых опытов” определяется тем, как исследователи между собой согласуют интерпретацию результатов. Но к заголовкам СМИ и концепции Believe in Science – это уже не относится.