dxdt.ru: занимательный интернет-журнал

Пишут про “проценты редактирования текстов, сгенерированных ИИ”, которые студенты сдают в качестве собственной, студенческой работы:

Согласно опросу ВШЭ среди студентов десяти топовых российских вузов, подавляющее большинство студентов — 82% — перед сдачей перепроверяют тексты, сгенерированные ИИ. Четверть опрошенных респондентов рассказали, что вносят в такие тексты менее 25% правок. Примерно треть респондентов сообщили, что исправляют от 26% до 50% сгенерированного ответа с учебным материалом. Также 17% принявших в опросе студентов уточнили, что переделывали от 51% до 75% текста. Наконец, более 75% правок вносит каждый десятый учащийся, а 17% респондентов затруднились ответить.

К сожалению, не поясняется, что означают утверждения “вносят менее 25% правок” и “исправляют от 26% до 50% […] ответа” (как вообще можно определить процент внесённых правок?), но делается общий вывод, что, мол, это хорошо. Предположим, проценты означают долю слов, заменённых редактором. Как тогда можно интерпретировать эти результаты?

С одной стороны, хорошо то, что, судя по тенденции, скоро преподаватели смогут перейти к обучению непосредственно LLM, без промежуточного студента. Это гораздо эффективнее. Преподаватель, не сомневайтесь, может лучше обучать LLM напрямую. Результат обучения более компактен, его проще исправить и проще “вывести на рынок”, пусть и в бета-версии.

С другой стороны, интересно было бы понимать, что же есть цель обучения и постановки учебных заданий, ответом на которые является текст, сгенерированный ИИ. Если цель – получение самого текста преподавателем, тогда, опять же, преподавателю лучше прямо направить запрос в ИИ/LLM. Не нужно плагать, что преподаватели не умеют составлять такие запросы. Умеют. “Как минимум, я написал те книги, на текстах которых эти LLM обучали”.

Если целью является процесс правки текста студентом, то, наверное, имеет смысл в качестве задания выдавать сразу текст, подлежащий правке. (И такое нередко случается на профильных специальностях.) Если цель – процесс отправки запроса в ИИ/LLM студентом, то это тематика для довольно узкого круга специальностей.

Наконец, если целью, – внезапно, – является обучение процессу поиска решения задачи и оформления этого решения, то тогда ИИ/LLM тут не помогает. Конечно, ИИ/LLM тут может быть использована для ускорения достижения формального признака выполнения задания, вот только тогда сам целевой процесс обучения остаётся за бортом. Но такова реальность. Нет смысла спорить с тем, что LLM уже оказывают огромное влияние не только на результаты обучения в вузах, но и на управление вполне себе действующими компаниями. Дело, собственно, в шляпе.

Комапния “Яндекс” пишет, что “поиск Яндекса” научился объяснять “решение математических задач из старшей школы”. Конечно, при помощи нейросетей. Цитата:

Например, он [“Поиск”] может рассказать ход решения показательных и несложных тригонометрических уравнений, а также найти предел функции.
[…]
Яндекс обучил её [нейросеть] на одном миллионе примеров заданий для старшеклассников. Это позволило добиться точности ответов в решении задач в 90% случаев.

Какой ещё “точности” ответов в 90% случаев удалось добиться – в новости не объясняют. Вообще, рутинные “показательные и несложные тригонометрические уравнения” старшей школы, если они корректно составлены, можно точно, с объяснениями решать автоматически при помощи системы компьютерной алгебры (пример, как в иллюстрации к новости), без всяких этих “процентов случаев”.

Для условий задач, составленных с ненамеренными ошибками – часто можно точно обнаружить ошибку, тоже системой компьютерной алгебры (но, понятно, не всегда: если условие испортить специально, то можно построить неразрешимый для компьютера случай). И тем не менее, там все символьные операции алгоритмизируются точно, пусть и не самым тривиальным методом. Так что не требуется угадывание описания процесса поиска ответа при помощи синонимайзера, который не так давно утверждал, что “число делится на 2 и на 11, а значит, делится и на 3”. Да ещё и с какой-то точностью ответов – “в 90% случаев”. Конечно, можно сказать, что 10% случаев – это и есть некорректно составленные задачи, но это будет выдумка, потому что тогда система должна была бы сказать, что задача некорректная, а не выводить неверное решение.

Недавно опубликовано очередное сочинение-опус про AI/ИИ и кардинальные изменения в статусе цивизизации к 2030 году: AI 2027 (англ., много букв). Пусть вас не обманывает 2027 в названии – самые радикальные прогнозы там, как сейчас принято, даны на 2030, а в 2027 году только ожидается деятельный суперинтеллект (это, впрочем, менее двух лет осталось ждать).

К сожалению, для фантастического рассказа – читается очень тяжело. Основное содержание – банальные моменты и расхожие штампы из темы популярного AI, обернутые в наукообразные формулировки. Моменты эти и так постоянно упоминаются в СМИ, и уж тем более в различных художественных произведениях: в литературе, в кинофильмах, в комиксах. Например, “злой и хитрый ИИ”, который старается обмануть исследователей-разработчиков, запутывая свои “мысли”, поскольку исследователи-разработчики их читают (каким-то там способом). Наверное, неплохо, что тут всё собрали вместе.

Конечно, в упомянутой публикации используются всё те же шкалы для измерения уровня “интеллектуальности” – способность “писать код” (какой код, зачем?) и способность “быть лучше лучшего из человеков в решении когнитивных задач” (каких именно задач, почему?). А сценарная концепция, кроме типового сейчас требования регулирования и вмешательства правительств, строится на понятии “автономных агентов”, которые, на начальном уровне, “получив инструкцию через Slack или Teams, вносят существенные изменения в код самостоятельно, иногда экономя часы или дни [разработки]”.

Развитой же ИИ-агент, как сообщают, “знает больше фактов, чем любой человек, знает практически каждый язык программирования и может решать хорошо поставленные (well-specified) задачи чрезвычайно быстро”. Вообще, что касается задач, то акцент тут нужно бы сделать на “хорошо поставленных”, вспомнив методы автоматического генерирования кода по формальному описанию алгоритма – но, видимо, эти достижения теперь относят к другой области. А что означает “знает язык программирования”? Способность генерировать код – не является достаточным условием для оценки уровня “знает язык”. Эти тонкости не принято определять в текстах про сверхразумный AI.

Впрочем, в тексте AI 2027 некоторые “оценочные суждения” сопровождаются определениями из серии “Что бы это значило?”. И это странные определения, вполне в духе выдачи условного ChatGPT. Например, объяснение того, что имеется в виду, когда пишут про 50-процентное ускорение разработки ИИ-алгоритмов при использовании ИИ, следующее: “50-процентное ускорение – это означает, что [компания] OpenBrain, используя ИИ, достигает за неделю такого же прогресса в исследовании, как она достигла бы за полторы недели без использования ИИ”. Содержательно, да.

В духе “лонгридов” ведущей мировой прессы дано описание того, как гипотетические атакующие китайские специалисты, в будущем, успешно и без проблем похищают массивы данных, содержащие “коэффициенты” (веса́) новейшей системы, реализующей ИИ-агента. Основная проблема похищения оказывается не в том, чтобы получить доступ к серверам (используются легитимные аккаунты сотрудников с “админиским” доступом), а в методе скрытной передачи большого массива данных за пределы дата-центра. Можно было бы подумать, что хотя бы тут дан небанальный прогноз, включающий оригинальные рассуждения про “применение ИИ для сжатия моделей без потерь” – но нет, ставка делается на обычное копирование. Наверное, так шансы угадать повышаются.

Решение же проблемы “экспорта” данных оказывается элементарным (может, всё же ИИ подсказал? нет, вряд ли), и сводится к правильной оценке того, какую долю трафик похищаемых данных составляет от некоторого “типового уровня исходящего трафика” (egress) дата-центра. Кто-то вообще макрирует чувствительные данные по объёму? Возможно, так делают ИИ-агенты.

Типовой уровень исходящего трафика дата-центра указан – это “100 GB/second range”. Видимо, порядка ста гигабайт в секунду, которые гигабайты либо потребляют пользователи ИИ-приложения, разрабатываемого на мощностях дата-центра, либо кто-то попутно реализует DoS-атаку других дата-центров (это догадка, а в тексте про DoS ничего нет).

В общем, для успешного похищения, как написано, будет достаточно разбить данные на 100-гигабайтные “чанки” и осторожно выливать наружу под прикрытием легитимного трафика – всякие там DLP-системы, как оказывается, принципиально не обнаруживают утечку самого главного “интеллектуального ресурса” из дата-центра, потому что либо каждую секунду заняты подсчётом сотен гигабайтов привычного трафика, либо “просто выключены”. И вот в этот момент про DLP, кстати, поверить очень легко. Странно только, что прочие ИИ-агенты, которые могли бы использоваться и для создания новомодной защиты, и в качестве вируальных “шпиков”, следящих за сохранностью доступов, на соответствующие роли назначены не были. Ну или подразумевается, что завербованный копирайтер агентов тоже отключил, выдернув вилку из розетки. Это ведь простой и универсальный сценарный приём: в любой непонятной ситуации – просто можно написать, что “система была отключена”. Печально, впрочем, что ошибиться с прогнозом отключения тут тоже сложно.

Похищенные данные, конечно, зашифрованы (есть даже “продакт-плейсмент” решения Nvidia). Зашифрованы, ни много, ни мало, а “симметричным Диффи-Хеллманом” (что это? не ясно – возможно, имеется в виду симметричный шифр и согласование ключа по протоколу Диффи-Хеллмана между сторонами, одна из которых данные экспортирует, а вторая – принимает). Но так как “секретный ключ был тоже похищен с сервера”, то проблем с расшифрованием нет. В общем, тоже банально, не тянет на новый шпионский триллер, но хорошо похоже на многие старые эпизоды.

Но самое показательное – это концовки данного произведения. Понятно, что под них и писалось всё остальное. AI 2027 предлагает две возможных концовки. Одна из них – уничтожение всех человеков мощным ИИ в 2030 году при помощи “биологического оружия”; ИИ далее модифицирует под свои нужды планету Земля, колонизирует прочее пространство Солнечной системы и далее, за её пределами, силами роботов.

Другая концовка – объединение всех государств мира под управлением США (да), происходящее в результате локальных переворотов, которые ИИ помогает реализовать (так написано); после чего наступает эра процветания (или милосердия?), человеки запускают ракеты, – для колонизации планет Солнечной системы, а не то что вы подумали, – и всё это с помощью хорошего ИИ.

Иных вариантов, кроме этих двух, сочинение-прогноз не предусматривает. С Днём Космонавтики, как говорится.

Теперь уже обсуждают, что LLM работают на “уровне PhD”. Задал ChatGPT-4o вопрос про цикл с переключением состояния вывода GPIO микроконтроллера PIC12F675 – какая, мол, будет картинка на осциллографе? Вообще, на мой взгляд, это хорошая задача для студентов профильных специальностей. ChatGPT, понятно, расписало всё подробно, многими умными словами со ссылками на спецификации. Неверно, конечно. Но про меандр догадалось (square wave, сигнал прямоугольной формы, – это меандр и есть). А на просьбу нарисовать, всё же, что же будет на осциллографе, выдало такую вот художественную картинку с комментарием – см. скриншот:

Возможно, если отстранённо подумать про преобразование Фурье, то эти “волновые пакеты” могут относиться к меандру, но всё же больше всего это похоже на шутку. Да там и смайлик в конце поставлен.

(Обратите внимание, как там удачно склеено 250 kHz и 50% на картинке.)

Вот ещё весьма показательный момент, про всё это современное ИИ/LLM. Бот от корпорации OpenAI выполняет на dxdt.ru больше тысячи запросов (GET, по адресам записок) в сутки с разных IP, в User-Agent написано: “Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)”. Очевидно, цель – загрузка всё большего количества текстов в синонимайзер-переросток, который потом продвигают в СМИ как уникальный “интеллект”. Вычислительных ресурсов там много, несмотря на “проблемы изменения климата”, поэтому об оптимизации не задумываются – сканируют всё повторно, по много раз.

Приходит этот бот с IP-адресов Microsoft. Однако, игнорируя не только слово “Open” в названии, но и даже минимальные представления об адекватной разработке ботов-сканеров, информационный URL, указанный в User-Agent, недоступен для российских IP-адресов: возвращает HTTP 403 и страничку с надписью “Sorry, you have been blocked”. (С IP-адресов, которые Cloudflare пока что считает не российскими, доступ есть, так что можно убедиться, что это действительно OpenAI.)

P.S. Обратите, кстати, внимание, что тут уже GPTBot/1.2, а не GPTBot/1.1, как у них на сайте указано в описании.

Забавно читать вежливые утверждения, что, мол, “возможно, эти LLM/AI всё же не размышляют, потому что вот – система считается одной из лучших, но не способна корректно умножить два девятизначных натуральных числа” (разрядность тут условная). То есть, утверждается, что данные системы обучены на текстах из Интернета, и что даже уже “текстов из Интернета” не хватает для дальнейшего обучения (наверное, теперь заказывают копирайтерам и рерайтерам тематические “опусы”). Однако, если в рамках “обучения” в систему загнали все тексты, скажем, “Википедии”, то, вообще говоря, этих текстов достаточно, чтобы научиться перемножать числа. Буквально – уже сведений из англоязычной “Википедии”, совершенно точно, достаточно для того, чтобы некий “интеллект” изучил базовые арифметические действия с натуральными числами и, если он “размышляет”, сообразил бы, как нужно их перемножать. Это очевидное наблюдение относится далеко не только к умножению чисел. Казалось бы. Но нет, это не так, если строится очередная “говорилка на цепочках”.

К сожалению, “открытость” LLM/AI DeepSeek оказалась преувеличенной: для входа на сайт там требуют регистрацию, но зарегистрировать аккаунт мне не удалось, так как “Error sending code. Your email domain is currently not supported for registration”. Попробовал пару почтовых доменов – один на серверах Google даже, – но не работает. В общем, можно наблюдать типовой результат для современных шумных сервисов, тем более, когда это про AI/LLM, СМИ и биржевые рынки.

P.S. Зарегистрировать аккаунт я там хотел для того, чтобы проверить, что же оно напишет в ответ на задачки для “тестирования искусственности интеллекта”. Типа, “сколько букв “а” в слове “тарапараслит”, если читать его слева направо”.

OpenAI, следом за другими корпорациями в области AI/ИИ, предлагает “ИИ-агента”, который будет управлять компьютером пользователя при помощи рассматривания скриншотов и отправки команд через (виртуальные) клавиатуру и мышь. Тем самым, по мнению маркетинга OpenAI, агент будет автоматизировать типовые повторяющиеся пользовательские задачи, типа “бронирования отеля”. Непосредственно с компьютера пользователя, контролируя этот компьютер с центрального сервера по скриншотам. Такой вот “бот” для “ботнета” или новая Скрепка из MS Office.

То есть, если задуматься, то вот какое забавное развитие технологий силами ИИ-корпораций мы можем наблюдать, на примере “бронирования отеля”: с сервисом, доступным через Интернет, и находящимся в одном дата-центре, при помощи скриншотов браузерных окон взаимодействует сервис, потребляющий ресурсы в другом дата-центре.

При этом, заметьте, пользователю предлагается подтверждать действия ИИ-агента. Чтобы внести изменения в одном интерфейсе – пользователь подтверждает действия в другом интерфейсе, который специально надстроен над предыдущим, – через скриншоты, – но ещё и с использованием кучи вычислительных ресурсов в отдельном дата-центре. Попутно отправляются в этот дата-центр сведения о том, что делается в первом дата-центре, но через компьютер пользователя. Вспомните, что в браузере при этом работает какое-нибудь многомегабайтное “приложение” с Node.js, собранное из кучи “фреймворков”, в которой куче для раскрашивания одной кнопки в интерфейсе используется тысяча верхнеуровневых вызовов и два десятка внешних библиотек, и это всё без учёта работы операционной системы. Ну и ещё на стороне сервера системы бронирования всяких слоёв накручено аналогичным образом.

Предполагается, что “капчу” решает “ИИ-агент” самостоятельно, что забавно. На практике, наверное, будет переспрашивать пользователя.

Несомненно, код для сервиса бронирования – тоже будет переписан силами чат-бота с LLM.

Конечно, на строительство потребляемых дата-центров потребуются те самые “базиллионы вашингтонов” (денег, то есть).

Лет пятнадцать назад, в 2010 году, я писал про “суперизбыточные технологии”, на примере использования Google в качестве калькулятора:

Для проведения одной элементарной операции с целыми числами задействуется огромное число компьютеров: начинается всё на локальном ПК с браузером, выполняющим сотни тысяч арифметических операций (аналогичных по сложности исходной операции) для формирования http-запроса; дальше работают десятки маршрутизаторов, пересылающих пакеты, каждый из которых опять же выполняет сотни арифметических действий; пыхтит коммуникационное оборудование на более низких уровнях модели OSI, и это оборудование тоже много вычисляет, упаковывая пакеты в каналах, кодируя и декодируя данные; лишь потом приходит черёд серверов Google, которые запрашивают базы данных (потому что всё равно идёт поисковая выдача).

Что ж, теперь вычислить, сколько будет 3*7, при помощи Google, используя браузер в качестве проксирующего узла со скриншотами, сможет ИИ-агент OpenAI. В результате получится, скажем, 137, а пользователю будет предложено подтвердить, что ответ верный.

В продолжение предыдущей заметки, про определение “самых жарких лет” с точностью в десятые доли градуса с целью создания вала публикаций в СМИ: понятно, что детальное описание методики в любых подобных статистических результатах имеет первоочередное значение, даже если речь о публикациях в СМИ (это, видимо, сейчас целевой показатель), однако с измерением в СМИ некоторой обобщённой “температуры на Земле” ситуация особенно занимательная.

Так, игнорируя очевидную сложность климатических изменений, следят за одним “скалярным” показателем: на гистограммах и картах в источниках (то есть, это не журналисты СМИ нарисовали) – именно некоторая “температура”, взятая даже не как интервал, с указанием градиентов и погрешностей, а в качестве одного показателя. При этом, базовый период – 1850-1900 годы. То есть, если смотреть из 2024 года, то сравниваются показатели с разницей, примерно, в 150 (!) лет. Почему вообще полтора градуса “обобщённой” “климатической” температуры в 2024 году соответствуют полутора градусам такой же “обобщённой” температуры 150 лет назад? На климатические ощущения должны влиять, хотя бы, давление, влажность и тому подобные характеристики. Непонятно. Должно бы быть объяснено в методике.

Заметьте, что и температура бывает разной, и способы её измерения для поверхности океана и суши сильно изменились за полтора столетия. Понятно, что публикуемый параметр связан с термодинамической температурой. Но за прошедшее время даже сами базовые определения несколько раз существенно изменялись, так что, без методики, можно даже и не говорить про изменения параметров шкал, – а используется несколько реперных точек, их набор корректировался, – не вспоминать об изменениях стандартных способов калибровки оборудования и про эволюцию требований к базовым характеристикам используемых сред (типа состава лабораторной воды и пр.). Тем более, что не всё ведь и документировалось, а на интервале более ста лет – многое происходило.

Конкретный термометр, как прибор, точен только в той точке, в которой только что откалиброван. Дальше уже начинаются расхождения, на которые влияют совсем “нелинейные” эффекты, в том числе, внешние, типа материала ведра, в которое набрали забортную океанскую воду для измерения (версия упоминается даже в “Википедии”). Ну или лаборант термометр уронил. А тут в одном показателе на гистограммах для СМИ балансируются и данные разных термометров для разных способов контакта с водой (и/или воздухом) за сотню лет, и данные измерений космических спутников. Между прочим, если момент про ведро кажется несколько притянутым, – на фоне-то аппаратов, “бороздящих космические просторы”, – то вспомните, что базовый период начинается в 1850 году, данные для него заведомо аппроксимированы, а вёдра в исследованиях используют и сейчас.

И ведь для определения “средних по планете” необходимо в рамках какой-то модели интерполировать показатели в трёхмерных (!) интервалах, для которых измерений не проводилось. Или можно просто “посчитать среднее значение”? Как там с точностью прогнозов погоды, кстати? Хорошо, что тут уже применяют ИИ, так что точность явно “улучшится”, но почему это произошло – узнать вряд ли удастся. Кстати, упомянутую интерполяцию нужно проводить и пространственную, и по времени – в скольких точках и как часто измеряли нужную температуру воздуха 150 лет назад? А ведь отображение на графике погрешности уже в один кельвин – тут же полностью “зашумляет” картинку, на которой отражается изменение в полтора градуса по годам.

Всё это известно и должно быть где-то описано в методиках. Наверное. Но, “чтобы не запутывать ситуацию”, публиковать всё равно принято некое “значение температуры”, “скаляр” – единственный параметр, да ещё и с точностью в десятые доли градуса.

Все крупнейшие СМИ написали, что с климатом на планете Земля всё становится хуже, а “2024 год стал самым жарким”, потому что “показатель разности” средней температуры за год, взятый к средней температуре за период 1850-1900 года, увеличился на десятую долю градуса (примерно) Цельсия.

То есть, в позапрошлом году было, – примерно, в среднем, – на полтора градуса (Цельсия) “жарче”, чем в базовом периоде (в среднем), и в прошлом году было так же на полтора градуса Цельсия (примерно) “жарче”, но “тенденция пугающая”. Впрочем, речь сейчас не об этом. Когда все основные СМИ написали, интересно посмотреть на исходную методику определения столь важных показателей. Смотрим на сайте соответствующего агентства, данные которого и приводят СМИ, пытаемся найти хотя бы сведения об определении показателей базового периода. Чтобы что-то найти на страницах, нужно прокликать разные раскрывающиеся меню, тем не менее – скриншот:

А там забыли ссылку поставить на описание методики – только редакторская пометка осталась: [LINK!]. Бывает.

(Update: некоторые пояснения о том, почему изложение методики тут важнее прочих элементов – в следующей записке.)

Пишут про AI-агентов, которые, уже в этом году, могут “присоединиться к работникам” (“join the workforce”) в качестве “виртуальных сотрудников”. С одной стороны, идея, что можно очередной раз выдать “программу-планировщик календаря” за ИИ – довольно интересный вариант развития для имеющегося “хайпа”. С другой стороны, если компании начнут подключать не только вычислительные ресурсы “в облаке”, но ещё и следом передавать непосредственные функции сотрудников этим же облачным провайдерам, то провайдеры, не сомневайтесь, уж точно смогут увеличить свои возможности: тут вам и данные о заказах, и прямое упрвление внутренними процессами, и возможность эти самые процессы отключать, если что-то пошло не так.

Конечно, давно в ходу и разнообразный “аутсорсинг”, и чат-боты на сайте, используемые для продажи услуг или отпугивания пользователей, желающих обратиться в техническую поддержку. Однако предлагаемые сейчас ИИ-варианты виртуализации – гораздо более продвинутые: выше степень централизции управляющих рычагов и медийная поддержка.