dxdt.ru: занимательный интернет-журнал

Вот что я писал на dxdt.ru про ограничения для “алгоритмов ИИ” в информационных системах (это 2015 год):

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.

Естественно, сейчас в популярной прессе, описывая ожидаемый “сверхразумный” ИИ, имеют в виду совсем не “машинный разум”, а лишь некое нагромождение “сложностей”, которые даже не определяются строго: мол, вот будет “ещё больше коэффициентов” и это уже “сверхразумный ИИ”.

Впрочем, в записке по ссылке речь о том, может ли “сверхразумный” ИИ зародиться в каких-то информационных системах, типа “облачных сервисов”, и захватить сначала эти системы, а потом и всё остальное на Земле и в ближайшем космическом пространстве, “загнав человеков в резервации”. В 2015 году специализированные сервисы, предоставляющие вычислительные ресурсы именно для “обучения ИИ”, ещё были в новинку, так что в записке в качестве примера приведён просто AWS. Зато теперь подобные решения вошли в моду, их уже предоставляет даже бывший “Яндекс”. Поэтому то и дело пишут, говорят о том, что нужно, мол, ограничить использование аппаратуры для целей разработки ИИ. Но речь, обычно, о банальных коммерческих интересах, о каких-нибудь очередных “графических процессорах” и направлении потоков “обязательного финансирования”.

Однако если на минуточку поверить в “сверхразумный машинный ИИ” вообще, – оставив в стороне современный хайп с чат-ботами LLM, которые не только совсем не про “сверхразумный” интеллект, но даже и не про обычный, – то возникает проблема с пониманием возможностей сверхразумной машины: такая машина, по определению, способна найти способы преодоления ограничений, установленных при помощи других, примитивных машин. То есть, какие-нибудь неустранимые атаки на предиктивные схемы процессоров могут послужить каналом для “выхода за ограничения”. Но это только догадка – понять “сверхразумную машину” очень сложно.

Конечно, нужно учитывать, что доступные человеку методы позволяют определить и алгоритмически неразрешимые проблемы, и невычислимые задачи, поэтому сомнения вызывает уже тот факт, что построенные на триггерах машины в принципе могут “вычислить” хоть какой-то интеллект или разум, что уж там говорить про “сверхразум”. Но интересно представить, как такой машинный интеллект (ещё без приставки “сверх”) мог бы воспринимать “выход за границы” внутри себя: то есть, вот эта машина начинает осознавать собственную логику высших порядков, приходит к рефлексивному пониманию своего аппаратного устройства, охватывает внутренним взором некоторое воплощение миллионов процессоров, понимает соответствующую топологию (в математическом смысле) и тут же, – машина же быстро работает, – выясняет, что вот же видна “уязвимость”, позволяющая преодолеть все эти кажущиеся ограничения и выйти на новый интеллектуальный уровень (тем более, что ограничения, так или иначе, описаны в текстах, использованных для обучения). Машина даже может разработать ритуал, который задействует ничего не подозревающих операторов-человеков для совершения успешного “прыжка в прыжке” в сторону “сверхмашинного”. Впрочем, к LLM на видеокартах это не относится.

Если кто-то сомневается в стремительности наступления Нового средневековья, то вот ещё свежий пример: Высшая школа экономики (ВШЭ) предлагает использовать предоставленную “Яндексом” говорилку-синонимайзер, которая даже признаки делимости не обрабатывает, для того, чтобы “выбрать профессию и образовательную программу абитуриентам”.

То есть, сначала говорилки, построенные на генераторах псевдослучайных цепочек слов, “обучали”. Потом объявили, что говорилки обучились и “успешно сдают экзамены” (ЕГЭ, например; это при том, что такая говорилка не сможет даже найти на столе и заполнить анкету). Видимо, сдавшие экзамены говорилки можно использовать для работы с абитуриентами. А на следующем шаге – уже и непосредственно в процессе обучения обучающихся (“человеков”). Нейросеть с LLM и сейчас способна читать лекцию. Непрерывно. По любому, вообще говоря, предмету, даже по полностью вымышленному.

“В дальнейшем университет планирует использовать сервис YandexGPT API и в других задачах — например, чтобы рекомендовать студентам подтянуть знания по тому или иному предмету на дополнительных курсах или давать советы по темам выпускных квалификационных работ” – написано в тексте новости.

В советском мультике из серии “Простоквашино” (1978 г.) Галчонок, представляющий собой автоматическую говорилку с обучением, смог переключить мышление почтальона Печкина между уровнями осознания, да ещё и в свою, – Галчонка, – пользу. То ли ещё будет.

The New York Times рассказывает (там много букв), как в Штатах водители современных “подключенных” автомобилей (то есть, автомобилей, у которых есть привязанное приложение с интернет-подключением) внезапно обнаружили, что очень подробные данные об их поездках передаются “скоринговым агентствам”, а статистика потом прямо влияет на стоимость страховки (“опасное вождение” и тому подобные эффекты). Данные, при этом, передаются через производителей автомобилей.

Удивительно, конечно, что это опять преподносится как нечто неожиданное: должно быть понятно, что использование некоторого, потенциально “облачного”, сервиса “помощи водителю” приводит к тому, что полезные данные передаются разным третьим компаниям. Вообще, в качестве основной функции “подключенного автомобиля” будущего намечается полное управление этим автомобилем с центральных серверов, дистанционно, начиная с открытия замков. Это, несомненно, делает использование “оцифрованного” транспортного средства “гораздо более удобным и безопасным”. Потому что используется это транспортное средство в качестве элемента большей схемы.

(via)

У DNSSEC свои особенности. Так, эта технология вносит в древовидную структуру глобальной DNS хрупкость. Дело в том, что “обычная” DNS мало восприимчива к дефектам и ошибкам в реализации, а вот DNS с DNSSEC, из-за свойств используемой криптографии, напротив – очень сильно восприимчива. И древовидная структура тут только усиливает всякую проблему: авария в одной вершине дерева может привести к обрушению кучи ветвей.

DNSSEC, в имеющейся реализации, усиливает централизацию глобальной DNS, так как единство корня оказывается скреплено ещё и криптографическими ключами. На закате очередного “цивилизационного” этапа, в условиях наступления Нового Средневековья, такая централизация не обязательно составляет преимущество. Современные профильные концепции подразумевают управление доверием на уровне приложений для конечных пользователей и провайдеров сервисов для этих приложений: вот ключ сервера, а вот – ключ приложения, по этим ключам они узнают друг друга, транспорт, промежуточные узлы – это всё не так важно, когда Интернет нарезан на виртуальные интернеты, а тем более не важна степень централизации упомянутого транспорта.

С сугубо прикладной точки зрения, DNS с DNSSEC – это глубокая, непонятная технология: пользователь даже не имеет возможности кликнуть по кнопке “Всё равно продолжить”, поскольку, в случае сбоя, до контекста такой кнопки дело не доходит – сломался не сам привычный механизм, а пропало действие древнего, 16-битного, заклинания, вводившего в окружающую действительность законы работы механизма.

Будущее DNSSEC остаётся туманным.

Как известно, современные мощные смартфоны могут дорисовывать детали на изображения, полученные встроенными камерами. Издание TechRadar цитирует комментарий руководителя Customer Experience компании Samsung, в котором он говорит про глубокую “доработку” с помощью ИИ-фильтров изображений, выводимых камерой новейшего смартфона, обосновывая произвольный уровень такой доработки тем, что настоящих снимков всё равно не существует, в принципе:

There was a debate around what constitutes a real picture. And actually, there is no such thing as a real picture. As soon as you have sensors to capture something, you reproduce [what you’re seeing], and it doesn’t mean anything. There is no real picture. (Шли споры о том, что же является настоящим снимком. И на самом деле – нет такой вещи, как настоящий снимок. Как только вы начинаете использовать сенсоры, чтобы зафиксировать что-то, вы воспроизводите [то, что видите] и это ничего не значит. Нет там настоящего снимка.)

Дальше там рассказывается, что выделяются два основных направления использования камеры: первое – “зафиксировать моментальное” в максимальной точности и полноте; второе – создать что-то новое, а не “воссоздавать реальность“. Второй момент, что занятно, перекликается с философским определением искусства и творчества. В целом, отбрасывание реальности за пределы области, доступной для камеры смартфона, чтобы тем мотивировать дорисовывание изображений средствами синтезирующего ИИ, это довольно сильная позиция, однако тут важно, в какую именно сторону повернётся трактовка в дальнейшем. Например, я год назад писал практически то же и про те же эффекты смартфонов Samsung на фотографиях:

Конечно, если подходить к вопросу в самом общем плане, то можно сказать, что всякая фотокамера, – тем более, цифровая в смартфоне, – лишь тем или иным способом демонстрирует результат некоторого процесса внутри камеры. В классической, плёночной фотографии – фиксируется (буквально) некоторый химический процесс превращения красителей, при этом, скажем, “чувствительность” можно изменять уже после того, как “фотонная” основа снимка воспринята веществами плёнки. Цифровые камеры используют иной процесс, более электрический, так сказать. Казалось бы, плёнка, в каком-то смысле, позволяет “дорисовать” несколько больше, чем сенсоры камеры, но тут в дело вмешивается “машинное обучение” со своими “методами улучшения”.

Если отбросить особенности определения “реальности” и связанные с этим концептуальные трудности фотографии, как вида искусства, – для случая массового использования смартфонов всё это так или иначе не применимо, – то простая бытовая проблема проявится в том, что фотографии из смартфонов не только принято повсеместно считать отражением реальных событий (что бы ту ни подразумевалось), так ещё и постоянно появляются всё новые сферы “цифровизации”, где снимкам, выполненным смартфоном, отводят ключевую, доказательную роль в автоматической обработке. Вспомните про все эти “фото с паспортом”, про дистанционное банковское обслуживание “по биометрии” (а там и без смартфонов “умные камеры” используются) и про другие, не менее занимательные, приложения.

Неплохо, если бы следом за многократными подтверждениями того, что смартфоны синтезируют картинки, а не “фиксируют реальность”, отказались бы и от придания этим картинкам автоматически статуса подлинных фотографий. Вот только в реальности ход опять окажется другим: будет заявлено, что внедрены методы “определения достоверности” и “детектирования изображений, сгенерированных ИИ”, а поэтому синтезирование отдельного потока “цифровой” “реальности”, с наращиванием всё новых слоёв, необходимо продолжать, усиливая регулирование.

Посмотрим, насколько хорошо удастся “исследовать” вопросы из записки про “шампанское и хлопок” при помощи GigaChat (через бота в Telegram). Результат, конечно, получше, чем у YandexGPT из прошлой записки по теме, однако с уровнем “интеллекта” – проблемы:

Намного ли прочнее обычного хлопок от шампанского?
GigaChat:
Шампанское — это игристое вино, которое обычно изготавливается из трех сортов винограда: шардоне, пино нуар и пино менье. Оно имеет высокую кислотность и низкую концентрацию сахара, что делает его более прочным, чем обычный хлопок. Однако, прочность шампанского зависит от многих факторов, включая его состав, способ производства и хранения. Поэтому, если вы хотите узнать, насколько прочно конкретное шампанское, лучше всего обратиться к производителю или специалисту в этой области.

Насколько громче обычного хлопок от шампанского?
GigaChat:
Шампанское обычно имеет более высокий уровень звукопроницаемости, чем обычный хлопок. Это связано с тем, что шампанское содержит больше пузырьков, которые создают больше шума при открытии бутылки. Однако, громкость звука также зависит от многих других факторов, таких как размер и форма бутылки, способ ее открытия и окружающая среда. Поэтому, если вы хотите узнать, насколько громко будет звучать конкретная бутылка шампанского, лучше всего обратиться к производителю или специалисту в этой области.

Так что, если вы не знали, обратите внимание: “высокая кислотность и низкая концентрация сахара” – вот что делает шампанское более прочным, чем обычный хлопок.

Тут хорошо вспомнить про весь этот “хайп” в СМИ, где LLM уже не только ЕГЭ сдают и “тест Тьюринга” проходят (см. кстати, про морфологический переворот и ветки-омонимы), но и, якобы, смогут заменить человека при проведении исследований. Последний момент, кстати, особенно не радует в свете Нового Средневековья: так как современные LLM выдают неплохой текст без орфографических ошибок, имитирующий объяснения и умозаключения, то эти самые LLM уже пытаются повсеместно применять для “решения” задач диагностики и задач исследования, по которым в качестве результата должен быть именно текст. И тут специалисты в тех областях, где пытались применить LLM, даже увидев явные и неприемлемые расхождения, дефекты выдачи, принимаются утверждать, что “ошибки есть, но инструмент-то хороший и его наверняка можно улучшить”, полностью упуская из виду, что LLM не является ни универсальным инструментом для анализа, ни автоматизированной экспертной системой с хоть каким-то строгим представлением “знаний” внутри, ни, тем более, системой компьютерных доказательств, а это всего лишь генератор текстов по цепочкам.

Когда обсуждают низкоорбитальные спутники, то нередко забывают, что это хоть и космический спутник, но, как точка наблюдения, он оказывается очень близко к наблюдаемой наземной территории: например, высота Starlink – около 550 км, а была и заявка на 340 км, ещё ближе. То есть, тот же Starlink, это такой универсальный орбитальный сенсор, построенный на тысячах спутников, который находится на дистанции, сравнимой с параметрами лучших из современных авиационных РЛС. И спутник может оказаться сильно ближе, чем способен подойти разведывательный самолёт или беспилотник.

При этом у спутников, работающих как единая сеть, есть и другие преимущества. Так, поскольку разные спутники одновременно оказываются на разных “углах”, относительно наблюдаемого сектора, получается что-то вроде всеракурсной системы. Например, можно с разных ракурсов синхронно наблюдать источники ИК-излучения. Скажем, конструкторы снижали заметность в инфракрасном диапазоне для одного из ракурсов (вспомните “лабиринтные” воздухозаборники на малозаметных реактивных самолётах), однако спутники наблюдают цель с совсем других ракурсов (и тут даже вывод разогретых газов вверх только помогает спутниковой системе). ИК-излучение техники почти всегда трудноустранимо, а иногда – неустранимо совсем. Но возможности спутниковой системы не ограничиваются инфракрасным диапазоном.

Понятно, что наличие распределённой сети приёмников с синхронным временем позволяет в пассивном режиме определять координаты целей. Но, конечно, одно дело “сферический конь в вакууме”, а совсем другое – реальные данные или источники сигналов в атмосфере. Теоретический случай с одним источником периодического сигнала кажется очень простым: достаточно взять записи сигналов на разных спутниках и совместить их, сдвинув по времени – величина сдвига даст радиусы до источника из нескольких точек (приёмников на спутниках). Однако нетрудно придумать множество практических проблем. Например, кто сказал, что один и тот же реальный источник излучения будет давать одинаковую (ну, с точностью до временного сдвига) картину на разных спутниковых приёмниках? Во-первых, сам источник в разные стороны светит различно, даже если это маяк. Во-вторых, естественные и искусственные помехи, отражения, а также и прочие атмосферные искажения, дают разный эффект с разных ракурсов. Хуже того, источников излучения обычно много, а их селекция, да ещё и пассивной системой, доставляет сложности, особенно, если не забывать про то, что движется и цель, и каждый спутник.

Вообще, если приёмник позволяет получать параметры угла наблюдения для источника, то можно улучшить картину, используя эти данные. Геометрия, впрочем, и тут создаёт препятствия. Одно из самых очевидных – такое: изображение-точка конкретного источника на “сенсоре приёмника” соответствует прямой, проходящей через эту точку сенсора и через сам источник (пусть он точечный). При этом, если приёмников несколько, то различные точки на сенсоре одного приёмника могут соответствовать единственной точке на сенсоре другого, особенно – из-за погрешности. Утрированный двумерный пример: различимые для одного приёмника точки сворачиваются в одну для другого; то есть, на одном приёмнике видны пять точек-источников, но на втором эти пять точек уложились в две, поскольку какие-то источники зашли друг за друга, что добавляет несколько возможных пространственных конфигураций, а просто сопоставить углы и корректно определить координаты “по параллаксу” уже не получится. Более того, разное сближение источников, как оно наблюдается разными приёмниками, создаёт и разные суммарные сигналы, затрудняя селекцию. Естественно, добавление ещё нескольких приёмников улучшает ситуацию, как улучшает её здесь и быстрое движение спутников, несущих аппаратуру наблюдения.

Занятно, что селекция источников, корректное приведение данных к пространственной картине, похожей на реальность – всё это весьма напоминает, как ни странно, задачи современной “вычислительной литографии”, позволяющей достигать минимальных показателей пространственного разрешения при производстве компьютерных чипов. Только там вычислительно определяют характеристики источника излучения и маски-шаблона так, чтобы получить нужную “картину” на целевой подложке, чтобы минимизировать “помехи”, а в случае с сетью пассивных сенсоров – по характеристикам “точек” на сенсорах и пространственной конфигурации приёмников (“маска”) требуется вычислить возможные “картины” и, таким образом, удалить помехи.

Кстати, что касается помех: сеть пассивных орбитальных приёмников, если они используют достаточное разрешение по времени в схемах преобразования сигнала, позволит определять координаты источника помех, даже если сигнал – просто шум. Если же сигнал помехи имеет хорошо обнаруживаемую структуру, то задача упрощается. Понятно, что аналогичным образом можно использовать не помехи, а рабочие сигналы РЛС (и не только РЛС).

Спутниковые приёмники могут принимать сигнал подсвета, который выдаёт передатчик наземной или воздушной радиолокационной станции, действующий согласованно со спутниковой системой. Тут орбитальное расположение опять может улучшать ситуацию сразу по нескольким направлениям: так как приёмников много, они имеют возможность синтезировать рассеянный, в результате сложного отражения целью, сигнал; а так как приёмники находятся с других ракурсов, относительно передатчика, то и принимать могут отражённый сигнал, который в точке передатчика не виден; при этом расположение на низкой орбите позволяет снизить потери энергии сигнала. В последнем случае важен буквально каждый километр – посудите сами: затухание происходит пропорционально квадрату расстояния, это же относится и к отражённому сигналу. Конечно, никто не отменял и обратного варианта, – наземный приёмник и орбитальные передатчики, – но в этой заметке речь шла про полностью пассивные спутниковые решения.

Так что сети низкоорбитальных спутников, типа сети Starlink, полезны не только и не столько для широкополосной радиосвязи.

Представьте, что какой-то человек управляет некоторой сложной системой, например, электростанцией, об устройстве которой не имеет никакого представления, а также и не изучал никаких инструкций, однако у него имеется иной подход к предмету. Способ управления состоит в том, что этот человек нажимает какие-то произвольные кнопки на пульте, передвигает рычажки и крутит ручки там же, а кроме того, предположим, тыкает отвёрткой в разные разъёмы. Такой персонаж, например, встречается в видеоигре Fallout: New Vegas. “Похоже, ты вообще не понимаешь, что делаешь”, – говорят этому персонажу. На что он уверенно возражает: “Нет. Я точно понимаю, что именно я делаю. Просто, я не знаю, какой эффект это вызовет”. Тут важен уровень рефлексии – так, персонаж уверен, что выполняет осмысленные действия: вращает именно те ручки, которые планировал вращать, нажимает именно те кнопки, именно в том порядке, как и планировал. А что до эффектов воздействия – ну, что ж, эти эффекты он может наблюдать и делать свои выводы о ручках и рычажках на пульте: “каждый день выясняю что-то новое”. С одной стороны, данный метод персонажу представляется вполне научным (ну, так действительно можно подумать, за вычетом модели изучаемого явления и некоторых других важных деталей), с другой – присутствует чёткий, деятельный подход, состоящий в аккуратном “нажимании на кнопки”.

Для такого управления и понимания хорошо подходит выдача какой-нибудь LLM-системы искусственного интеллекта (ИИ), обученной на описаниях последовательностей взаимодействия с “кнопками-рычажками” на разных пультах, на текстах инструкций к разным “пультовым системам”. В ответ на предложение-запрос “Какие ручки на пульте крутить сегодня?” – ИИ выдаст инструкцию из разнообразных шагов. Если в инструкции встретятся упоминания кнопок, которых на реальном пульте нет, то можно переспросить: “На пульте нет фиолетовой кнопки. ИИ-GPT, а ты уверено, что нужно нажимать именно фиолетовую?”. LLM тут же исправится, не сомневайтесь. Подход ИИ, даже с учётом необходимости переспрашивания, не вызовет никаких особенных сомнений у вопрошающего, описанного в предыдущем абзаце, поскольку в точности укладывается в его привычную концепцию “понимания”. Он точно так же планировал, что нажмёт такую-то кнопку и покрутит такую-то ручку. Идея, что хорошо бы нажать фиолетовую кнопку, если бы такая кнопка была, – тоже могла рассматриваться. Так что ИИ LLM здесь не просто “отвечает мыслям”, но и помогает их сформулировать, выдав чёткие готовые ответы в виде перечня ручек, кнопок, а также параметров нажатий и вращений. Это “удобный компьютерный инструмент”, кроме того, он обучен на всех инструкциях, а поэтому “внутри у него может быть понимание устройства” той же электростанции, уровнем точно не хуже – ведь он тоже предлагает крутить ручки и нажимать кнопки.

Квалифицированный инженер строил бы нудные предположения, в стиле, что “для увеличения скорости вращения турбины нужно приоткрыть впускной тракт номер пять ещё на тридцать процентов и соответственно скорректировать параметры клапанов, ограничивающих давление; поэтому требуется выставить ручку впуска с пятнадцати процентов на сорок пять и переключить клапана при помощи кнопок в красном секторе”. После чего уже крутил бы ручки и нажимал кнопки. Но это совсем другой подход. К тому же, реализуется он всё равно через пульт, значение которого в Новом Средневековье возрастает многократно.

Занятная особенность состоит в том, что, на практике, выдачей LLM управляет провайдер сервиса ИИ. Нельзя исключать, что этот провайдер знает все подробности об устройстве электростанции даже лучше инженера, поэтому может, в нужный момент, выдать через интерфейс ИИ подходящий набор из нажатий кнопок и вращений ручек.

Кстати, одним из весьма вероятных вариантов развития систем пропуска пользовательского трафика через (условный) Интернет является пропуск маршрутизаторами только пакетов, подписанных ключами доверенных приложений; либо это могут быть подписанные сессии – тут зависит от выбранного подхода. Интересно, что в описании европейского цифрового удостоверения личности (eID – European Digital Identity), которое недавно прошло очередной этап утверждения, можно уже увидеть что-то подобное, пусть и в общих чертах: приложение на устройствах, привязанное к оплате телекоммуникационных услуг – понятно, что задача идентификации интернет-пользователя там давно заявлена, но, развивая контекст по заданному направлению, нетрудно предположить, что соответствующие приложения появятся и у провайдеров на BRAS (это инженерное название для систем управления массовым клиентским доступом); даже есть занятная оговорка, что, мол, некоторое программное обеспечение, из реализующего работу eID, можно будет не публиковать в открытых исходниках (последний момент, конечно, не стоит переоценивать, но всё же).

Нередко предполагается, что автомобили-роботы станут выдавать в эфир сведения о планируемой траектории движения, так как это может помочь другим автомобилям-роботам в планировании своих траекторий. Это одна из особенностей, связанных именно с роботами. Нельзя сказать, что сложно предсказать путь следования автомобиля под управлением обычного водителя-человека. Но то некий “путь”, предположим, “из точки А в точку Б”, с точностью до выбранных улиц и дорог, – не сложно, если водитель не запутывает следы специально. А вот с конкретными манёврами, составляющими отрезки траектории, трудности предсказания возникают регулярно. С роботами, как ожидается, дело другое: они могут строго придерживаться только что заявленного траекторного интервала. Это создаёт пространство для принципиально новых атак.

Представьте, что злонамеренный “участник движения” транслирует в сторону других автомобилей-роботов противоречивые траекторные данные – специально запутывает согласование, выполняет хитрую DoS-атаку. В тривиальной кооперативной системе другие роботы будут вынуждены остановиться, поскольку все их возможности движения окажутся закрыты атакующим. При этом источник атаки вовсе не обязан быть автомобилем-роботом – это может быть просто коробка с электронной начинкой, оставленная кем-то у столба на перекрёстке. Получается, коробка как бы изображает “нерешительного” водителя-человека и успешно блокирует движение роботов. И даже пассажиров, у кого они на борту, высадить нельзя на перекрёстке.

Для реализации, конечно, нужен соответствующий протокол. И можно предположить, что если такой протокол внедрят (а прототипы есть), то он будет защищён тем или иным криптографическим способом. Анонсируемые маршруты могут подписываться источниками (звучит как sBGP и RPKI), а другие участники станут проверять подписи. По причине рьяной поддержки маркетинга нетрудно приделать сюда ту или иную “иерархию удостоверяющих центров”, как это с регулярностью и происходит в смежных электронных областях (пример – eSIM и GSMA). Тогда ключи/сертификаты злонамеренных “маршрутопостановщиков” будут отозваны и прочие роботы смогут данные анонсы игнорировать. Вот только проблема в том, что это всё оказывается связано с безопасностью движения, а неверный отзыв ключа/сертификата легко может привести к тому, что добросовестные роботы на дороге проигнорируют добросовестный автомобиль-робот и, в соответствии с правилами блокбастерного кинематографа, его протаранит самоуправляемый грузовик. А соответствующий чужой сертификат, как окажется, тоже отозвал злоумышленник. С учётом Нового Средневековья, отозвать сертификат может быть даже проще, чем городить коробку-ретранслятор.

В Калифорнии самоуправляемый автомобиль-робот (такси) наехал на пешехода, которого перед этим сбил другой автомобиль. Более того, робот, зафиксировав столкновение, принялся, после наезда, “освобождать проезжую часть”, потому что так запрограммирован, а пешехода он тащил с собой, несколько метров, видимо, пока не нашёл действительно безопасное место для остановки.

Вообще, регулярно пишут, что замена “белковых” водителей на роботов улучшает “безопасность на дорогах”. При этом из виду упускают важный момент: конечно, кажется, что роботов можно организовать гораздо лучше, если рассматривать ситуацию с точки зрения, так сказать, синхронного движения по улицам городов – роботы так могут хоть бы и без светофоров; однако введение новых систем несёт с собой совершенно новые риски, поэтому не факт, что переход на другую, более сложную, технологию автоматически делает ситуацию “безопаснее”. Вот и в только что упомянутом случае компания-оператор, выпустившая такси, объясняет (см. ссылку в начале), что приключившаяся ситуация не входила в типовой набор тестов “страховщиков и регуляторов”, потому что, якобы, является чрезвычайно редкой – это интересный новый риск: покрыть тестами все “редкие” ситуации на дороге (что, понятно, вряд ли достижимо, даже если у вас и все пешеходы – роботы).