The New York Times рассказывает (там много букв), как в Штатах водители современных “подключенных” автомобилей (то есть, автомобилей, у которых есть привязанное приложение с интернет-подключением) внезапно обнаружили, что очень подробные данные об их поездках передаются “скоринговым агентствам”, а статистика потом прямо влияет на стоимость страховки (“опасное вождение” и тому подобные эффекты). Данные, при этом, передаются через производителей автомобилей.

Удивительно, конечно, что это опять преподносится как нечто неожиданное: должно быть понятно, что использование некоторого, потенциально “облачного”, сервиса “помощи водителю” приводит к тому, что полезные данные передаются разным третьим компаниям. Вообще, в качестве основной функции “подключенного автомобиля” будущего намечается полное управление этим автомобилем с центральных серверов, дистанционно, начиная с открытия замков. Это, несомненно, делает использование “оцифрованного” транспортного средства “гораздо более удобным и безопасным”. Потому что используется это транспортное средство в качестве элемента большей схемы.

(via)



Комментировать »

У DNSSEC свои особенности. Так, эта технология вносит в древовидную структуру глобальной DNS хрупкость. Дело в том, что “обычная” DNS мало восприимчива к дефектам и ошибкам в реализации, а вот DNS с DNSSEC, из-за свойств используемой криптографии, напротив – очень сильно восприимчива. И древовидная структура тут только усиливает всякую проблему: авария в одной вершине дерева может привести к обрушению кучи ветвей.

DNSSEC, в имеющейся реализации, усиливает централизацию глобальной DNS, так как единство корня оказывается скреплено ещё и криптографическими ключами. На закате очередного “цивилизационного” этапа, в условиях наступления Нового Средневековья, такая централизация не обязательно составляет преимущество. Современные профильные концепции подразумевают управление доверием на уровне приложений для конечных пользователей и провайдеров сервисов для этих приложений: вот ключ сервера, а вот – ключ приложения, по этим ключам они узнают друг друга, транспорт, промежуточные узлы – это всё не так важно, когда Интернет нарезан на виртуальные интернеты, а тем более не важна степень централизации упомянутого транспорта.

С сугубо прикладной точки зрения, DNS с DNSSEC – это глубокая, непонятная технология: пользователь даже не имеет возможности кликнуть по кнопке “Всё равно продолжить”, поскольку, в случае сбоя, до контекста такой кнопки дело не доходит – сломался не сам привычный механизм, а пропало действие древнего, 16-битного, заклинания, вводившего в окружающую действительность законы работы механизма.

Будущее DNSSEC остаётся туманным.



Комментарии (2) »

Как известно, современные мощные смартфоны могут дорисовывать детали на изображения, полученные встроенными камерами. Издание TechRadar цитирует комментарий руководителя Customer Experience компании Samsung, в котором он говорит про глубокую “доработку” с помощью ИИ-фильтров изображений, выводимых камерой новейшего смартфона, обосновывая произвольный уровень такой доработки тем, что настоящих снимков всё равно не существует, в принципе:

There was a debate around what constitutes a real picture. And actually, there is no such thing as a real picture. As soon as you have sensors to capture something, you reproduce [what you’re seeing], and it doesn’t mean anything. There is no real picture. (Шли споры о том, что же является настоящим снимком. И на самом деле – нет такой вещи, как настоящий снимок. Как только вы начинаете использовать сенсоры, чтобы зафиксировать что-то, вы воспроизводите [то, что видите] и это ничего не значит. Нет там настоящего снимка.)

Дальше там рассказывается, что выделяются два основных направления использования камеры: первое – “зафиксировать моментальное” в максимальной точности и полноте; второе – создать что-то новое, а не “воссоздавать реальность“. Второй момент, что занятно, перекликается с философским определением искусства и творчества. В целом, отбрасывание реальности за пределы области, доступной для камеры смартфона, чтобы тем мотивировать дорисовывание изображений средствами синтезирующего ИИ, это довольно сильная позиция, однако тут важно, в какую именно сторону повернётся трактовка в дальнейшем. Например, я год назад писал практически то же и про те же эффекты смартфонов Samsung на фотографиях:

Конечно, если подходить к вопросу в самом общем плане, то можно сказать, что всякая фотокамера, – тем более, цифровая в смартфоне, – лишь тем или иным способом демонстрирует результат некоторого процесса внутри камеры. В классической, плёночной фотографии – фиксируется (буквально) некоторый химический процесс превращения красителей, при этом, скажем, “чувствительность” можно изменять уже после того, как “фотонная” основа снимка воспринята веществами плёнки. Цифровые камеры используют иной процесс, более электрический, так сказать. Казалось бы, плёнка, в каком-то смысле, позволяет “дорисовать” несколько больше, чем сенсоры камеры, но тут в дело вмешивается “машинное обучение” со своими “методами улучшения”.

Если отбросить особенности определения “реальности” и связанные с этим концептуальные трудности фотографии, как вида искусства, – для случая массового использования смартфонов всё это так или иначе не применимо, – то простая бытовая проблема проявится в том, что фотографии из смартфонов не только принято повсеместно считать отражением реальных событий (что бы ту ни подразумевалось), так ещё и постоянно появляются всё новые сферы “цифровизации”, где снимкам, выполненным смартфоном, отводят ключевую, доказательную роль в автоматической обработке. Вспомните про все эти “фото с паспортом”, про дистанционное банковское обслуживание “по биометрии” (а там и без смартфонов “умные камеры” используются) и про другие, не менее занимательные, приложения.

Неплохо, если бы следом за многократными подтверждениями того, что смартфоны синтезируют картинки, а не “фиксируют реальность”, отказались бы и от придания этим картинкам автоматически статуса подлинных фотографий. Вот только в реальности ход опять окажется другим: будет заявлено, что внедрены методы “определения достоверности” и “детектирования изображений, сгенерированных ИИ”, а поэтому синтезирование отдельного потока “цифровой” “реальности”, с наращиванием всё новых слоёв, необходимо продолжать, усиливая регулирование.



Комментарии (2) »

Посмотрим, насколько хорошо удастся “исследовать” вопросы из записки про “шампанское и хлопок” при помощи GigaChat (через бота в Telegram). Результат, конечно, получше, чем у YandexGPT из прошлой записки по теме, однако с уровнем “интеллекта” – проблемы:

Намного ли прочнее обычного хлопок от шампанского?
GigaChat:
Шампанское — это игристое вино, которое обычно изготавливается из трех сортов винограда: шардоне, пино нуар и пино менье. Оно имеет высокую кислотность и низкую концентрацию сахара, что делает его более прочным, чем обычный хлопок. Однако, прочность шампанского зависит от многих факторов, включая его состав, способ производства и хранения. Поэтому, если вы хотите узнать, насколько прочно конкретное шампанское, лучше всего обратиться к производителю или специалисту в этой области.

Насколько громче обычного хлопок от шампанского?
GigaChat:
Шампанское обычно имеет более высокий уровень звукопроницаемости, чем обычный хлопок. Это связано с тем, что шампанское содержит больше пузырьков, которые создают больше шума при открытии бутылки. Однако, громкость звука также зависит от многих других факторов, таких как размер и форма бутылки, способ ее открытия и окружающая среда. Поэтому, если вы хотите узнать, насколько громко будет звучать конкретная бутылка шампанского, лучше всего обратиться к производителю или специалисту в этой области.

Так что, если вы не знали, обратите внимание: “высокая кислотность и низкая концентрация сахара” – вот что делает шампанское более прочным, чем обычный хлопок.

Тут хорошо вспомнить про весь этот “хайп” в СМИ, где LLM уже не только ЕГЭ сдают и “тест Тьюринга” проходят (см. кстати, про морфологический переворот и ветки-омонимы), но и, якобы, смогут заменить человека при проведении исследований. Последний момент, кстати, особенно не радует в свете Нового Средневековья: так как современные LLM выдают неплохой текст без орфографических ошибок, имитирующий объяснения и умозаключения, то эти самые LLM уже пытаются повсеместно применять для “решения” задач диагностики и задач исследования, по которым в качестве результата должен быть именно текст. И тут специалисты в тех областях, где пытались применить LLM, даже увидев явные и неприемлемые расхождения, дефекты выдачи, принимаются утверждать, что “ошибки есть, но инструмент-то хороший и его наверняка можно улучшить”, полностью упуская из виду, что LLM не является ни универсальным инструментом для анализа, ни автоматизированной экспертной системой с хоть каким-то строгим представлением “знаний” внутри, ни, тем более, системой компьютерных доказательств, а это всего лишь генератор текстов по цепочкам.



Комментарии (2) »

Когда обсуждают низкоорбитальные спутники, то нередко забывают, что это хоть и космический спутник, но, как точка наблюдения, он оказывается очень близко к наблюдаемой наземной территории: например, высота Starlink – около 550 км, а была и заявка на 340 км, ещё ближе. То есть, тот же Starlink, это такой универсальный орбитальный сенсор, построенный на тысячах спутников, который находится на дистанции, сравнимой с параметрами лучших из современных авиационных РЛС. И спутник может оказаться сильно ближе, чем способен подойти разведывательный самолёт или беспилотник.

При этом у спутников, работающих как единая сеть, есть и другие преимущества. Так, поскольку разные спутники одновременно оказываются на разных “углах”, относительно наблюдаемого сектора, получается что-то вроде всеракурсной системы. Например, можно с разных ракурсов синхронно наблюдать источники ИК-излучения. Скажем, конструкторы снижали заметность в инфракрасном диапазоне для одного из ракурсов (вспомните “лабиринтные” воздухозаборники на малозаметных реактивных самолётах), однако спутники наблюдают цель с совсем других ракурсов (и тут даже вывод разогретых газов вверх только помогает спутниковой системе). ИК-излучение техники почти всегда трудноустранимо, а иногда – неустранимо совсем. Но возможности спутниковой системы не ограничиваются инфракрасным диапазоном.

Понятно, что наличие распределённой сети приёмников с синхронным временем позволяет в пассивном режиме определять координаты целей. Но, конечно, одно дело “сферический конь в вакууме”, а совсем другое – реальные данные или источники сигналов в атмосфере. Теоретический случай с одним источником периодического сигнала кажется очень простым: достаточно взять записи сигналов на разных спутниках и совместить их, сдвинув по времени – величина сдвига даст радиусы до источника из нескольких точек (приёмников на спутниках). Однако нетрудно придумать множество практических проблем. Например, кто сказал, что один и тот же реальный источник излучения будет давать одинаковую (ну, с точностью до временного сдвига) картину на разных спутниковых приёмниках? Во-первых, сам источник в разные стороны светит различно, даже если это маяк. Во-вторых, естественные и искусственные помехи, отражения, а также и прочие атмосферные искажения, дают разный эффект с разных ракурсов. Хуже того, источников излучения обычно много, а их селекция, да ещё и пассивной системой, доставляет сложности, особенно, если не забывать про то, что движется и цель, и каждый спутник.

Вообще, если приёмник позволяет получать параметры угла наблюдения для источника, то можно улучшить картину, используя эти данные. Геометрия, впрочем, и тут создаёт препятствия. Одно из самых очевидных – такое: изображение-точка конкретного источника на “сенсоре приёмника” соответствует прямой, проходящей через эту точку сенсора и через сам источник (пусть он точечный). При этом, если приёмников несколько, то различные точки на сенсоре одного приёмника могут соответствовать единственной точке на сенсоре другого, особенно – из-за погрешности. Утрированный двумерный пример: различимые для одного приёмника точки сворачиваются в одну для другого; то есть, на одном приёмнике видны пять точек-источников, но на втором эти пять точек уложились в две, поскольку какие-то источники зашли друг за друга, что добавляет несколько возможных пространственных конфигураций, а просто сопоставить углы и корректно определить координаты “по параллаксу” уже не получится. Более того, разное сближение источников, как оно наблюдается разными приёмниками, создаёт и разные суммарные сигналы, затрудняя селекцию. Естественно, добавление ещё нескольких приёмников улучшает ситуацию, как улучшает её здесь и быстрое движение спутников, несущих аппаратуру наблюдения.

Занятно, что селекция источников, корректное приведение данных к пространственной картине, похожей на реальность – всё это весьма напоминает, как ни странно, задачи современной “вычислительной литографии”, позволяющей достигать минимальных показателей пространственного разрешения при производстве компьютерных чипов. Только там вычислительно определяют характеристики источника излучения и маски-шаблона так, чтобы получить нужную “картину” на целевой подложке, чтобы минимизировать “помехи”, а в случае с сетью пассивных сенсоров – по характеристикам “точек” на сенсорах и пространственной конфигурации приёмников (“маска”) требуется вычислить возможные “картины” и, таким образом, удалить помехи.

Кстати, что касается помех: сеть пассивных орбитальных приёмников, если они используют достаточное разрешение по времени в схемах преобразования сигнала, позволит определять координаты источника помех, даже если сигнал – просто шум. Если же сигнал помехи имеет хорошо обнаруживаемую структуру, то задача упрощается. Понятно, что аналогичным образом можно использовать не помехи, а рабочие сигналы РЛС (и не только РЛС).

Спутниковые приёмники могут принимать сигнал подсвета, который выдаёт передатчик наземной или воздушной радиолокационной станции, действующий согласованно со спутниковой системой. Тут орбитальное расположение опять может улучшать ситуацию сразу по нескольким направлениям: так как приёмников много, они имеют возможность синтезировать рассеянный, в результате сложного отражения целью, сигнал; а так как приёмники находятся с других ракурсов, относительно передатчика, то и принимать могут отражённый сигнал, который в точке передатчика не виден; при этом расположение на низкой орбите позволяет снизить потери энергии сигнала. В последнем случае важен буквально каждый километр – посудите сами: затухание происходит пропорционально квадрату расстояния, это же относится и к отражённому сигналу. Конечно, никто не отменял и обратного варианта, – наземный приёмник и орбитальные передатчики, – но в этой заметке речь шла про полностью пассивные спутниковые решения.

Так что сети низкоорбитальных спутников, типа сети Starlink, полезны не только и не столько для широкополосной радиосвязи.



Комментировать »

Control desk. Credits: DodgertonSkillhause, morguefile.comПредставьте, что какой-то человек управляет некоторой сложной системой, например, электростанцией, об устройстве которой не имеет никакого представления, а также и не изучал никаких инструкций, однако у него имеется иной подход к предмету. Способ управления состоит в том, что этот человек нажимает какие-то произвольные кнопки на пульте, передвигает рычажки и крутит ручки там же, а кроме того, предположим, тыкает отвёрткой в разные разъёмы. Такой персонаж, например, встречается в видеоигре Fallout: New Vegas. “Похоже, ты вообще не понимаешь, что делаешь”, – говорят этому персонажу. На что он уверенно возражает: “Нет. Я точно понимаю, что именно я делаю. Просто, я не знаю, какой эффект это вызовет”. Тут важен уровень рефлексии – так, персонаж уверен, что выполняет осмысленные действия: вращает именно те ручки, которые планировал вращать, нажимает именно те кнопки, именно в том порядке, как и планировал. А что до эффектов воздействия – ну, что ж, эти эффекты он может наблюдать и делать свои выводы о ручках и рычажках на пульте: “каждый день выясняю что-то новое”. С одной стороны, данный метод персонажу представляется вполне научным (ну, так действительно можно подумать, за вычетом модели изучаемого явления и некоторых других важных деталей), с другой – присутствует чёткий, деятельный подход, состоящий в аккуратном “нажимании на кнопки”.

Для такого управления и понимания хорошо подходит выдача какой-нибудь LLM-системы искусственного интеллекта (ИИ), обученной на описаниях последовательностей взаимодействия с “кнопками-рычажками” на разных пультах, на текстах инструкций к разным “пультовым системам”. В ответ на предложение-запрос “Какие ручки на пульте крутить сегодня?” – ИИ выдаст инструкцию из разнообразных шагов. Если в инструкции встретятся упоминания кнопок, которых на реальном пульте нет, то можно переспросить: “На пульте нет фиолетовой кнопки. ИИ-GPT, а ты уверено, что нужно нажимать именно фиолетовую?”. LLM тут же исправится, не сомневайтесь. Подход ИИ, даже с учётом необходимости переспрашивания, не вызовет никаких особенных сомнений у вопрошающего, описанного в предыдущем абзаце, поскольку в точности укладывается в его привычную концепцию “понимания”. Он точно так же планировал, что нажмёт такую-то кнопку и покрутит такую-то ручку. Идея, что хорошо бы нажать фиолетовую кнопку, если бы такая кнопка была, – тоже могла рассматриваться. Так что ИИ LLM здесь не просто “отвечает мыслям”, но и помогает их сформулировать, выдав чёткие готовые ответы в виде перечня ручек, кнопок, а также параметров нажатий и вращений. Это “удобный компьютерный инструмент”, кроме того, он обучен на всех инструкциях, а поэтому “внутри у него может быть понимание устройства” той же электростанции, уровнем точно не хуже – ведь он тоже предлагает крутить ручки и нажимать кнопки.

Квалифицированный инженер строил бы нудные предположения, в стиле, что “для увеличения скорости вращения турбины нужно приоткрыть впускной тракт номер пять ещё на тридцать процентов и соответственно скорректировать параметры клапанов, ограничивающих давление; поэтому требуется выставить ручку впуска с пятнадцати процентов на сорок пять и переключить клапана при помощи кнопок в красном секторе”. После чего уже крутил бы ручки и нажимал кнопки. Но это совсем другой подход. К тому же, реализуется он всё равно через пульт, значение которого в Новом Средневековье возрастает многократно.

Занятная особенность состоит в том, что, на практике, выдачей LLM управляет провайдер сервиса ИИ. Нельзя исключать, что этот провайдер знает все подробности об устройстве электростанции даже лучше инженера, поэтому может, в нужный момент, выдать через интерфейс ИИ подходящий набор из нажатий кнопок и вращений ручек.



Комментарии (1) »

Кстати, одним из весьма вероятных вариантов развития систем пропуска пользовательского трафика через (условный) Интернет является пропуск маршрутизаторами только пакетов, подписанных ключами доверенных приложений; либо это могут быть подписанные сессии – тут зависит от выбранного подхода. Интересно, что в описании европейского цифрового удостоверения личности (eID – European Digital Identity), которое недавно прошло очередной этап утверждения, можно уже увидеть что-то подобное, пусть и в общих чертах: приложение на устройствах, привязанное к оплате телекоммуникационных услуг – понятно, что задача идентификации интернет-пользователя там давно заявлена, но, развивая контекст по заданному направлению, нетрудно предположить, что соответствующие приложения появятся и у провайдеров на BRAS (это инженерное название для систем управления массовым клиентским доступом); даже есть занятная оговорка, что, мол, некоторое программное обеспечение, из реализующего работу eID, можно будет не публиковать в открытых исходниках (последний момент, конечно, не стоит переоценивать, но всё же).



Комментировать »

Нередко предполагается, что автомобили-роботы станут выдавать в эфир сведения о планируемой траектории движения, так как это может помочь другим автомобилям-роботам в планировании своих траекторий. Это одна из особенностей, связанных именно с роботами. Нельзя сказать, что сложно предсказать путь следования автомобиля под управлением обычного водителя-человека. Но то некий “путь”, предположим, “из точки А в точку Б”, с точностью до выбранных улиц и дорог, – не сложно, если водитель не запутывает следы специально. А вот с конкретными манёврами, составляющими отрезки траектории, трудности предсказания возникают регулярно. С роботами, как ожидается, дело другое: они могут строго придерживаться только что заявленного траекторного интервала. Это создаёт пространство для принципиально новых атак.

Представьте, что злонамеренный “участник движения” транслирует в сторону других автомобилей-роботов противоречивые траекторные данные – специально запутывает согласование, выполняет хитрую DoS-атаку. В тривиальной кооперативной системе другие роботы будут вынуждены остановиться, поскольку все их возможности движения окажутся закрыты атакующим. При этом источник атаки вовсе не обязан быть автомобилем-роботом – это может быть просто коробка с электронной начинкой, оставленная кем-то у столба на перекрёстке. Получается, коробка как бы изображает “нерешительного” водителя-человека и успешно блокирует движение роботов. И даже пассажиров, у кого они на борту, высадить нельзя на перекрёстке.

Для реализации, конечно, нужен соответствующий протокол. И можно предположить, что если такой протокол внедрят (а прототипы есть), то он будет защищён тем или иным криптографическим способом. Анонсируемые маршруты могут подписываться источниками (звучит как sBGP и RPKI), а другие участники станут проверять подписи. По причине рьяной поддержки маркетинга нетрудно приделать сюда ту или иную “иерархию удостоверяющих центров”, как это с регулярностью и происходит в смежных электронных областях (пример – eSIM и GSMA). Тогда ключи/сертификаты злонамеренных “маршрутопостановщиков” будут отозваны и прочие роботы смогут данные анонсы игнорировать. Вот только проблема в том, что это всё оказывается связано с безопасностью движения, а неверный отзыв ключа/сертификата легко может привести к тому, что добросовестные роботы на дороге проигнорируют добросовестный автомобиль-робот и, в соответствии с правилами блокбастерного кинематографа, его протаранит самоуправляемый грузовик. А соответствующий чужой сертификат, как окажется, тоже отозвал злоумышленник. С учётом Нового Средневековья, отозвать сертификат может быть даже проще, чем городить коробку-ретранслятор.



Комментарии (1) »

В Калифорнии самоуправляемый автомобиль-робот (такси) наехал на пешехода, которого перед этим сбил другой автомобиль. Более того, робот, зафиксировав столкновение, принялся, после наезда, “освобождать проезжую часть”, потому что так запрограммирован, а пешехода он тащил с собой, несколько метров, видимо, пока не нашёл действительно безопасное место для остановки.

Вообще, регулярно пишут, что замена “белковых” водителей на роботов улучшает “безопасность на дорогах”. При этом из виду упускают важный момент: конечно, кажется, что роботов можно организовать гораздо лучше, если рассматривать ситуацию с точки зрения, так сказать, синхронного движения по улицам городов – роботы так могут хоть бы и без светофоров; однако введение новых систем несёт с собой совершенно новые риски, поэтому не факт, что переход на другую, более сложную, технологию автоматически делает ситуацию “безопаснее”. Вот и в только что упомянутом случае компания-оператор, выпустившая такси, объясняет (см. ссылку в начале), что приключившаяся ситуация не входила в типовой набор тестов “страховщиков и регуляторов”, потому что, якобы, является чрезвычайно редкой – это интересный новый риск: покрыть тестами все “редкие” ситуации на дороге (что, понятно, вряд ли достижимо, даже если у вас и все пешеходы – роботы).



Комментировать »

Занятная история из Калифорнии. California Forever – проект создания особенного города силами специально под это сформированной корпорации: “новое сообщество, рабочие места, солнечная энергия, “опенспейс” и развитый общественный транспорт”, а вдобавок – сельскохозяйственные земли вокруг и крупная авиабаза транспортной авиации уже встроена. Как пишут СМИ, земли, в достаточно скрытном режиме, централизованно скупали под проект уже несколько лет. На днях придали проекту публичный статус. Тут интересно, что выживание относительно небольших коллективов в изолированных бункерах вызывает у специалистов много вопросов и сомнений, да и планировать такие варианты особенно сложно (проблемы социального управления и т.п.); поэтому гораздо более продвинутый современный вариант решения как раз и предлагает идти в сторону “сельскохозяйственных” (точнее – “земледельческих”) поселений, обладающих нужной автономностью и буферной зоной с фермами и фермерами вокруг. Что-то вроде древнегреческих городов-государств.



Комментарии (1) »

Ball and shelvesПод Искусственным Интеллектом (ИИ) в компьютере сейчас повсеместно подразумевают результат автоматического машинного перебора коэффициентов при помощи той или иной “обучающей выборки”, такой перебор направлен на оптимизацию процесса приближения некоторой сложной функции, при этом часто функция, вообще-то, не известна. В качестве одного из основных практических критериев качества служит требование, чтобы результат на некоторой тестовой выборке укладывался в рамки ожиданий “обучающего”. Заметьте, что “тестовой выборкой” могут быть и текстовые диалоги с пользователем. Необозримые наборы коэффициентов, повсеместно называемые “нейросетями”, используются не только для чат-ботов, но и для решения задач классификации данных, что обычно называют распознаванием (в популярных публикациях про это потом пишут в таком стиле, что, мол, “мы видим особенности передаваемых данных”).

Нет сомнений, что широта практического применения ИИ будет только увеличиваться. Во-первых, для такого расширения всё ещё есть много места, во-вторых – данный ИИ уже и сам себе начал создавать новые области применения (пример: обнаружение результатов деятельности ИИ при помощи другого ИИ). А из-за того, что этот ИИ – в компьютере, просматриваются неприятные особенности. Да, нейросеть, полученная в результате “машинного обучения”, это всего лишь некий автоматический фильтр, однако у этого фильтра есть большая внутрення сложность, которая обусловлена необозримостью внутренних связей между коэффициентами, составляющими фильтр. Вообще говоря, довольно вероятно, что конкретная обученная нейросеть, как набор коэффициентов, может быть порождена довольно простым алгоритмом (конечным автоматом) с минимальным начальным набором коэффициентов. Вот только распутать десятки гигабайт коэффициентов до подобного состояния слишком сложно. Поэтому в результате как бы “обучения” этих систем, повышающего их внутреннюю сложность, не возникает нового знания.

Это как раз особенно печально выглядит в тех случаях, когда ИИ применяют для решения задач классификации чего бы там ни было. Дело в том, что добротная классификация приносит с собой новые знания о соотношениях объектов разных классов, а из понимания этих соотношений возникают представления даже об особенностях объектов внутри классов. Нередко результатом усилий по классификации является обнаружение некоторой обобщённой структуры, которая порождает всё множество классифицируемых объектов, и эта структура оказывается простой и понятной (тот самый “конечный автомат” из предыдущего абзаца). В результате же “обучения” нейросети – получаем только миллиарды коэффициентов со связями между ними, которые, в лучшем случае, разбивают набор на слои. Что там нашлось “внутри”, если нашлось, не видно. Конечно, есть направления, предполагающие изучение этих наборов коэффициентов с прицелом на извлечение чего-то содержательного, может быть, даже с выдачей доказательного объяснения решения. Но пока что больше заметен “хайп”, а “доказательное объяснение” оставляют на потом.

Поскольку “ИИ в компьютере”, а компьютер “не может ошибаться”, методы начинают использовать в качестве инструментов “принятия решений”, например, по управлению автомобилем, по управлению административными процессами в организации, по управлению производством, или ещё что-нибудь подобное, не менее впечатляющее. “Алгоритмы ИИ” ничего не предсказывают, тем более, не предсказывают поведение, например, человека. Но результаты попытки предсказания могут совпадать с реальностью во многих случаях, это факт. Только причина такого совпадения в другом, не в “интеллекте”.

Вот что есть в подобном подходе, так это способ сгенерировать, в конце концов, при помощи массового перебора коэффициентов на компьютере, функцию, которая на “обучающей выборке” (иногда, ещё и на эталонной) даст результат, максимально близкий к целевому (да, целевой результат может быть выдачей “вспомогательной нейросети”, это детали). В переборе вариантов, конечно, нет ничего плохого, это, в конце концов, один из общепринятых методов доказательства в математике. Но нужно верно оценивать границы применимости, чтобы не выходило так, что получив приближение неизвестной функции в руки (часто – за много денег) пользователи “систем ИИ” почему-то полагают, что и на других данных система всегда даёт верный результат. Вот и возникает представление о “предсказании”. Но в реальности система даже и на обучающей, и на тестовой выборках никакого “верного” результата не выдавала, а только максимально близкий к целевому. Почувствуйте разницу: в системах с автоматизированным обучением “верным” оказывается результат, который, – перед тем, как запустить перебор, – задал из каких-то соображений разработчик. А дальше, когда “систему ИИ” начинают применять, этот целевой результат переносят на всю совокупность возможных событий или даже действий человека. И всё увереннее считают такой ИИ непогрешимым (наверное потому, что там “внутре” не “неонка” даже, а тот самый миллион леммингов). Это и есть одна из реальных, глобальных проблем, которую и стоило бы в популярной прессе формулировать рядом с “изменением климата” (отчасти, такое уже наблюдается, но только в какой-то завуалированной форме: вспомните все эти “предупреждения об опасности ИИ”).

Посмотрим, в качестве простого примера, на случай распознавания объектов на изображениях при помощи “обучения нейросетки”: тут на вход поступает большой набор параметров, который приводит к появлению на выходе согласованного с обучающей выборкой варианта из нескольких параметров, заранее заданных закрытым списком. Например, на входе – набор из сотен тысяч пикселей, снабжённых координатами, а на выходе – кортеж значений из названия объекта и некоторого числа: “лиса, 0.9”. Однако в какой-то момент об этом всём благополучно забывают и начинают считать, что данной нейросети что-то там стало известно о свойствах классифицируемых объектов, – например, о лисе, – и переформулируют результат: “на картинке лиса, с вероятностью 90%” (это сейчас происходит повсеместно, хотя именно о вероятности совпадения, да ещё и на выборке, отличной и от обучающей, и от тестовой, по показаниям такого фильтра – судить нельзя). Повышение значимости оценки же связано с тем, что такие манипуляции принято называть “искусственным интеллектом”. Но ведь используется всего лишь фильтр с неясными свойствами, полученный в результате псевдослучайного процесса, который гоняли на некоторой небольшой выборке входных значений. А вместо лисы на картинке может быть набор цветных треугольников, специально показанных в камеру (что неоднократно демонстрировалось на практике): “что мы знаем о лисе? ничего, и то не все”. Конечно, некоторые уже начинают о чём-то догадываться, рассказывают о “галлюцинирующих больших языковых моделях – LLM”, но, похоже, неприятных в своей массовости проблем всё равно не избежать.



Комментарии (2) »