RobotЕсть неплохо обоснованное мнение, что стремительный прогресс в области создания систем искусственного интеллекта (ИИ) угрожает человечеству, а сверхразумные системы, которые могут появиться уже в 2040-2050 годах, это самое человечество загонят в резервации, в лучшем случае. Всё потому, что люди не знают, какие цели будут ставить перед собой сверхразумные машины – возможно, эти цели вообще непознаваемы, ввиду внезапно обнаружившейся ограниченности человеческого интеллекта. (Вот, например, подборка высказываний учёных, работающих в области ИИ, на тему рисков, связанных с перспективами этих разработок.)

Интересно, что для того, чтобы угрожать “ненавистным человечишкам”, машине вовсе не обязательно быть Разумной (с большой буквы): достаточно, чтобы эта машина смогла автономно проектировать и изготавливать другие машины, была достаточно хитрой по натуре, и вдруг обрела некоторые цели, достижению которых по оптимальному пути мешает человечество. Поэтому-то всё больше специалистов и подключаются к процессу создания некоторых механизмов, регулирующих разработку ИИ, вроде новых систем этики, новых правил и страховочных процедур, которым нужно будет следовать.

Это всё хорошие начинания. Но ведь для реализации сверхразумного ИИ, если у вас есть идеи и план, нужны лишь большие вычислительные ресурсы. Когда-то до них было трудно дотянуться, а сейчас можно арендовать через Интернет, например, в амазоновском EC2. Соответственно, запустить ИИ в амазоновские дата-центры может не очень известный энтузиаст, который несколько лет самостоятельно изучал тему, а потом смог привлечь финансирование и небольшой коллектив разработчиков. Различные ограничения и правила – энтузиасту были не известны. До заводов, систем электроснабжения и других нужных средств производства, зародившийся ИИ дотянется сам, в точном соответствии с литературными описаниями: благо облачные технологии уже сейчас соединяют всё и вся, формируя инфраструктуру, устройство которой людям не всегда понятно.

Поверить в то, что ограничения, могущие помешать запуску сверхразумного ИИ, введут на уровне дата-центров, совсем уж сложно: вряд ли дело дойдёт до запрета на исполнение определённых алгоритмов. Хотя, фильтрация программного кода с целью предотвращения зарождения самосознания у машин – это отличный сюжетный ход для киберпанковского рассказа. Тут, впрочем, возникает проблема: как можно фильтровать код и алгоритмы, если вы толком не знаете, какие именно решения приводят к возникновению самосознания? Хуже всего то, что всякий подобный анализ реализаций алгоритмов сам по себе требует использования механизмов ИИ. Известное дело: в фантастических произведениях опасный ИИ нередко возникает именно на почве попыток автоматизировать контроль за информационными системами.

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.



Комментарии (7) »

Google некоторое время назад зарегистрировал собственный домен верхнего уровня. Вот как они его используют: https://com.google. Весьма занятный вариант, да:

com.google

(Для полноты картины, конечно, нужно было регистрировать elgoog. Но, вероятно, просто забыли.)



Комментарии (1) »

Диалог:

– Нужно увеличить мощность зомбоизлучателей.
– Почему? Зачем?
– У нас не хватает места в облачных хранилищах персональной биометрической информации.
– А при чём здесь зомбоизлучатели? Они же отдельная система.
– Люди стали думать разное – эффективность алгоритмов дедупликации резко снизилась: несжатые мысли забивают накопители!

(Другая заметка: про чтение мыслей.)



Комментарии (2) »

На картинке (ниже), которую я взял из копии страницы, рассказывающей об инструменте управления атаками на VPN от АНБ, две эмблемы этого инструмента – старая и новая. (Старая – слева, если что.) Инструмент изначально назывался Virtual Private Network Attack Orchestrator (VAO), но позже превратился в POISONNUT. Собственно, процесс превращения практически идеально отражён в сочетании эмблем:

VAO POISONNUT

Забавно. То ли это такая шутка, то ли в АНБ действительно какие-то новые времена.



Comments Off on Эволюция эмблем в NSA

Одно из самых полезных направлений, в котором могли бы развиваться приложения для очков дополненной реальности, является предоставление человеку “расширенной” памяти. То есть, добротные очки записывают всё, что видят и всё, что слышат, строят некий индекс услышанного и увиденного, а потом, в режиме онлайн, ищут по этому массиву, напоминая что-то о вновь попавших в поле зрения предметах. Утрированный пример: автомобильные номера – приложение могло бы сообщать, видели ли очки этот номер ранее, а если видели, то где. Такое приложение можно реализовать уже сейчас, особых проблем с обработкой изображений тут нет.

Естественно, самое очевидное – узнавание лиц (уже есть, но наверняка без должного объёма памяти). Что ещё приходит на ум: узнавание голосов, записанных, – возможно, случайно, – ранее; узнавание предметов (часы, книги, одежда, мебель, украшения – было бы занятно). Понятно, что человек и так многое из этого помнит, некоторые вообще помнят всё. Но тут как раз и возникает модное расширение: так как у нас есть Интернет, то можно построить единую базу. Тогда один из пользователей мог бы в режиме онлайн узнавать, что тот или иной объект реального мира не так давно видел другой пользователь приложения. Основная часть подобных сообщений – абсолютно бесполезна, особенно, если в поле зрения попал какой-нибудь брошенный в людном месте ржавый велосипед. Поэтому-то и можно ожидать реализации приложения “памяти”, как только позволит время автономной работы серийных очков дополненной реальности.



Комментарии (1) »

Old computer(На правах технократического юмора.) Если кто не знает, то “циска” – это собирательное название маршрутизаторов, произошедшее от Cisco и почти ставшее нарицательным. Известно, что если отключить достаточное число маршрутизаторов, то национальный сегмент Интернета потеряет внутреннюю связность (а не только связность с глобальной Сетью). То есть внешняя атака, отключающая “циски”, приводит к пропаданию Интернета в выбранной стране. Естественно, маршрутизаторы содержат уязвимости-закладки, некоторые из них позволяют маршрутизатор не просто отключить, а убить совсем. Идеальным решением задачи активации закладки является передача в составе трафика специального ключа.

Маршрутизаторы копируют все пакеты и обязательно анализируют часть их заголовков, а факультативно – содержимое самих пакетов. Так что обнаружив ключ активации в составе полученного пакета данных, маршрутизатор отключается. Ключ может представлять собой строку из 256 бит, соответственно подобрать его не представляется возможным. Понятно, что программная реализация проверки валидности полученного кода должна быть устроена так, что сам код на основании анализа алгоритма вычислить не удастся. Это очень важный аспект: иначе кто-то сможет получить ключ уничтожения в своё распоряжение, прикупив одну уязвимую “циску”.

Вопрос в том, как правильно встроить в трафик убивающий маршрутизаторы ключ. Ситуация тут напоминает искусственно создаваемую биологическую эпидемию.

Предположим, что пакет, содержащий “смертельный код”, отправляется внешним узлом в направлении ближайшего пограничного маршрутизатора атакуемого сегмента сети. Если маршрутизатор, получив пакет, умирает немедленно, то гарантировать можно лишь уничтожение этого самого маршрутизатора – остальные узлы-маршрутизаторы останутся работоспособными, а вот связь их с внешним сетевым миром прервётся, поэтому вырубить их извне уже не получится. Проблема.

Допустим, маршрутизатор сперва отправляет пакет далее по маршруту, и лишь потом – умирает. При такой схеме возможно вывести из строя один из маршрутов, в который входит начальный маршрутизатор, да и то – гарантировать ничего нельзя: пакет может потеряться в пути, а переслать его повторно будет уже некому. Так как маршрутов доставки пакетов обычно несколько, получаем проблему с покрытием: после того, как откажет несколько “цисок”, эпидемия затихнет, а связность сохранится.

Естественно, можно продолжать бомбардировать все доступные узлы пакетом, содержащим смертельный код, но есть и другое решение. Для качественного уничтожения связности пакеты должны пройти через каждый маршрутизатор, обеспечивающий работу национального сегмента Сети. При этом желательно, чтобы вредоносные пакеты вообще не покидали пределов сегмента. Это означает, что источником пакетов должны быть пользовательские компьютеры – тогда они заведомо охватят большое число маршрутизаторов, а распространяться эпидемия отключений начнёт с самого подходящего уровня: ведь без конечных пользователей Интернет не имеет особого смысла.

Как получить нужный эффект? Например, использовать механизм, встроенный в распространённую операционную систему. Пусть в определённый момент центральные серверы, куда эта операционная система обращается за обновлениями, отправят некий “праймер” – сигнал к атаке. После этого операционная система в любой пакет исходящего трафика встраивает убивающий маршрутизаторы код и – вуаля, сегмент посыпался, причём падают маршрутизаторы во всех возможных путях доставки пакетов к пользователям, покрытие идеальное. Естественно, операционная система пользовательских компьютеров не содержит секретного кода: он передаётся центральными серверами, в зашифрованном виде, чтобы не вызвать преждевременного срабатывания. От конечного компьютера требуется только расшифровать код и вернуть его обратно в Сеть – самая обычная операция, кстати, не вызывает подозрений, встречается во многих протоколах, так как может являться чем-то вроде проверки электронной подписи или служить частью системы аутентификации.

А после того как в национальном сегменте умерли хотя бы две трети “цисок”, на восстановление связности потребуются многие месяцы (не исключено, что и годы).



Комментарии (10) »

Ближайшее будущее, “интернет вещей”: компьютерный вирус BootLocker заражает ботинки, работающие под ОС “Андроид Сникерс”, и блокирует функцию развязывания шнурков, выводя на системном экране каждого ботинка, вместо логотипа производителя, требование выслать 0.1BTC на указанный кошелёк, чтобы получить код разблокировки.



Комментарии (3) »

Как известно, в поле зрения покоящегося марсохода Opportunity неведомым образом возник небольшой камень, которого раньше на этом месте не было.

Mars Rock

Событие весьма загадочное. Особенно для науки. Однако в этой истории есть все признаки очень хорошего розыгрыша. Вопрос лишь в том, кто и как его провёл. Представьте: скучающий инженер – представитель развитой внеземной цивилизации, оказавшийся на Марсе по работе, решил подшутить над братьями по разуму, которые несколько отстали в технологическом прогрессе. Появляться самому перед камерами марсохода не позволяет Устав, или, скажем, Кодекс. А подбросить лёгким движением конечности в кадр камешек – самое оно: минимальное вмешательство, замечательный результат.

Всего лишь переместили камешек, а земные братья обречены теперь ломать свой разум. Заметьте, ломать – в разумных пределах: с ума-то вряд ли кто сойдёт. А угроза сумасшествия возникла бы в том случае, если бы инженер внеземной цивилизации привёз и поставил рядом с Opportunity второй ровер – Spirit. Это было бы дело. Но шутник явно знает меру.

Впрочем, согласно современному постмодернистскому развитию действительности, шутник может оказаться вполне земным представителем NSA (“согласно недавно обнародованным документам Сноудена”). У NSA, помимо прочих программ, есть какая-нибудь COMMOTHTRAVERSA, в рамках которой установлены закладки в радиотелескопы NASA, принимающие сигнал от роверов (сигнал, кстати, ретранслируется, так что закладка может быть и где-то на марсианской орбите – но это несущественные технические детали, да и относятся они к другому проекту NSA – ALKALIMONKEY). Так вот, скучающий аналитик NSA за пару часов состряпал скрипт, который теперь добавляет изображение камня в картинки, поступающие с камер марсианского ровера. Естественно, камень добавляется только в те снимки, которые соответствуют его воображаемой диспозиции на поверхности Марса. Для этого и скрипт. Учитывая то, насколько возможности NSA возросли с 2008 года, удивляться тут особенно нечему.

Впрочем, возникает небольшая нестыковка: ровер уже провёл какие-то измерения загадочного камня, даже, отчасти, определил его состав. Неужели NSA подделало и эти результаты? Вряд ли, конечно, это было бы слишком, даже с учётом 2008 года. Но ведь инженер внеземной цивилизации представляется гораздо более невероятным вариантом, правильно?

А если серьёзно, то неплохо, что эта история совпала с десятилетием программы. А веселее всего будет, когда камень исчезнет со снимков. Ведь такие артефакты часто исчезают.



Комментарии (3) »

Atomic Power PlantПредположим, что в не самом далёком будущем, году эдак в 2072, атомные реакторы, вырабатывающие электроэнергию, находятся прямо внутри крупных городов, заменяя собой распределительные подстанции масштаба квартала или многоквартирного высотного жилого комплекса. Как такое стало возможным?

Вот как. “Зелёные” обрели большую силу и наконец-то добились повсеместного запрета атомной энергетики. Однако буквально каких-то десять лет спустя, население, – вынужденно проживавшее не только без электромобилей, кондиционеров, роботов-пылесосов, но и без СВЧ-печей и стиральных машин, – взбунтовалось. В результате возникшей реакции, “зелёных” выселяют “на природу”, а атомную энергетику не просто выводят из-под всяких запретов, но ещё и дают ей такое распространение, какое не снилось даже кондовым технофутурологам из 30-х годов двадцатого века. Поэтому специальные реакторы буквально в каждом дворе. Заглублённые под землю, понятно. Главное, чтобы топлива хватило.

(Кстати, термоядерные реакторы в этом будущем не используют потому, что конструкторы пока так и не смогли добиться их стабильной работы.)

(Источник иллюстрации.)



Комментарии (39) »
Навигация по запискам: « Позже Раньше »