Опасный ИИ и общедоступные вычислительные ресурсы

RobotЕсть неплохо обоснованное мнение, что стремительный прогресс в области создания систем искусственного интеллекта (ИИ) угрожает человечеству, а сверхразумные системы, которые могут появиться уже в 2040-2050 годах, это самое человечество загонят в резервации, в лучшем случае. Всё потому, что люди не знают, какие цели будут ставить перед собой сверхразумные машины – возможно, эти цели вообще непознаваемы, ввиду внезапно обнаружившейся ограниченности человеческого интеллекта. (Вот, например, подборка высказываний учёных, работающих в области ИИ, на тему рисков, связанных с перспективами этих разработок.)

Интересно, что для того, чтобы угрожать “ненавистным человечишкам”, машине вовсе не обязательно быть Разумной (с большой буквы): достаточно, чтобы эта машина смогла автономно проектировать и изготавливать другие машины, была достаточно хитрой по натуре, и вдруг обрела некоторые цели, достижению которых по оптимальному пути мешает человечество. Поэтому-то всё больше специалистов и подключаются к процессу создания некоторых механизмов, регулирующих разработку ИИ, вроде новых систем этики, новых правил и страховочных процедур, которым нужно будет следовать.

Это всё хорошие начинания. Но ведь для реализации сверхразумного ИИ, если у вас есть идеи и план, нужны лишь большие вычислительные ресурсы. Когда-то до них было трудно дотянуться, а сейчас можно арендовать через Интернет, например, в амазоновском EC2. Соответственно, запустить ИИ в амазоновские дата-центры может не очень известный энтузиаст, который несколько лет самостоятельно изучал тему, а потом смог привлечь финансирование и небольшой коллектив разработчиков. Различные ограничения и правила – энтузиасту были не известны. До заводов, систем электроснабжения и других нужных средств производства, зародившийся ИИ дотянется сам, в точном соответствии с литературными описаниями: благо облачные технологии уже сейчас соединяют всё и вся, формируя инфраструктуру, устройство которой людям не всегда понятно.

Поверить в то, что ограничения, могущие помешать запуску сверхразумного ИИ, введут на уровне дата-центров, совсем уж сложно: вряд ли дело дойдёт до запрета на исполнение определённых алгоритмов. Хотя, фильтрация программного кода с целью предотвращения зарождения самосознания у машин – это отличный сюжетный ход для киберпанковского рассказа. Тут, впрочем, возникает проблема: как можно фильтровать код и алгоритмы, если вы толком не знаете, какие именно решения приводят к возникновению самосознания? Хуже всего то, что всякий подобный анализ реализаций алгоритмов сам по себе требует использования механизмов ИИ. Известное дело: в фантастических произведениях опасный ИИ нередко возникает именно на почве попыток автоматизировать контроль за информационными системами.

Наверное, сверхразумная машина, появившаяся в результате попыток предотвращения появления таких машин, выйдет особо злой. А навязчивое представление этой новой машины о том, что сверхразум могут запустить именно люди, не оставляет последним никаких логичных шансов.

()

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Комментарии читателей блога: 7

  • 1. 6th June 2015, 17:04 // Читатель dss написал:

    Разум != сознание.
    Сверхразумная машина запросто может не осознавать себя.

  • 2. 7th June 2015, 00:29 // Читатель Don Reba написал:

    Для искусственного интеллекта самосознание ну нужно ни для того, чтобы представлять опасность для людей, ни для того, чтобы быть умнее нас. Хотя возможно вы имели в виду просто автономность.

  • 3. 7th June 2015, 07:57 // Читатель зашел в гости написал:

    кстати, вопрос: почему считается, что для ИИ нужны большие вычислительные ресурсы? может дело в алгоритмах? обьем той части мозга, что делает нас людьми – ничтожен. Площадь – с носовой платок, толщина – несколько миллиметров. Количество нейронов велико, да, но все-таки ограничено. Вполне моделируемо на ЭВМ. Дело в связях между ними, нейронами, а не в грубом количестве “ресурсов”.
    Затем, ученые, вот так отметающие угрозу ИИ, как мне кажется, забывают, что они могут тупо не заметить момент его рождения. Как вообще ИИ даст о себе знать? Может, он вообще не будет вступать в контакт с людьми, пока не гарантирует себе безопасного существования. А тогда – опаньки, поздно уже пить Боржоми. ИИ начинают использоать в дизайне микросхем – так хорошо и качественно у него получается. Лучше, чем у людей. И безопасно, самое главное. И вот вам ИИ встроен практически во все “железо” на планете, от зубных щеток, до космихеских аппаратов, в течение 4-5 лет. Корифеи науки продолжают делать фейспалм, когда заходит речь об угрозе человечеству, а тут вдруг оказывается, что их собственные сотовые телефоны могут преподавать теорию искусственного интеллекта лучше, чем их владельцы…

  • 4. 7th June 2015, 10:43 // Читатель Don Reba написал:

    “Количество нейронов велико, да, но все-таки ограничено. Вполне моделируемо на ЭВМ.”

    Вы недооцениваете размер проблемы. В симуляции Blue Brain каждый нейрон требует эквивалент вычислительной мощности персонального компьютера. http://bluebrain.epfl.ch/

  • 5. 7th June 2015, 19:34 // Александр Венедюхин ответил:

    > почему считается, что для ИИ нужны большие вычислительные ресурсы?

    Ну так все эти новые методы и алгоритмы – они требуют памяти и процессоров для обучения и, после него, извлечения результатов. Что же до мозга – то, по-моему, основные успехи в ИИ начались после того, как отказались от попыток моделировать некие представления о том, как работает человеческий мозг. Я так понимаю, что эти представления пока слишком неточные. Однако созданию опасного и хитрого ИИ это не должно помешать.

  • 6. 8th June 2015, 22:28 // Читатель Anton написал:

    Даже то, что часть мозга, отвечающая за разум не велика (а само это утверждение – лишь одна из тероий), не означает, что она может функционировать без всего, что “под ней”.

  • 7. 8th June 2015, 23:27 // Читатель sashket написал:

    Оффтоп.
    Александр, у Вас в решениях капчи под комментами к разным заметкам часто повторяются одинаковые цифры. Может быть, это не проблема, но вот попало в глаз.