Этика, мораль и самоуправляемые автомобили

25. October 2015, 1:32 Безопасность, Футурология

Old carБогатая новая тема: как самоуправляемые автомобили (автомобили-роботы) должны вести себя в ситуациях, когда неизбежно нанесение вреда человеку и робот должен этот вред распределить. Речь о ситуации, когда автомобиль оказался перед выбором: наехать на группу пешеходов, перебегающих дорогу, или отвернуть, врезавшись в стену – пожертвовав, таким образом, своим пассажиром. В недавней работе, посвящённой исследованию отношения людей к решению роботом подобных задач, рассматривается даже три варианта: группа пешеходов против пассажира; пешеход против пассажира; случайный прохожий на тротуаре против группы пешеходов.

В голову сразу приходит предположение, что автомобиль-робот, оборудованный по последнему слову техники, просто не должен попадать в ситуации с подобными дилеммами. Действительно, при чисто математическом подходе, можно вписать такие ситуации в дерево решений, которым пользуется автомобиль, и он не станет выбирать ветки, которые, предположительно, ведут к подобным дилеммам: например, заранее остановится, если на дорогу могут выбежать пешеходы, зомбированные видом отходящего автобуса. Проблема в том, что автомобиль, запрограммированный подобным образом, скорее всего вообще никуда не сможет доехать. А если и сможет, то, при рассмотрении “граничных условий” эксплуатации, его окажется не так уж и сложно принудительно поставить в состояние дилеммы, например, предположив, что на дорогу неожиданно упало дерево (деревянное дерево, а не математическое).

Можно долго рассуждать о различных этических и философских подходах, но самый острый момент, который возникает при рассмотрении подобной ситуации, касается того, должен ли вообще автомобиль-робот убивать своего пассажира. (Собственно, исследование, проведённое в упомянутой работе, это подтверждает.) Скажем, если руководствоваться механистической (утилитарной?) концепцией, когда единственный фактор, влияющий на итоговое решение, это минимизация числа человеческих жертв, в целом ряде ситуаций машина должна, что называется, убиться об стену, унеся с собой пассажира – например, если дорогу перебегает группа людей, спасающихся от осиного роя. Но если пассажиров два, а пешеходу не повезло и он решил перебегать дорогу в одиночестве – ну, что ж, компьютер примет решение, и пешеход, к сожалению, не добежит.

Весьма непростых проблем тут гораздо больше. Предположим, что пассажир, прежде чем совершить поездку, принимает “лицензионное соглашение”, в котором есть пункт, разрешающий машине убить пассажира, “если вдруг что-то пойдёт не так”. Как быть, если пассажир взял с собой на борт недееспособных, например, ребёнка? Вполне вероятно, что логику распределения тяжкого вреда здоровью могут внести в некий стандарт, а этот стандарт, в статусе технических требований, будет утверждать государство. Тут возникает не менее сложная административная проблема: как принять закон, регулирующий и нормирующий убийство граждан автомобилями-роботами?

А хуже всего, что какой бы алгоритм не был выбран – его реализация может быть атакована злоумышленниками и хакерами. Новое направление, из области киберпанка: взлом этических алгоритмов роботов. Злоумышленники неожиданно выбегают отрядом на дорогу перед выездом из туннеля – два-три автомобиля гарантированно расплющиваются о стену. Тут, впрочем, проглядывает очевидный момент, связанный с нарушением Правил дорожного движения: относительно легко установить виновных, а наличие жёстко прописанного алгоритма поведения автомобиля позволяет снять всякую вину с пассажира, которому, правда, уже всё равно. Момент с поиском виновного тоже непрост. Взваливать ответственность на пассажира нельзя, в силу того, что у него нет никакой возможности повлиять на ситуацию, которую пытается разрулить автопилот. Но если пассажир заведомо не несёт ответственности, тогда сильно снижается “привлекательность” (если тут вообще применимо данное понятие) варианта с жертвующим собой автомобилем: пусть автомобиль-робот безусловно давит пешеходов, в конце концов – пассажир заплатил немалые деньги за эту интеллектуальную машину. И, кстати, в случае, если Правила трактуются максимально строго и формально, то у автомобиля-робота нет никаких проблем заранее тормозить перед пешеходным переходом, а у пешеходов-нарушителей – нет особых шансов добежать. Но если на дорогу всё ж упало дерево, то Правила уже нельзя применить достаточно строго.

Даже введение вместо пассажира-статиста должности “человеческого оператора” – не помогает преодолеть проблемы: если у оператора есть кнопка выбора, то когда машина оказалась в ситуации нанесения неотвратимого вреда, “человеческий оператор” просто гарантированно не успеет понять, что же случилось. Да. Даже если он внимательно следил за показаниями приборов.

Адрес записки: https://dxdt.ru/2015/10/25/7718/

Похожие записки:



Далее - мнения и дискуссии

(Сообщения ниже добавляются читателями сайта, через форму, расположенную в конце страницы.)

Комментарии читателей блога: 19

  • 1 <t> // 25th October 2015, 02:47 // Читатель Владимир написал:

    Автопилот всегда соблюдает правила, значит аварии могут случаться лишь если возникнет:
    а) сбой в автопилоте, в таком случае вопросы морали не возникают, нужно чинить автопилот
    б) юридический казус, аналогично, нужно уточнять ПДД
    в) нарушение другим участником движения (пешеходом) правил: стоит ли тут этическая проблема? пешеход нарушил правила, он должен быть готов нести ответственность. Понятно, роботу стоит оценить возможность никого не убив въехать в столб, но если возможности нет, то откуда дилемма?
    г) обстоятельство непреодолимой силы, условно порывом ветра пешехода скинуло с моста на проезжую часть – мне кажется что тут вполне уместно было бы позволять самому водителю определить правила жертвования собой, например – бабку давим, если ребенок – то едем в стену. Пассажир обязан согласиться с этими правилами, либо ехать на другой машине. В общем, оставить ровно ту же систему что и сейчас.

  • 2 <t> // 25th October 2015, 03:54 // Читатель Прохожий написал:

    Вот не вижу в вами перечисленном, наверное, более правильного варианта, в котором рассчитывается ущерб нанесенных всем участвующим _нелетальных_ повреждений в случае описанных выборов. А то сразу – убивать иил нет. Некорректно, две крайности. А так и выживут все, и может даже легко отделаются. Хотя выбор “инвалид на всю жизнь или труп” – этически-то будут вопить, что “жызнь бесценна и тра-ла-ла”, тогда как в реальности…

    Ту работу не читал)

  • 3 <t> // 25th October 2015, 05:37 // Читатель зашел в гости написал:

    а на скамью подсудимых пойдет кто? владелец авто, производитель, разработчик софта, или профессор философии, чьи этические принципы легли в основу алгоритма “дерево-или-пешеходы”?
    Проблема в том, что самоуправляемый автомобиль – это тот сценарий, где киберпространство пересекается с meatspace, с нашей повседневной жизнью. каждый баг, каждый глюк – это потеря управления пвтомобилем. а глючит даже Z/OS…

  • 4 <t> // 25th October 2015, 11:50 // Читатель Antonio написал:

    Да, сложная дилемма

  • 5 <t> // 25th October 2015, 20:54 // Читатель Apazhe написал:

    А где тут этическая дилемма вообще? Кто нарушил ПДД – тот и мудак. А так как робот ПДД умышленно нарушать не может, с него и взятки гладки. И с его создателей тоже.

  • 6 <t> // 26th October 2015, 18:18 // Читатель Jeff Zanooda написал:

    > Кто нарушил ПДД – тот и мудак

    А если никто не нарушил ПДД? На дорогу перед роботом упало дерево. Робот может ничего не делать, въехать в дерево и убить пассажира. Или объехать дерево по обочине, сбив велосипедиста.

    Есть целый раздел науки – экспериментальная этика. Там пытаются нащупать правила, которым люди следуют в подобных случаях. Но при этом не факт, что люди поступают рационально, и скорее всего робот по крайней мере теоретически может найти оптимальное в каком-то смысле решение (например, максимизировать ожидаемую сумму QALY участников событий).

  • 7 <t> // 27th October 2015, 01:59 // Читатель зашел в гости написал:

    а семье сбитого велосипедиста по барабану, кого там кто обьезжал. человек ехал на своем велике, по правилам, и его убили. причем, совершенно намерено, хладнокровно, по результатам каких-то подсчетов.
    и вот у нас судебное разбирательство. с одной стороны – труп велосипедиста. с другой – оправдания. типа, это не я, это – робот, алгоритмы, экспериментальная этика, и расчеты потенциального(!) ущерба от столкновения с деревом. адвокаты семьи покойного радостно потирают руки.

  • 8 <t> // 27th October 2015, 17:37 // Читатель Kunis написал:

    Именно об этом сегодня статья на N+1.
    https://nplus1.ru/news/2015/10/26/trolley-problem

  • 9 <t> // 28th October 2015, 00:12 // Читатель sashket написал:

    Для начала, соблюдение скоростного режима и дистанции никто пока не отменял. Перед пешеходным переходом ТС с автопилотом снижает скорость до минимума. Если пешеход выбежал на дорогу в неположенном месте – ССЗБ. Что касается дерева, то практически все современные автомобили в краш-тестах собирают по четыре-пять звёзд, а Тесла так вообще не имеет двигателя в привычном смысле слова (центнера железа, который при лобовом въезжает в салон, калеча и убивая пассажиров). А вообще автопилот на дорожном транспорте – бред. Это идея-фикс автопроизводителей по переносу вины за ДТП с человека на компьютер. Мол, что-то там заглючило, закоротило и все дела. А “рафик не уиноуат”(с).

  • 10 <t> // 29th October 2015, 02:59 // Читатель Anton написал:

    Это несколько надуманная дилема. Уже сейчас, при все еще не самых лучших автопилотах, роботы водят лучше, чем люди и в ДТП почти не попадают. Уже сейчас они вполне неплохо действуют в непредвиденных разработчиками заранее ситуациях.
    Т.е. пофигу, как в конкретной ситуации поведет себя робот, лишь бы он вел себя значительно лучше в среднем, чем люди.

  • 11 <t> // 29th October 2015, 06:30 // Читатель Jeff Zanooda написал:

    sashket, двигатели при лобовом уже давно не въезжают в салон. У кого въезжали, тот не получил четырёх-пяти звёзд и ушёл с рынка. Тесла в этом отношении ничуть не лучше, учитывая силовые провода с напряжением в шестьсот вольт, не говоря уже о батарейной химии.

    Тем не менее при прямом лобовом столкновении на сотне километров в час никакая пассивная безопасность не помогает, потому что плющится уже сам салон. И делать его более прочным смысла нет, потому что ускорения такие, что всё равно внутри никто не выживет.

    Почему автопроизводители заинтересованы в переносе вины за ДТП с водителей на компьютер мне тоже непонятно. Компьютер штука неодушевлённая, поэтому в суд подавать будут как раз на автопроизводителей.

  • 12 <t> // 29th October 2015, 23:15 // Читатель sashket написал:

    > …поэтому в суд подавать будут как раз на автопроизводителей.

    Речь не об этом. А об “обстоятельствах неодолимой силы”. Таракан закоротил контакты, бурундук перегрыз провода, камушек от колеса куда-то влетел и т. д. “рафик не уиноуат”.

  • 13 <t> // 29th October 2015, 23:15 // Читатель sashket написал:

    > …при прямом лобовом столкновении на сотне километров в час…

    Вот именно. Я поэтому и упомянул о соблюдении максимальной скорости и дистанции. А в результате дистанционного хакинга, например, о котором Александр неоднократно писал, автопилот вдруг может “решить”, что он едет не по городу, а по скоростной трассе и самая большая нехорошесть в том, что пассажир практически никак не сможет вмешаться в ситуацию. Ну если учесть, что пассажир, к примеру, не продвинутый автослесарь или айтишник, который выломает торпеду и начнёт замыкать вырванные провода, а какая-нибудь бабуля лет 80-ти. Которая в обычном автомобиле всегда имела шанс в случае возникновения нештатной ситуации сбросить газ, затормозить, выключить зажигание, вырулить на обочину и т. д.

  • 14 <t> // 30th October 2015, 00:39 // Читатель зашел в гости написал:

    sashket,

    если таракан смог закоротить контакты, значит, они были недостаточно защищены. вина производителя. судом изымается производственная документация, и если всплывает, что производитель срезал углы, чтобы сделать подешевле…
    то же и с дистанционным хакингом. во-первых, сам факт хакинга производителю нужно будет еще доказать. А во вторых – см выше, о недостаточной защищенности.
    на “обстоятельства неодолимой силы” (т.н. “acts of god”), естественно, что-то будет списано. Но, так как самоуправляемый автомобиль для неспециалиста, по-сути – это black box, то производителей судить будут нещадно.

  • 15 <t> // 31st October 2015, 02:18 // Читатель sashket написал:

    Зашел в гости, да я ж не спорю, судиться будут, конечно. Не зря же всюду пишут дисклеймеры типа “не засовывайте кошек в микроволновку”. Суть в том, что прослеживается явная тенденция, сводящаяся к тому, что бедного юзера хотят оградить от тяжкого бремени думать и принимать решения. ” – Вы, что же, и пальцы за меня загибать будете? – Агааа.”(с). У А. Розова в романе “Рыцари комариного писка” этот момент хорошо описан.

  • 16 <t> // 2nd November 2015, 05:19 // Читатель зашел в гости написал:

    эта тенденция прослеживается уже многие тысячи лет: “молитесь, и будете спасены”, “если я стану сенатором, то …”, “вкладывайте деньги в наш банк, и мы вам …”… так что дело точно не в ней. дело скорее в колоссальном отрыве технологий от “масс”. 99% пользователей айфона не смогут вам обьяснить даже а общих чертах его ключевые технологии. но айфон – это игрушка. а автомобиль – физическое воздействие лично на вас, и вешу семью. это, как боязнь прививок, самолетов, ГМO, и т.д.

  • 17 <t> // 4th November 2015, 00:48 // Читатель sarin написал:

    робот в принципе таких решений принимать не должен. как и водитель, по большому счёту. развивается аварийная ситуация – тормози. машина не мотоцикл, всё-таки

  • 18 <t> // 5th November 2015, 18:28 // Читатель Jeff Zanooda написал:

    > развивается аварийная ситуация – тормози

    Это и есть принятие решения. Есть две альтернативы – объезжать или не объезжать. Разница только в том, кто именно пострадает и с какой вероятностью.

    Если вам в лоб по встречной летит чувак, который не успел завершить обгон и вернуться обратно в свой ряд, вы тоже будете тормозить и ждать столкновения? Или уйдёте на правую обочину, нарушив тем самым ПДД, но дав дорогу дураку?

  • 19 <t> // 10th November 2015, 18:16 // Читатель sarin написал:

    на дорогах, где роботы и люди ездят вместе скорость должна быть ограничена шестьюдесятью километрами в час. магистрали с большей скоростью должны быть либо полностью автоматическими, либо управляться только людьми. робот гарантированно успеет сбросить скорость с шестидесяти до такой, которая не сможет нанести серьёзных травм человеку.

    для того чтобы избежать наезда с травмами на случайных пассажиров, погнавшихся за автобусом не обязательно оставаться в гараже. достаточно правильно выбрать скоростной режим.