Исследователи просят выключить убийство на всякий случай, когда нас заводят роботы

Почти каждый раз, когда возникает серьезная дискуссия о будущем искусственного интеллекта, возникает проблема анархии и владыки роботов. Идея людей и продвинутых искусственных существ, живущих вместе, породила сотни рассказов о том, как это будет работать; совсем недавно видеоигра Overwatch ошеломил мир рассказами о нашем будущем, спустя некоторое время после масштабной гражданской войны человек-робот. Когда инженер Boston Dynamics пинает одного из своих четвероногих роботов ради стресс-теста, трудно не задаться вопросом, вспомнит ли этот бот когда-нибудь об этом.

Все это (наряду с базовым здравым смыслом в отношении безопасности и несчастных случаев) привело к тому, что группа исследователей опубликовала новый документ, посвященный разработке «надежно прерываемых агентов»; системы, которые будут «прерывать» А.И. Программное обеспечение, если что-то пойдет не так. Этот документ был опубликован в Научно-исследовательском институте машинного интеллекта и представляет собой исследование о том, как разрабатывать предлагаемые системы. Исследование и предложение используют систему вознаграждений в качестве примера, и на самом деле они намного сложнее, чем просто нажать предложенную «большую красную кнопку», подробно описанную на листе. Обучение морали А.И. была основная часть предложения.

Если такой агент работает в режиме реального времени под наблюдением человека, то время от времени человеку-оператору может потребоваться нажать большую красную кнопку, чтобы предотвратить продолжение агентом опасной последовательности действий - вредных как для агента, так и для окружающая среда - и привести агента в более безопасную ситуацию. Однако, если обучающий агент ожидает получить вознаграждение от этой последовательности, он может научиться в долгосрочной перспективе избегать таких прерываний, например, отключая красную кнопку, что является нежелательным результатом. В этой статье рассматривается способ убедиться, что обучающий агент не научится предотвращать (или искать!) Прерывание окружающей среды или человека-оператора.

Должен любить его всякий раз, когда в исследовательских работах по анархии роботов используется термин «нежелательный результат» - тем не менее, статья продолжает объяснять выполнение тестов и то, что можно сделать в подобных случаях в будущем. Вы можете прочитать полный текст статьи здесь.