А.И. Эксперт Вирджиния Дигнум: проблема с вагонеткой показывает, зачем нам нужна прозрачность

Искусственный интеллект нуждается в прозрачности, чтобы люди могли привлечь его к ответственности, утверждает исследователь. Вирджиния Дигнум, доцент Технологического университета Делфта, в пятницу сказала аудитории в Нью-Йоркском университете, что, если мы не поймем, почему машины работают так, как они, мы не сможем судить об их решениях.

Дигнум процитировал историю Дэвида Берреби, научного автора и исследователя, которая была опубликована в Психология сегодня: «Факты свидетельствуют о том, что, когда люди работают с машинами, они чувствуют меньшую осознанность, чем когда они работают одни или с другими людьми».

«Проблема с тележкой», пояснил Дигнум, - это область, где люди могут слепо верить в машину, чтобы выбрать правильный результат. Вопрос в том, стоит ли переключать рычаг на гипотетическом поезде, чтобы убить одного человека вместо пяти. Люди ожидают, что машины решат проблему наиболее рациональным способом. Однако это может быть не всегда так, и прозрачность поможет объяснить, как машина пришла к своему решению.

«Это не просто очень глубокая цепочка событий нейронной сети, которую никто не может понять, а дать объяснения таким образом, чтобы люди могли их понять», - сказала она.

А.И. это делает его работу понятной - область, которую DARPA изучает. Агентство опубликовало объявление в августе, что оно ищет команды, заинтересованные в объяснимых А.И. проекты, известные как XAI. Эти системы помогут исследователям понять, почему А.И. принял решение, которое он сделал, предоставив больше возможностей для решения, что делать с полученной информацией, а не слепо доверяя машине.

В машинном обучении Дигнум отметил, что прозрачность важнее, чем когда-либо. «Мы не можем ожидать, что системы, и особенно машины машинного обучения, научатся и узнают все сразу», - сказала она.«Мы не ожидаем от наших водителей полного понимания правил дорожного движения. Во многих странах они используют эти буквы «L», чтобы показать: «Я учусь, извините меня за ошибки, которые я могу совершить». Наблюдение за ИИ, понимание того, как это происходит при принятии определенных решений, и действия, основанные на этом, будут иметь решающее значение для остановка машин, которые все еще учатся принимать плохие решения.