Совместимость. Как контролировать искусственный интеллект - Стюарт Рассел

Насколько бы эгоистичным ни представлялся человек, очевидно, в его природе есть некоторые принципы, заставляющие его интересоваться судьбой других и мыслить их счастье необходимым для него, хотя он ничего от него не получает, кроме удовольствия его наблюдать. Таковы жалость или сострадание, эмоции, которые мы испытываем при несчастье других, или наблюдая его, или получая очень живое о нем представление. То, что мы часто испытываем горе из-за горя других, в действительности слишком очевидно, чтобы требовать каких-либо доказательств.

В современной экономической терминологии забота о других обычно относится к категории альтруизма^[303]. Теория альтруизма довольно хорошо разработана и оказывает существенное влияние, в том числе на налоговую политику. Следует отметить, что некоторые экономисты рассматривают альтруизм как еще одну форму эгоизма, призванную окружить дарителя «теплым сиянием»^[304]. Безусловно, роботы должны быть осведомлены об этой возможности при интерпретации человеческого поведения, но на данный момент договоримся истолковывать сомнения в пользу людей и предположим, что они действительно пекутся о чужом благе.

Проще всего понять альтруизм, разделив предпочтения человека на два типа: связанные с собственным непосредственным благополучием и с благополучием других. (Наблюдаются значительные разногласия по поводу возможности четко их разделить, но я ими пренебрегу.) Непосредственное благополучие связано с качествами собственной жизни, такими как жилище, тепло, средства существования, безопасность и т. д., которые желательны сами по себе, а не в связи с качествами чужих жизней.

Чтобы уточнить это представление, предположим, что в мире живут только два человека, Алиса и Боб. Общая полезность для Алисы состоит из ее собственного непосредственного благополучия плюс результата перемножения некоторого коэффициента С_АВ на непосредственное благополучие Боба. Коэффициент заботы С_АВ показывает, насколько Алисе есть дело до Боба. Аналогично общая полезность для Боба состоит из его непосредственного благополучия плюс некий коэффициент заботы С_ВА, умноженный на непосредственное благополучие Алисы^[305]. Робби пытается помочь и Алисе, и Бобу, что означает, скажем, максимизацию суммы их двух полезностей. Таким образом, Робби должен уделять внимание не только индивидуальному благополучию обоих, но и тому, насколько каждого из них заботит благополучие другого^[306].