Конец индивидуума. Путешествие философа в страну искусственного интеллекта - Гаспар Кёниг

Вопрос, поставленный Фуко, – это вопрос просвещения как такового. Мыслители и реформаторы хотели освободить человека от внешних опекунов, которые могли быть политическими, экономическими или интеллектуальными. И они настолько преуспели в этом, что технологии, рожденные свободным обществом, сегодня заняты созданием худшего вида опекунства – опекунства внутреннего, управляющего самыми что ни на есть сокровенными решениями, которые принимаются от имени индивидуального и коллективного благополучия. Именно в этом смысле человек может быть стерт, как лицо, нарисованное на прибрежном песке, – так же, как растворяется в песке лицо «Горящего человека».

Этот вопрос просвещения стал для меня очевидным только тогда, когда я встретился с Лаурой Тэйлор-Кейл, дипломатом и исследователем из Центра международных отношений, которая сегодня занимается в Стэнфорде темой адаптации организаций к технологиям.

Я прихожу на встречу первым и устраиваюсь за столиком на террасе. Когда Лаура садится напротив меня, я не могу скрыть мимолетного удивления. Она оказалась первой и последней чернокожей женщиной из всех, кого я встретил в своих странствиях. Я не особенно озабочен борьбой с дискриминацией, которая, по-моему, в американских дебатах давно вышла за пределы разумного. Но все-таки нужно признать, что одна чернокожая женщина на 125 встреч – это уже говорит о том очевидном отсутствии разнообразия в технологической среде, которое также выражается в предвзятости алгоритмов в моделях ИИ, разрабатываемых молодыми белыми мужчинами. Именно из-за этого алгоритмы распознавания лиц иногда безнадежно путали чернокожих людей с обезьянами, поскольку не обучались на достаточно репрезентативной выборке. Подробнее мы поговорим об этом в следующей главе.

Лаура, несомненно, развивает ангажированную позицию, критическую, но не диссидентскую, которая, однако, резко расходится с позицией ее коллег. Она уехала из Вашингтона, чтобы лучше, на академическом уровне, понять ИИ, которым во властных кругах все так восторгаются. Она понимает реалии повседневной жизни в центре США, где значительные территории до сих пор остаются лишенными доступа к интернету, и в то же время опасности китайской модели технологического надзора. Она жалуется на то, что публичное обсуждение этих вопросов остается крайне поверхностным, что потворствует лицемерию больших платформ и их этических комитетов.

Внезапно, без всякого особого повода, она пересказывает мне разговор со своим бойфрендом. Он спросил, что она думает о просвещении. Очевидно, этот вопрос занимал его уже давно. «Вам стоит поговорить с ним», – сказала она мне. Да, наверное. Но почему именно просвещение?

«Потому что нам придется выбирать между нашими ценностями. Между просвещением и технологией есть определенное противоречие».

Просвещение стало для нас предметом насмешки. Как и большинство ее американских коллег, Лаура не доверяет слишком общим понятиям, слишком громким заявлениям. Однако она осмеливается настаивать на своих вопросах. Должны ли мы опустить забрало? Смириться и пожертвовать своей частной жизнью? Не будет ли удобнее в условиях конкуренции с Китаем и под давлением нашего собственного популизма выбросить просвещение на свалку истории?

Мы расстаемся на этом вопросе, поставленном Лаурой, и не знаем, как на него ответить. Я вспоминаю о статье, рекомендованной мне Джоном Миклетвэйтом, и решаю ее внимательно прочесть – это статья Генри Киссинджера под названием «Как заканчивается просвещение». Легендарный (и весьма неоднозначный) министр иностранных дел времен Никсона рассказывает в ней о своем недавнем знакомстве с ИИ и справедливо сетует на то, что философы не уделяют ему должного внимания, тогда как технические специалисты не слишком озабочены этическими аспектами. Киссинджер не скрывает тревоги, связанной с риском появления неуправляемого сверхинтеллекта, который переопределит опыт сознания. Возможно, он тоже начитался Бострома… Но в то же время Киссинджер ставит более оригинальный и тонкий вопрос о новом отношении к сознанию, создаваемом ИИ. В этом новом цифровом универсуме окончательное суждение об истине теперь выносит вовсе не человеческий разум: именно накопление данных позволяет определить реальность или скорее множество реальностей, адаптированных к нашим заранее сформированным представлениям. Таким образом, «человеческие когнитивные процессы теряют свой личный характер: индивиды преобразуются в данные». Диспозиции знания, как и предсказывал Фуко, пошатнулись: человек больше не является сознательным производителем знаний, он пассивный реципиент информации. Парадокс в том, что гиперперсонализация продуктов ведет к дезиндивидуализации субъекта. Мы потребляем по индивидуальной мерке, но теряем меру себя. Под натиском непрерывного потока извещений, лишившись всякой интроспекции, «цифровой» человек теряет свою интеллектуальную и нравственную автономию.

Такие страхи могут показаться довольно абстрактными, но они постоянно мучили меня во время моего путешествия. Особенно мне вспоминается один вечер, когда я физически ощутил страх жить в мире, где, вопреки миссии, которой Кант охарактеризовал эпоху Просвещения, никто больше не осмелится воспользоваться собственным рассудком, где каждый предпочтет делегировать машине свою способность мыслить и судить. Я обедал в историческом центре Пекина с блестящей специалисткой по компьютерным наукам, шахматисткой-вундеркиндом, стажировавшейся в Колумбийском университете. Она была талантливой предпринимательницей и работала в Китае, где, в частности, основала, а потом продала стартап Law.ai, который автоматизировал вынесение судебных решений. Ее американское имя – Кэти. Какое-то время она занималась видеоиграми и создала компанию Wafa Games, используя ИИ, чтобы больше узнавать о пользователях и успешнее их удерживать. В соответствии с логикой, которая уже должна быть хорошо знакома читателю, алгоритмы позволяют определять поведение игроков и предлагать им то, что соответствует их глубинным желаниям. Машина, например, позволит новичку выигрывать, чтобы он не охладел к игре слишком быстро, а потом подстроится под его стиль игры (оборонительный или агрессивный), удовлетворяя его ровно в той мере, чтобы ему нравилось играть, и в то же время слегка фрустрируя, чтобы он снова и снова начинал игру.

Манипуляция, зависимость, желание – рутина для ИИ. Кэти, впрочем, охотно все это признала. Но если люди находят счастье в постоянных развлечениях, разве это не может считаться формой социального прогресса? Как уверенно заявила Кэти, разве жизнь – не игра, стирающая границу между виртуальным и реальным?

После трапезы, достойной Гаргантюа, мы решили прогуляться вокруг Запретного города. Кэти пожелала во что бы то ни стало угостить меня местным рисовым вином, и мы, немного шатаясь, погуляли в раскаленной китайской ночи. Мы брели вдоль каналов по мощеной дороге, на которой обычно сидят рыбаки. Надежные стены дворца приглушали громкий шум дорожного движения. Можно было даже поверить, что мы в императорском Китае, а в стране, навязчивой идеей которой стала модернизация, это поистине редкая иллюзия.

Преисполнившись спокойной меланхолии и пресыщенного пессимизма, я без стеснения ударился в стенания о будущем человечества – к великой радости Кэти, которой они показались очень french и которая специально меня подзуживала. Хочу воспроизвести вам здесь этот жалостливый монолог, возможно несколько избыточный, поскольку он позволит вам почувствовать, в какую пучину отчаяния вас может погрузить конец просвещения.

Итак, два-три века мы жили, воображая,