Власть роботов. Как подготовиться к неизбежному - Мартин Форд

Хотя «сочинения», генерируемые GPT-2, в общем состоятельны в отношении грамматики и структуры, даже беглое чтение позволяет понять, что в повествовании есть серьезные недостатки. Вот фрагмент из примера, выложенного на сайте OpenAI.

Стартовый фрагмент, написанный человеком

Ученый совершил потрясающее открытие. Оказывается, в не исследованной прежде долине далеко в Андах живет стадо единорогов. Еще больше исследователей поразило то, что единороги говорят на безупречном английском языке.

Текст, сгенерированный GPT-2

Ученый назвал этих существ «единорогами Овидия» по их характерному рогу. Эти четырехрогие серебристо-белые единороги были до сих пор неизвестны науке.

Сегодня, почти через два столетия, наконец раскрыта тайна происхождения этого удивительного явления.

Доктор Хорхе Перес, эволюционный биолог из Университета Ла-Паса, и несколько его спутников, исследуя Анды, обнаружили маленькую долину, где не было ни других животных, ни людей. Перес обратил внимание, что в долине имеется природный источник, обрамленный двумя горными пиками, покрытыми серебряным снегом.

Перес и его спутники проникли в глубь долины. «Когда мы достигли вершины горного пика, вода выглядела голубой с какими-то кристаллами на поверхности», — рассказал Перес.

Перес с друзьями были поражены, увидев стадо единорогов. За этими существами можно было наблюдать с воздуха, не совершая лишних перемещений, чтобы их увидеть, — они находились так близко, что можно было потрогать их рога.

Рассматривая этих диковинных созданий, ученые обнаружили, что те еще и разговаривают на весьма правильном английском языке. Перес заявил: «Мы заметили, например, что у них имеется общий „язык“, нечто вроде диалекта или диалектики»[176].

История на этом не кончается, есть еще несколько абзацев, но уже в самом начале мы узнаем об открытии нового вида «четырехрогих» единорогов. Далее нам сообщают, что единороги разговаривают на «правильном английском языке», однако у них «имеется общий „язык“, нечто вроде диалекта или диалектики». Остается лишь гадать, как следует понимать предложение: «За этими существами можно было наблюдать с воздуха, не совершая лишних перемещений, чтобы их увидеть, — они находились так близко, что можно было потрогать их рога».

Совершенно ясно, что, хотя в миллионах искусственных нейронов, составляющих огромную систему OpenAI, действительно что-то складывается, реальное понимание отсутствует. Система не знает, кто такой единорог и что «четырехрогая» разновидность противоречит смыслу этого слова. GPT-2 страдает от тех же принципиальных ограничений, что пытаются преодолеть команда Дэвида Ферруччи из Elemental Cognition и Рэй Курцвейл в Google.

В мае 2020 года OpenAI выпустила GPT-3, гораздо более мощную систему. Если нейронная сеть GPT-2 включала около 1,5 млрд весов, оптимизировавшихся в процессе обучения, то в GPT-3 их число было увеличено более чем в 100 раз, до 175 млрд. Нейронная сеть GPT-3 была обучена почти на полутерабайте текстов. Это огромный объем, вся англоязычная версия «Википедии» — порядка 6 млн статей — составляет лишь около 0,6 % от него. OpenAI на раннем этапе предоставила избранной группе исследователей ИИ и журналистов доступ к новой системе и объявила, что планирует со временем превратить ее в свой первый коммерческий продукт.

В следующие несколько недель, когда люди начали экспериментировать с GPT-3, соцсети бурлили в изумлении от ее возможностей. Получив подходящие стартовые фрагменты, GPT-3 могла писать убедительные статьи или стихотворения в стиле давно умерших авторов. Она умела даже генерировать псевдодиалоги исторических или вымышленных фигур. Один студент колледжа с помощью этой системы сгенерировал все посты для блога в жанре «помоги себе сам», который взлетел на вершину рейтинга[177]. Все это породило разговоры о том, что система является принципиальным прорывом на пути к машинному интеллекту человеческого уровня.

Однако скоро стало ясно, что самые впечатляющие примеры были выбраны из массы вариантов и что GPT-3, как и ее предшественница, часто выдавала складно написанную бессмыслицу. Обе системы OpenAI по сути представляют собой мощные механизмы прогнозирования. Если дать им последовательность слов, они превосходно предсказывают, каким будет следующее слово. GPT-3 достигла в этом деле беспрецедентного уровня, и, поскольку гигантский поток текстов, на которых система была обучена, несет в себе реальные знания, она действительно часто выдает очень полезный результат. Однако и у GPT-3 нет стабильности, и она нередко выдает чушь и не может справиться с заданиями, которые показались бы простыми любому человеку[178]. По сравнению со своей предшественницей GPT-3, безусловно, может написать гораздо более увлекательный рассказ о единорогах. Однако и она не понимает, что такое единорог.

Что, если OpenAI продолжит просто вбрасывать в эту задачу больше вычислительных ресурсов, создавать все более мощные нейронные сети? Есть ли вероятность появления истинного понимания? Мне это представляется крайне маловероятным, и многие эксперты в области ИИ чрезвычайно критически относятся к упорной вере OpenAI в масштабируемость. Стюарт Рассел, профессор компьютерных наук из Калифорнийского университета в Беркли, соавтор лучшего в мире университетского учебника по искусственному интеллекту, сказал мне, что для создания универсального ИИ потребуются прорывы, «совершенно не связанные с более крупными комплексами данных или более быстрыми машинами»[179].

Тем не менее команда OpenAI не теряет уверенности. Выступая в 2018 году на конференции, посвященной технологиям, ведущий ученый компании Илья Суцкевер сказал: «Мы оценили прогресс в этой области за последние шесть лет. По нашему мнению, существует очень серьезная возможность появления универсального ИИ в ближней перспективе»[180]. Через несколько месяцев на другой конференции генеральный директор OpenAI Сэм Альтман заявил: «Я действительно считаю, что секрет создания [универсального ИИ] в значительной мере кроется в недостаточном масштабе этих систем — их нужно делать все крупнее и крупнее»[181]. Судьба этого подхода еще не определена, но, на мой взгляд, для успеха OpenAI следует расширять поиски подлинных инноваций, а не просто наращивать размер нейронных сетей.

Возрождение символического ИИ и споры вокруг врожденной структуры

Пока исследователи сражаются с трудностями, идеи, проповедуемые сторонниками символического ИИ, переживают своеобразное возрождение. Практически все признают, что задачи, с которыми не слишком успешно пытались справиться символисты, должны быть решены, чтобы искусственный интеллект мог развиваться. За исключением относительно немногочисленных убежденных приверженцев глубокого обучения — в основном связанных с OpenAI — мало кто уверен в том, что простого масштабирования существующих нейронных алгоритмов в сочетании с более быстрыми компьютерами и более значительными объемами данных будет достаточно для возникновения логического мышления и понимания на уровне здравого смысла, без