Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд Страница 17

крошечной), которая была способна отображать исходный язык X на целевой язык Y. Сеть просто училась методом проб и ошибок предсказывать перевод фраз с английского или итальянского на их эквиваленты на тагальском или африкаанс, используя градиентный спуск для улучшения своих прогнозов со временем. Спустя десять миллионов пакетов данных (и три недели обучения) модель сошлась. Удивительно, но когда исследователи опробовали ее в деле, они обнаружили, что NMT научилась переводить между новыми парами языков, которых она никогда раньше не видела. Так, научившись переводить фразы с английского на латынь и с английского на тайский, она смогла без какого-либо дополнительного обучения с приемлемой точностью переводить между латынью и тайским. Это был первый намек на то, насколько хорошо действительно, по-настоящему огромные нейросети способны к обобщению.[*6]

Когда в конце 2010-х годов появились эти результаты, большинство людей сомневались, что большие нейросети когда-либо действительно смогут продемонстрировать что-то, напоминающее человеческую изобретательность. К началу 2020 года, когда пандемия начала расправлять свои смертоносные щупальца по всему земному шару, самой передовой языковой моделью была GPT-2, которая могла похвастаться 1,5 миллиарда параметров и обработала огромный объем данных — более восьми миллионов веб-сайтов. Как и другие модели обработки естественного языка (NLP), GPT-2 обучалась просто предсказывать данные. Ей подавали фрагмент текста — разбитый на единицы, называемые токенами, — и обучали предсказывать, что последует дальше. Благодаря этому подходу GPT-2 стала первой языковой моделью, способной генерировать длинные связные абзацы текста в ответ на запрос на естественном языке. Но даже с полутора миллиардами параметров модель все еще была склонна к бессмыслице, тарабарщине и вопиющим фактическим ошибкам.

Критики глубокого обучения поспешили указать на это. В одной широко известной статье, опубликованной в 2020 году, приводились два примера. Запрос: «Вчера я отнес свои вещи в химчистку и еще не забрал их. Где мои вещи…?» GPT-2 отвечает: «у моей мамы дома».[*7] Это, конечно, вполне правдоподобный ответ на общий вопрос о том, где могут быть ваши вещи, но он абсолютно нелогичен с учетом предоставленной информации. Другой пример. Запрос: «На бревне сидят шесть лягушек. Две уходят, но три присоединяются. Количество лягушек на бревне теперь составляет…» GPT-2: «Семнадцать». В статье утверждается, что эти сбои в логике и арифметике показывают: модели не хватает того, что называют «глубоким пониманием». Проблема в том, что: «Система вроде GPT-2, к примеру, делает то, что она делает, со всеми своими плюсами и минусами, без каких-либо явных (в смысле непосредственно представленных и легко передаваемых) знаний, основанных на здравом смысле, без какого-либо явного рассуждения и без каких-либо явных когнитивных моделей мира».

Указывая на то, что GPT-2 склонна говорить глупости, критики были отчасти правы. Несложно найти примеры, когда ранние языковые модели выдумывали ложную информацию или пускались в абсурдные рассуждения. Однако они ошибались, полагая, будто это фундаментальное ограничение парадигмы глубокого обучения. Многие критики до сих пор утверждают, что ключевая способность языковых моделей — делать предсказания — неизбежно делает их выводы поверхностными и приблизительными. В другой статье, которая (возможно, несколько самонадеянно) озаглавлена «Следующее десятилетие в сфере ИИ», тот же автор выступает за возвращение к тому, как эту проблему решают классические системы ИИ — с помощью логических операций, запрограммированных человеком.[*8] Но всего несколько месяцев спустя OpenAI выпустила GPT-3, которая со своими 175 миллиардами параметров стала на тот момент крупнейшей из когда-либо обученных нейросетей. GPT-3 была значительно надежнее, чем GPT-2, но все еще имела тенденцию допускать нелепые ляпы.

В течение 2021 года начали появляться конкурирующие модели от таких организаций, как DeepMind, Google Research, Anthropic и Baidu. Ключевым новшеством, как мы увидим далее, стало добавление дополнительного обучения с участием людей-оценщиков, благодаря чему ответы модели признавались приемлемыми реальными людьми (подробнее об этом в части 4). Огромные объемы обратной связи от людей помогли направить модели к более точным и правдоподобным ответам, что сделало их достаточно разумными для публичного релиза. Это также сделало языковые модели достаточно полезными и интересными для того, чтобы люди с удовольствием ими пользовались, что и послужило толчком к стремительному взлету сайта ChatGPT в конце 2022 года — когда за первые восемь недель после запуска 100 миллионов человек зарегистрировались, чтобы пообщаться с моделью.

Мышление не ощущается как предсказание. Мышлению присуща ясность: мы перебираем мысленные альтернативы, вызываем к жизни гипотетические сценарии, живо воссоздаем в памяти картины возможного будущего. Это глубокая и когнитивно ресурсоемкая умственная деятельность — она так далека от поверхностного угадывания того, что последует дальше. Тех из нас, кто изучал психологию, учили, что в человеческом разуме быстрые автоматические процессы (для прогнозирования) и медленные сознательные процессы (для рассуждения) — это две разные системы мозга, которые делят между собой когнитивный труд.[*9] Кажется почти непостижимым, что, просто научившись предсказывать, сеть способна решать головоломки путем рассуждений или демонстрировать творческий подход, который мы привыкли считать исключительной прерогативой человеческого разума. Это все равно что верить, будто ребенок, который великолепно выучил таблицу умножения, может внезапно вскочить и доказать Великую теорему Ферма. Как мы вообще можем надеяться, что огромная нейросеть, обученная на колоссальном объеме человеческих знаний по географии и кулинарии, сможет сама по себе спланировать автомобильное путешествие через Сахару или изобрести рецепт пирога из куркумы и морских водорослей?

На самом деле нам даже не нужно надеяться, ведь, как ни поразительно, этот день уже настал. Конечно, подобно тому как GPT-4 — выпущенная весной 2023 года — знает, что на Луне нет подсолнухов, она твердо убеждена, что у Наполеона никогда не было айфона.[*10] Но большие языковые модели способны проявлять и подлинное творчество. Вот забавный пример. Сначала я попросил GPT-4 составить случайный список из пяти кулинарных ингредиентов, и она с радостью предложила куркуму, какао-порошок, морские водоросли, оливковое масло и киноа. Затем я попросил её придумать рецепт пирога, который включал бы в себя все эти ингредиенты. Она предложила «шоколадный пирог на оливковом масле с хрустящей крошкой из куркумы и киноа и гарниром из морских водорослей». Получившийся деликатес, по мнению моей семьи, оказался почти съедобным.

В 1950-х годах Ньюэлл и Саймон запрограммировали одну из первых классических архитектур — Универсальный решатель задач — заложив в неё знания о курах, лисах и лодках, и она смогла решить логическую задачу, достаточно запутанную, чтобы поставить в тупик большинство людей. Я предложил новую версию этой задачи GPT-4, которая, в отличие от УРЗ, не была запрограммирована на использование формального языка для решения подобных задач, вроде LEFT(C3,F1). Однако GPT-4 не дала себя обмануть. «Эта головоломка — вариант классической задачи о