Лингвисты считали, что без грамматики невозможно выучить язык. Новые ИИ-модели доказывают обратное

В отличие от тщательно прописанных диалогов в книгах и фильмах, реальная беседа хаотична. Мы теряем ход мысли, делаем паузы и порой перебиваем друг друга. Чтобы совладать с непослушным характером повседневного языка, требуется своего рода клей, уверены многие лингвисты. В его роли выступает грамматика — система правил для составления грамматических предложений.

Считается, что в мозг ребенка должен быть встроен некий грамматический шаблон, который помогает восполнять недостатки лингвистического опыта. Он, к примеру, может содержать «супер-правило», определяющее, как добавлять новые элементы к существующим фразам. Затем детям нужно лишь узнать, как в их родном языке строится предложение. Например, в английским глагол стоит перед существительным («Я ем суши»), а в японском — после («Я суши ем»).

В то же время языковые ИИ-модели, несмотря на предубеждения и порой абсурдные фразы, обычно составляют грамматически верные предложения. При этом в них не заложены шаблоны и правила грамматики — они полагаются лишь на хаотичный языковой опыт.

GPT-3 — вероятно, самая известная среди этих моделей — представляет собой огромную нейросеть глубокого обучения с 175 млрд параметров. Она обучалась предсказывать следующее слово в предложении на основе сотен миллиардов слов из интернета, книг и «Википедии». Когда модель делала неверный прогноз, ее параметры корректировались при помощи алгоритма автоматического обучения.

GPT-3 может генерировать вполне логичный текст в ответ на такие подсказки, как «Краткий пересказ сюжета последнего фильма “Форсаж”...» и «Напиши поэму в стиле Эмили Дикинсон». Более того, модель способна воспринимать аналогии, анализировать прочитанное и даже решать простые арифметические задачи. И все это возможно лишь благодаря тому, что она обучена предсказывать следующее слово.

ИИ-модель и мозг человека: сравнение

Сети глубокого обучения используют те же вычислительные принципы, что и человеческий мозг, показывает исследование, опубликованное в журнале Nature Neuroscience.

Команда исследователей, возглавляемая нейробиологом Ури Хассоном, сравнила, насколько хорошо GPT-2 (предшественник GPT-3) и люди могут угадывать следующее слово в истории из подкаста This American Life. В результате почти в 50% случаев обе категории участников предсказывали одно и то же слово.

Во время прослушивания истории исследователи записывали активность мозга волонтеров. Лучше всего им удалось объяснить увиденные модели активации так: формулируя предположение, человеческий мозг, как и GPT-2, опирается не только одно-два предшествующих слова, но и на общий контекст, включающий до 100 предыдущих слов.

Авторы делают вывод: «Мы обнаружили, что у участников возникают спонтанные предиктивные нервные сигналы, когда они слушают естественную речь. Это говорит о том, что активное прогнозирование может лежать в основе изучения языка на протяжении всей жизни человека».

Читайте по теме:

Языковой барьер: как и зачем ИИ учится понимать человека

Новые языковые ИИ-модели «питаются» огромным количеством информации. Например, GPT-3 обучена на лингвистическом опыте, равном 20 тысячам человеческих лет.

Тем не менее, согласно предварительному исследованию, еще не прошедшему рецензирование, GPT-2, обученная лишь на 100 млн слов, все равно способна моделировать прогнозирование следующего слова и активацию мозга человека. В среднем ребенок получает примерно то же количество лингвистической нагрузки за первые 10 лет жизни.

Это не значит, что GPT-3 и GPT-2 должны осваивать языки так же, как это делают дети. В основе использования человеческого языка лежит понимание, которое, похоже, не свойственно языковым моделям.

Но все же нейросети доказывают: простого знакомства с языком может быть достаточно, чтобы формулировать грамматически верные предложения при помощи подхода, схожего с тем, что использует человеческий мозг.

Старая поговорка гласит: «Детей должно быть видно, но не слышно». И, похоже, это не соответствует истине, если доверять последним языковым моделям. Напротив, детей нужно как можно больше вовлекать в разговор, чтобы помогать им развивать языковые знания. Лингвистический опыт, а не грамматика, — ключ к тому, чтобы стать уверенным пользователем языка.

Источник.

Фото на обложке: Shutterstock