Машины начали превосходить людей в тестах на чтение. Но правда ли они улавливают смысл?

В 2018 году группа американских исследователей представила тест GLUE (General Language Understanding Evaluation), который позволяет проверить, понимает ли компьютер прочитанное. Например, в одном из заданий GLUE нужно определить, верно утверждение или нет, на основе данных из предыдущего высказывания. Если машина способна подтвердить, что из фразы «президент Трамп приземлился в Ираке и начал семидневный визит» следует «президент Трамп отправился в заграничную командировку», то она проходит это испытание.

Однако даже самые продвинутые нейросети поначалу не слишком хорошо справлялись с этой, казалось бы, простой задачей. Лучшие из них получали не больше 69 баллов из 100, то есть оценку D+ по американской балльной системе. Создатели GLUE не удивились этому: хоть искусственный интеллект и показывал многообещающие результаты в области обработки естественного языка, ученые не были уверены, что ИИ хоть что-то знает о сущности языка.

Такое положение дел сохранялось недолго. В октябре 2018 года Google представила нейросеть BERT, которая получила в GLUE 80,5 баллов. Таким образом, машины перешли с оценки D+ на B- всего за шесть месяцев.

Но эксперты по-прежнему сомневались — действительно ли ИИ начал понимать язык или просто лучше выучил правила игры? Не станет ли это повторением истории с Умным Гансом — конем, жившим в начале XX века и якобы умевшим производить арифметические операции (позже выяснилось, что он реагировал на поведение хозяина, который неосознанно давал ему подсказки и до последнего верил, что животное разумно)?

Основная проблема

Основная проблема заключается в том, что все правила естественного языка слишком сложно описать. Знаменитая фраза лингвиста Ноама Хомского «бесцветные зеленые идеи яростно спят» доказывает, что конструкция может быть идеальной с точки зрения синтаксиса, но совершенно бессмысленной с точки зрения семантики. Однако как же учесть все подобные языковые нюансы?

Поначалу исследователи пытались научить нейросети писать собственные правила сочетаемости языковых единиц — этот процесс назывался подготовкой к тренировке. Однако машины все равно не учитывали разницу между смыслом слов в предложениях.

В этом могло помочь создание более детальных правил, учитывающих не только значение отдельных слов, но также синтаксис и контекст. И в начале 2018 года еще одна группа ученых из США начала обучать нейросети с применением лингвистического моделирования.

ИИ обучался на огромных массивах текстов из открытых интернет-источников наподобие «Википедии», но это не принесло нужных результатов. Лучше всего с GLUE справилась нейросеть GPT, которая целый месяц анализировала примерно миллиард слов из более чем 11 тысяч цифровых книг. Однако и она набрала всего 72,8 балла.

Появление BERT

Что же такое BERT? По словам ученых, это не полностью обученная нейросеть, а скорее основа для нее, которую можно настроить для решения разных задач, связанных с естественным языком. Ее дополняют три элемента: подготовка к обучению с помощью лингвистического моделирования, способность выделить наиболее важные элементы предложения и нелинейное восприятие фразы.

Суть нелинейного восприятия заключается в том, что нейросеть может увидеть разные виды связи слов в предложении «собака кусает человека»: в частности, отношения подлежащего и сказуемого («собака кусает») и отношения сказуемого и прямого дополнения («кусает человека»). Таким образом, компьютер обнаруживает связи между словами, даже если они не расположены рядом.

В отличие от других программ, читающих слева направо, BERT читает одновременно слева направо и справа налево, а также умеет угадывать слова в середине. Например, в предложении «Джордж Буш […] в Коннектикуте в 1946 году» BERT способен предсказать пропущенное слово «родился».

Каждый из этих трех компонентов — глубокая подготовка, внимательность и двунаправленность — существовали до BERT независимо друг от друга. Но все плюсы их объединения обнаружил лишь Google в конце 2018 года.

Недостатки восприятия

В июле 2019 года два исследователя из Национального Университета Тайваня решили использовать BERT в достаточно малоизвестном тесте на понимание естественного языка. Для его прохождения нужно правильно подобрать информацию, подкрепляющую аргумент в пользу какого-либо утверждения. Например, заявляя, что «курение вызывает рак» (утверждение), так как «исследования доказали связь между курением и появлением рака» (аргумент), нужно указать, что «исследования заслуживают доверия» (подкрепляющая информация), а не что «исследования стоят дорого» (это может быть правдой, но в данном случае не имеет значения).

В среднем при выполнении такого задания человек получает 80 баллов из 100. BERT заработал 77, чем немало удивил скептиков. Однако исследователи, проводившие эксперимент, заподозрили, что в формулировки теста могли закрасться ошибки, повлиявшие на оценку, и в итоге действительно их обнаружили. После устранения недочетов балл BERT упал до 53, что равно случайному угадыванию.

Позже другие ученые предположили, что неточность заданий могла завысить результаты BERT и в GLUE. Выходит, эта технология — обман? Исследователи избегают таких категоричных суждений. Они отмечают, что впервые появилась нейросеть, которая получила действительно существенные результаты в изучении естественного языка, но пока это далеко не полноценное его понимание. Следующий шаг — не только улучшить BERT, но и создать более совершенные методы проверки, которые будет сложнее обмануть.

Источник.