К 2026 году данные для обучения языковых моделей ИИ могут быть исчерпаны — прогноз

Языковые модели обучаются, используя тексты из таких источников, как «Википедия», книги, новостные и научные статьи. В последние годы наметилась тенденция обучать эти модели на все большем количестве данных, чтобы сделать их более точными и универсальными.

Проблема в том, что типы данных, обычно используемые для обучения языковых моделей, могут быть исчерпаны в ближайшем будущем — уже в 2026 году, согласно статье исследователей из Epoch, организации по исследованию и прогнозированию ИИ (еще не прошла рецензирование).

Проблема связана с тем фактом, что по мере того, как исследователи создают все более мощные модели с большими возможностями, им приходится находить все больше текстов для их обучения. Разработчики крупных языковых моделей все больше обеспокоены тем, что у них закончатся такого рода данные, говорит Тевен Ле Скао, исследователь ИИ-компании Hugging Face, который не участвовал в работе Epoch.

Читайте по теме:

Ученым все труднее объяснить, как работает ИИ. Почему это опасно?

Общение на языке данных — секретный ингредиент успешного развития бизнеса

Проблема частично связана с тем фактом, что исследователи языкового ИИ фильтруют данные, которые они используют для обучения моделей, по двум категориям: высокое качество и низкое качество. Грань между этими двумя категориями может быть нечеткой, говорит Пабло Вильялобос, штатный исследователь Epoch и ведущий автор статьи, но тексты из первой категории считаются написанными лучше и часто создаются профессиональными авторами.

К категории низкого качества относят сообщения в социальных сетях или комментарии на сайтах. По количеству они значительно превосходят высококачественные данные. Обычно модели обучаются только на высококачественных данных, чтобы они воспроизводили именно этот тип языка. Этот подход привел к некоторым впечатляющим результатам для таких больших языковых моделей, как GPT-3.

По словам Швабхи Сваямдипты, профессора машинного обучения Университета Южной Калифорнии, специализирующегося на качестве наборов данных, одним из способов преодолеть эти ограничения данных было бы переосмыслить понятия «низкого» и «высокого» качества. Он объясняет, что если нехватка данных подтолкнет исследователей использовать в обучении более разнообразные датасеты, это лишь пойдет на пользу языковым моделям.

Также можно найти способы продлить срок службы данных. В настоящее время большие языковые модели обучаются на одних и тех же данных только один раз из-за ограничений производительности и затрат. Но, возможно, удастся обучить модель несколько раз, используя одни и те же данные, считает Сваямдипта.

Некоторые исследователи полагают, что «больше не значит лучше» в любом случае не может быть лучше, когда речь заходит о языковых моделях. Перси Лян, профессор компьютерных наук в Стэнфордском университете, говорит, что есть доказательства того, что повышение эффективности моделей может сделать их лучше, а не больше.

«Мы видели, как модели меньшего размера, обученные на данных более высокого качества, могут превзойти более крупные модели, обученные на данных более низкого качества», — объясняет он.

Источник.

Фото на обложке: Zapp2Photo / Shutterstock