«ВКонтакте» научила нейросеть писать заголовки для новостей

Для генерации заголовка нейросети нужен только текст новости. Модель обрабатывает его и формулирует заголовок из фрагментов слов — так она добивается правильных падежей и склонений и в итоге получает связное предложение, пояснил представитель соцсети.

При создании нейросети разработчики использовали архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding) — они обычно применяются в машинном переводе и позволяют ограничиться небольшим словарем для генерации заголовков.

В компании отметили, что сотрудники «ВКонтакте» — первые, кто использовал BPE для модели суммаризации текста, а также первые, кто обучал такую модель на русскоязычных новостных материалах.

Чтобы проверить качество работы в случаях, когда автоматические и оригинальные заголовки полностью отличаются, но смысл новости передан верно, разработчики провели отдельное исследование, в котором показывали добровольцам новость и два заголовка к ней. По словам опрошенных, в 45% случаев машинный заголовок был не хуже оригинального, а в 15% — даже лучше.

По его словам, технология может использоваться для разных задач, связанных с удобством потребления контента: «Например, во "ВКонтакте" ее потенциально можно применить для умного сокращения постов в ленте пользователя или для создания новостных дайджестов», — пояснил эксперт.

Фото: Pe3check/ Depositphotos.