Яндекс добавил в Алису AI функцию для незрячих пользователей: нейросеть описывает окружающий мир в реальном времени

Нейросеть помогает ориентироваться в повседневных ситуациях

В Live-режиме пользователь может навести камеру смартфона на нужный объект и задать вопрос голосом. «Алиса AI» способна подсказать, где находится вход в магазин, определить, что отображается на дисплее бытовой техники, проверить наличие повреждений на посылке, назвать лекарство, лежащее на столе, или рассказать, какие продукты находятся в холодильнике и что из них можно приготовить.

В основе функции — мультимодальная нейросеть

Live-режим работает на базе мультимодальной модели Alice AI VLM. Она распознаёт объекты, попавшие в объектив камеры, и описывает их пользователю. Общение с нейросетью происходит голосом, при этом пользователь может задавать уточняющие вопросы, а история диалога сохраняется в чате. Запустить функцию можно через меню приложения или командой «Алиса, запусти Live-режим».

Функция доступна на Android и iOS

Live-режим бесплатен для пользователей мобильного приложения «Алиса AI» на Android и iOS. Голосовой запуск функции пока работает только на Android, однако в компании сообщили, что в ближайшее время такая возможность появится и на устройствах Apple.

Яндекс расширяет инклюзивные возможности сервисов

В компании сообщили, что сейчас для незрячих и слабовидящих пользователей адаптированы 20 сервисов Яндекса, включая чат с «Алисой AI», Такси, Почту, Браузер, Книги и Музыку. Кроме того, «Алиса» понимает голосовые запросы пользователей с особенностями речи, а в сервисах компании появляются специальные инклюзивные функции, в том числе опции в Яндекс Go и тифлокомментарии в Кинопоиске. Яндекс также адаптирует процессы найма и рабочие места для людей с инвалидностью.