Сбер представил Kandinsky WM — ИИ-модели помогут обучать роботов и беспилотные такси без реальных испытаний

Нейросеть обучали на нескольких миллионах реальных видео

В основу Kandinsky WM 1.0 легла модель Kandinsky 5.0 Video Lite, которую дополнительно обучили на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов.

Во время обучения разработчики уделили особое внимание физической достоверности видео: проверяли, чтобы машины не меняли форму во время движения, предметы не исчезали, а траектории объектов оставались естественными.

ИИ генерирует сценарии, которые сложно снять в реальности

В Сбере отмечают, что Kandinsky WM позволяет генерировать редкие сценарии, которые в реальности снять невозможно или небезопасно. Так, например, нейросеть создает видео с ДТП и экстремальными погодными условиями.

Такие видео могут использоваться как обучающие данные для автономных систем Physical AI, которые работают с физическим миром: анализируют происходящее и управляют реальными устройствами.

Разработкой смогут бесплатно воспользоваться компании и стартапы

Семейство Kandinsky WM 1.0 ориентировано на разработчиков беспилотного транспорта, производителей промышленных и сервисных роботов, команды, внедряющие компьютерное зрение, а также исследовательские центры, университеты и стартапы.

По данным Сбера, Kandinsky WM уже применяют Центр робототехники компании для обучения собственных роботов, а также институт AIRI для создания дорожного симулятора.

Код и веса моделей опубликованы по лицензии MIT, поэтому использовать их бесплатно смогут разработчики по всему миру.