Сбер представил Kandinsky WM — ИИ-модели помогут обучать роботов и беспилотные такси без реальных испытаний
Новые модели генерируют физически достоверные видео для обучения Physical AI и доступны разработчикам бесплатно по лицензии MIT
2 минуты
Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания физически достоверных видеоданных. В него вошли три нейросети: первая создаёт дорожные сценарии, вторая симулирует действия роборуки, а третья моделирует сложные физические процессы. Модели помогут разработчикам обучать роботов, беспилотные автомобили и другие системы Physical AI без необходимости собирать большие объёмы реальных данных.
Нейросеть обучали на нескольких миллионах реальных видео
В основу Kandinsky WM 1.0 легла модель Kandinsky 5.0 Video Lite, которую дополнительно обучили на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов.
Во время обучения разработчики уделили особое внимание физической достоверности видео: проверяли, чтобы машины не меняли форму во время движения, предметы не исчезали, а траектории объектов оставались естественными.
ИИ генерирует сценарии, которые сложно снять в реальности
В Сбере отмечают, что Kandinsky WM позволяет генерировать редкие сценарии, которые в реальности снять невозможно или небезопасно. Так, например, нейросеть создает видео с ДТП и экстремальными погодными условиями.
Такие видео могут использоваться как обучающие данные для автономных систем Physical AI, которые работают с физическим миром: анализируют происходящее и управляют реальными устройствами.
Разработкой смогут бесплатно воспользоваться компании и стартапы
Семейство Kandinsky WM 1.0 ориентировано на разработчиков беспилотного транспорта, производителей промышленных и сервисных роботов, команды, внедряющие компьютерное зрение, а также исследовательские центры, университеты и стартапы.
По данным Сбера, Kandinsky WM уже применяют Центр робототехники компании для обучения собственных роботов, а также институт AIRI для создания дорожного симулятора.
Код и веса моделей опубликованы по лицензии MIT, поэтому использовать их бесплатно смогут разработчики по всему миру.