Робот-повар научился готовить по видеороликам

«Мы хотели посмотреть, сможем ли мы обучить робота-повара усваивать знания так же постепенно, как это могут делать люди, — определяя ингредиенты и то, как они сочетаются в блюде», — прокомментировал Гжегож Сочацки из инженерного факультета Кембриджа, ведущий автор исследования.

Для проверки ученые придумали 8 простых рецептов салатов и записали видеоролики о том, как они по ним готовят. Затем они обучили робота, используя общедоступную нейросеть, которая была запрограммирована на идентификацию различных объектов, включая фрукты и овощи, используемые в салатах.

Робот-шеф проанализировал каждый кадр видео, используя методы компьютерного зрения. Он был способен идентифицировать не только отдельные объекты, такие как ножи и ингредиенты, но и действия демонстратора. Рецепты и видеоролики были преобразованы в векторы, и при помощи математических корреляций робот распознал сходство между демонстрацией и вектором. В результате он смог определить, по какому из рецептов готовились блюда.

Фото в тексте: Кембриджский университет

Всего робот-повар просмотрел 16 видеороликов и сумел определить правильный рецепт в 93% случаев. Кроме того, ему удалось распознать изменения в рецепте и демонстрации нового, девятого по счету салата, который он добавил в свою кулинарную книгу и приготовил.

Фото в тексте: Кембриджский университет

Пока робот справляется с несложными рецептами, но кулинарные ролики из соцсетей были бы для него слишком быстрыми. «Но по мере того, как эти роботы-повара будут лучше и быстрее определять ингредиенты в видеороликах о еде, они, возможно, смогут использовать такие сайты, как YouTube, чтобы изучать разнообразные рецепты», — сказал Сочацки.

Исследователи отмечают, что возможности робота-повара по-прежнему ограничены, и предстоит преодолеть немало препятствий. Но им удалось показать, что робот может постепенно учиться готовить, демонстрируя это на видео, что позволяет упростить и удешевить использование автоматических поваров.

Источник.

Обложка снегерирована нейросетью Midjourney