Роботы, способные размышлять, – больше не плод фантазии инженеров, а реальность. Компания Open AI представила робота-гуманоида Figure 1 со встроенным искусственным интеллектом. На видео враг Джона Коннора размышляет, почему передал человеку именно яблоко.

Стартап Figure AI при сотрудничестве с Open AI показал робота-гуманоида Figure 1, способного участвовать в разговоре в реальном времени. Благодаря искусственному интеллекту (предварительно обученной мультимодальной модели VLM) робот умеет описывать обстановку вокруг, планировать дальнейшие действия, используя «здравый смысл», размышлять над воспоминаниями и объяснять мысли устно.

На видео, опубликованном Figure AI, робот взаимодействует со старшим инженером по искусственному интеллекту Кори Линчем. Кори просит робота выполнить несколько задач на импровизированной кухне: передать Линчу что-то съедобное, собрать мусор и одновременно ответить на вопросы.

– Ты можешь объяснить, почему ты сделал то, что только что сделал, собирая мусор? – спрашивает Кори Линч о яблоке, которое выбрал и передал ему робот.

– Я дал вам яблоко, потому что это единственный съедобный предмет, который я мог передать со стола, – отвечает робот-гуманоид.

Разработчики передают изображение с камер робота и транскрибируют текст речи, записанный встроенными микрофонами, в модель, способную понимать различные типы данных – текст и изображение. Чтобы движения робота получились максимально плавными, система сопоставляет изображение (вплоть до пикселей) со своей нейросетью.

«Эти сети принимают изображения с частотой 10 Гц и генерируют действия 24-DOF (позы запястья и углы суставов пальцев) с частотой 200 Гц», – говорится в релизе Figure AI.

Кори Линч подчеркнул, что действия Figure 1 не контролировались удалённо.

Ранее Figure AI привлекла 675 млн долларов инвестиций – компанию спонсируют Microsoft, Nvidia и основатель Amazon Джефф Безос.