Инженеры из американского стартапа Generalist AI разработали и представили мультимодальную фундаментальную модель под названием GEN-1.5, предназначенную для управления роботами.
Эта модель обладает способностью осваивать новые физические действия всего по одной краткой демонстрации, которая подается в контекстное окно, либо посредством незначительной донастройки с использованием градиентного метода за один или несколько шагов.
В ходе проведенных испытаний робот, управляемый с помощью GEN-1.5, показал навыки импровизации. В частности, он смог применить банан в качестве замены щетке для выполнения задачи по сбору кубиков в чашу. Детали этого достижения были опубликованы в официальном блоге компании.