Робот учится от человеческого видео без дообучения

Zero‑WAM — новый подход, где робот учится, глядя на ролик с человеком. Не нужны специальные демонстрации, не пишут инструкций. Алгоритм разбирает динамику сцены и переводит её в свои действия.

Исследователи собрали 74 200 пар видеодемонстраций человека и робота для 8 600 задач. В симуляторе RoboTwin 2.0 робот решал семь ранее неизвестных задач с 47 % успеха, превзойдя лучшую сравниваемую модель на 29,5 пунктов.

В реальном мире робот перенёс полученные навыки на новые расположения предметов, более длинные цепочки действий и точные вставки. Работа пока препринт, но доступ к миллиардам бытовых роликов обещает сократить дефицит специализированных данных.