BLARM: как перенести движение из видео на неподвижный 3D‑объект без рига

Разработчики из Roblox совместно с учёными из Университета Массачусетса в Амхерсте и Критского технологического института представили BLARM – метод, который «переписывает» анимацию из обычного монокулярного видео на статичную 3D‑модель без предварительного риггинга.

Традиционный процесс требует построения скелета, привязки костей к вершинам и ручной настройки весов. Автоматические подходы часто приводят к дрожанию и искажению фигур, потому что вершины двигаются независимо. BLARM заменяет скелет набором из 31 скрытого двигательного элемента и одним глобальным трансформом, которые нейросеть управляет каждый кадр.

Система принимает два входа: видеоклип и модель. Для анализа формы использует энкодер TripoSG, визуальные признаки извлекает DINOv3, а PartField помогает различать смысловые части поверхности. Нейросеть сопоставляет эти признаки, вычисляет вращение и смещение каждого скрытого элемента и фиксирует постоянные веса, определяющие, какие вершины следуют за каким элементом. Затем результаты комбинируются обычным Linear Blend Skinning, получая анимацию, похожую на традиционный риг, но без его создания. Если модели нет, её генерирует TRELLIS2 по первому кадру.

Для обучения BLARM использовали около 10 000 анимированных объектов из Objaverse, из которых создали видеоролики 512 × 512 px. Обучение шло на восьми графических ускорителях Nvidia H200, а при работе система обрабатывает видео блоками по 16 кадров, а более длинные ролики разбивает на последовательные части.