Nvidia представила GR00T 2 для переноса навыков на разных роботов
Модель учится по видео людей и роботов, а версия GR00T 2 Turbo уже управляет гуманоидом Unitree G1 на борту
Nvidia представила GR00T 2 – модель управления роботами, которая учится по видео людей и машин и переносит освоенные навыки между разными типами роботов. Облегчённая версия GR00T 2 Turbo работает непосредственно на гуманоиде Unitree G1.
Модель построена на архитектуре World-Action Model: она одновременно прогнозирует будущие кадры и действия робота. На вход GR00T 2 получает изображения с камер, текстовую инструкцию и сведения о состоянии машины, а затем планирует движения. В испытании на 50 задачах успешность составила 40% без демонстраций на целевом роботе, 71% после одной демонстрации и 95% после пяти.
Для адаптации задачи Nvidia потребовалось менее трёх минут демонстрационных данных и около 30 минут дообучения на одной видеокарте RTX 5090. Предварительное обучение включало 402 730 часов видео от первого лица с людьми за работой, 10 184 часа демонстраций с ручным захватом UMI и 23 500 часов дистанционного управления роботами.
GR00T 2 переносила навыки между людьми, манипуляторами и гуманоидными платформами. Например, робот Dexter выполнил четыре лабораторные задачи после обучения по видео с камер на голове и запястьях человека – без дистанционных демонстраций этих действий. В других тестах модель осваивала сортировку предметов, сборку игрушек, приготовление завтрака и работу с деталями.
GR00T 2 Turbo содержит трансформер на 2 млрд параметров и использует компактное представление видео. По данным Nvidia, медианная задержка прогнозирования снизилась на 66–86% относительно обычного запуска той же модели. Один прогноз занимает 38 мс на RTX 5090 и 124 мс на бортовом компьютере Jetson Thor. На Unitree G1 робот применяет план движений всего тела с частотой примерно раз в секунду, а контроллер SONIC передаёт команды суставам с частотой 50 Гц.
