Google DeepMind представила Gemini Robotics 2 — модель, которая, по словам компании, способна управлять гуманоидными роботами целиком. Предыдущая версия отвечала только за верхнюю часть корпуса.
Теперь поддерживаются движения всего тела — от стоп до кончиков пальцев. Роботы могут ходить, приседать, наклоняться и одновременно работать с предметами.
На опубликованных видео робот Apollo 2 от Apptronik наклоняется, чтобы поднять лейку, а также находит и снимает нужные вещи с полки.
Скорость движений ещё предстоит улучшить, но это важный шаг к сложным реальным задачам, требующим координации всего тела.
Отдельно улучшена мелкая моторика: модель управляет пятипалыми кистями. Робот способен застегнуть zip-пакет, завязать мусорный мешок или выкрутить лампочку.
Обновилась и Gemini Robotics ER 2 — визуально-языковая модель для анализа окружения и выполнения многошаговых инструкций. Она лучше справляется с длительными задачами и понимает, когда задача начинается и заканчивается.
Появилась и совместная работа разных роботов: на видео Apollo 2 даёт указания двурукому роботу Google складывать инструменты в контейнер во время уборки гаража.
В DeepMind называют ER 2 самой безопасной своей моделью: она точнее определяет людей поблизости, вызывает защитные механизмы и останавливает робота при слишком близком приближении человека.
Обновилась и локальная версия Gemini Robotics On-Device, работающая без интернета. Она быстрее адаптируется к новым платформам с принципиально разной формой, сенсорами и степенями свободы.