На складе в Сан-Леандро (Калифорния) человек в шлеме с камерой разбирает башню Дженга. Шлем не только фиксирует взгляд, но и снимает мозговую активность. Так стартап Encord производит данные для обучения роботов.
Encord начинал с инструментов разметки данных и оценки моделей машинного зрения. Но когда клиенты перешли к end-to-end обучению манипуляций, выяснилось: нужных данных просто нет. Компания стала их производить сама.
«Таких данных просто не существует», — говорит Винит Вельмуруган, глава направления обучения роботов в Encord.
Он пришёл из робо-лаборатории OpenAI и складского автоматизатора Berkshire Grey, чтобы собрать внутреннюю команду по созданию данных. Клиентов среди ведущих робототехнических фирм много, но называть их он не вправе.
Главное узкое место гуманоидной робототехники — не архитектура моделей, а дефицит физических данных из реального мира. Языковые модели выросли на тексте всего интернета. Аналога для физических манипуляций не существует.
Самостоятельный сбор, как у беспилотных авто, плохо масштабируется. Обучение по видео теряет точность. По оценке Вельмуругана, для прорыва нужен массив примерно в пять раз больше всего видеокорпуса YouTube.
Основных источника два:
эгоцентрическое видео с камер на работниках, дополненное ракурсами и метриками;
записи с роботов под удалённым управлением.
Encord использует оба: эгоданные идут с нескольких фабрик по миру, а площадка в Сан-Леандро служит полигоном для новых модальностей и узких навыков.
Шлем с ЭЭГ сделала немецкая нейролаборатория Zander Labs. Идея — вычислять ментальные состояния: ошибку, намерение, удивление. Нейробиолог Лукас Герке считает, что уровень мозговой активности подскажет, когда модели нужен максимум усилий.
Пока это пилот. Encord соберёт первый датасет с ЭЭГ-метками, прогонит через клиентские модели и только потом решит, масштабировать ли подход.
На стендах работают связки leader-follower: оператор ведёт одну руку, вторая повторяет движения. Так пишут данные о разливе кофе по кружкам и складывании покерных фишек. «Об этих кусках нас просят все гуманоидные компании».
На полках — искусственные цветы в вазах, книги, пластиковые овощи, лотки для кошек, связки проводов. Типовой реквизит для бытовых манипуляций.
Отдельная станция: пилот Софья Инфанте вставляет и вынимает ethernet-кабели из сервера. Дата-центры мечтают это автоматизировать, но захваты далеко не так ловки, как пальцы, и лишены привычных нам степеней свободы.
Ещё одна модальность — датчики на предплечье, считывающие электрические сигналы мышц. Видео редко захватывает кисть целиком, а сенсоры позволяют восстановить её положение в 3D.
Все ролики размечают физическими описаниями вроде правая рука затягивает болт — это помогает LLM-моделям понимать происходящее. Такая плотная разметка, по оценке Encord, ценнее «мусорных эгоданных» в 100 раз при росте цены в 20 раз.
Но двадцатикратная цена — это реальные деньги, и здесь аналогия с LLM ломается. Текст можно было почти бесплатно собрать со Stack Overflow и остального веба. Физические данные приходится производить, а это другая экономика.
Положение между десятками робототехнических компаний — тоже часть предложения Encord: она раньше отдельного клиента видит, какие приёмы работают. А значит, дюжина пилотов на площадке без работы не останется.
Инфанте и Ceja пришли из другой разметочной фирмы, Scale. Андрей Ceja до этого следил за роботом-сортировщиком мусора. Башня Дженги рушится, а он говорит, что ему нравится: «Каждый день что-то новое!»
0 комментариев