Robostral Navigate — модель, которая по обычной RGB-камере и текстовой инструкции на естественном языке ведёт робота через сложные, незнакомые пространства. На валидационном бенчмарке R2R-CE (Room-to-Room in Continuous Environments), где системе нужно выполнять инструкции в средах, не встречавшихся при обучении, модель набрала 76,6% — на 9,7 пункта больше лучшего решения на одной камере и на 4,5 пункта больше лучшей системы с несколькими камерами или датчиками глубины, при этом не используя ни того, ни другого.
Результат заметен тем, что более дешёвое и простое аппаратное решение обгоняет дорогие мультисенсорные конфигурации — обычно в робототехнике действует обратная логика: больше сенсоров означает лучше результат.
Технически модель, получив задачу и историю наблюдений, предсказывает, куда роботу двигаться дальше, через указание координат целевой точки прямо на текущем кадре камеры вместе с желаемой ориентацией по прибытии. В отличие от команд, завязанных на метрические смещения (например, «пройти 2 метра вперёд»), такой подход к «указанию точки» естественным образом устойчив к изменениям параметров камеры и масштаба окружения. Когда указание точки неприменимо, модель переключается на локальные смещения в системе координат робота — например, «пройти 2 метра вперёд, 1,5 метра влево и повернуть на 25 градусов влево».
Robostral Navigate обучена полностью в симуляции на примерно 400 000 траекторий в 6000 сценах и обобщается на колёсных, шагающих и летающих роботов. Модель построена полностью внутри компании и не опирается на существующие открытые визуально-языковые модели — она инициализирована на основе собственной модели Mistral, специализированной на задачах локализации: указании точек, подсчёте объектов и распознавании положения. Компания заявляет применения в производстве, доставке, логистике и гостиничном бизнесе — сегментах, где массовое внедрение роботов пока сдерживается именно стоимостью и сложностью навигационных систем.
Mistral присоединяется к Nvidia, Google и Сберу (открывшему на этой неделе новый офис Центра робототехники) в гонке за физический ИИ. Для российского рынка подход с одной дешёвой камерой особенно интересен: дорогие мультисенсорные комплекты — лидары, камеры глубины — сложнее закупать под санкциями, тогда как навигация по единственной обычной камере снижает порог входа для отечественных робототехнических стартапов, если аналогичные архитектурные решения удастся воспроизвести на открытых моделях внутри страны.