Code as Policy: как LLM управляет роботом через сгенерированный код
The Code as Policy approach uses generated code as the way a large language model controls a robot, an idea the source calls not obvious at first glance. In 2023 Alphabet closed its Everyday Robots project, which had tried to build a robot for cleaning offices and sorting trash. The androids turned out to be unable to perform tasks in the complex and changing conditions of natural human environments.
Привет, Хабр! Сегодня мы поговорим о том, как нейросети могут эффективно управлять роботами, используя не самый очевидный на первый взгляд подход. В 2023 году Alphabet закрыл проект Everyday Robots, в котором пытались создать робота для уборки офисов и сортировки мусора. Увы, андроиды оказались не способны выполнять задачи в сложной и изменчивой обстановке естественной человеческой среды. Но благодаря этой попытке появилась технология Code as Policy (CaP) , продолжившая свое развитие как отдельное направление. Ее принцип прост — LLM сама пишет код, который управляет манипулятором. Попробуем разобраться, как устроен подход CaP и как его проверяет свежий бенчмарк CodeActionBench , вышедший в конце сентября. А также где метод работает, где ломается и почему «робот, который программирует сам себя» перестал быть маркетинговым слоганом. Читать далее