«6 − 2 = 3»: как мы проверяем кодом задания, которые пишет языковая модель
The authors are building an educational game in which a player states a learning goal in their own words, such as multiplication tables, fifth-grade fractions or English for a trip. The game builds a route of locations, with five tasks in each location. Because there are no ready-made courses and the topic can be anything, the tasks are written by a language model, Claude from Anthropic, tailored to the goal, level and the player's latest answers. The model is good at inventing tasks, but the source text cuts off there.
Мы делаем учебную игру: человек пишет цель своими словами («таблица умножения», «дроби за 5 класс», «английский для поездки»), а игра строит под неё путь из локаций. В каждой локации — порция из пяти заданий. Готовых курсов нет: тема может быть любой, поэтому задания пишет языковая модель (Claude от Anthropic) — под цель, уровень и последние ответы игрока. Придумывает задания модель хорошо, а считает плохо. В октябре мы разобрали 68 жалоб «Задание с ошибкой?» — игроки отправляют их кнопкой прямо из урока. Типичные случаи: Читать далее