Модель размечает, код считает: как устроена ИИ-проверка ЕГЭ по обществознанию
A teacher and Unified State Exam expert has spent about two years building a Telegram bot that checks extended social studies answers, including examples, plans and justifications. The project’s main conclusion is that an LLM should not be trusted to assign the score. In the bot, the model only labels the answer against a JSON schema, marking which examples are concrete, which judgments are correct and which plan points are present; the scoring is handled by code.
Около двух лет я делаю Telegram-бота, который проверяет развёрнутые ответы ЕГЭ по обществознанию: примеры, планы, обоснования. Я учитель и эксперт ЕГЭ, и главный вывод проекта звучит неожиданно для тех, кто строит продукты на LLM: модели нельзя поручать ставить балл. В моём боте модель только размечает ответ по JSON-схеме: какие примеры конкретны, какие суждения верны, какие пункты плана ключевые. Балл считает обычный код, а перепроверки могут его только понизить. В задании с планом модель на балл вообще не влияет: там работают лемматизация и сверка с эталонами. В статье расскажу, как устроен путь одного ответа, кто что считает в каждом из девяти заданий, почему одного «негативного сигнала» модели недостаточно, чтобы снять балл, что делать, когда ИИ недоступен, и сколько стоит одна проверка. Читать далее