Какую LLM выбрать: собираем свой бенчмарк
People usually start by checking rankings when they choose an LLM, but rankings do not show how a model will handle specific tasks or what it will cost. In the lab, an electronic lab notebook stores data from all experiments and measurements, and an AI assistant answers questions about that database. That raised the question of which model should be used.
Обычно, когда выбирают LLM, сначала смотрят рейтинги. Проблема рейтингов в том, что по ним не узнать, как модель справится с вашими задачами и сколько это будет стоить. В нашей лаборатории мы пользуемся электронным лабораторным — базой, куда записываются данные всех эксперименотов и измерений, а ИИ ассистент отвечает на вопросы по ней. Разумеется, возник вопрос, какая модель должна этим ассистентом рулить. Публичные рейтинги ответа не давали, так что мы собрали свой бенчмарк: двадцать четыре вопроса по нашей работе, которые гоняются по живому журналу через mcp на моделях DeepSeek, ChatGPT и Claude. Дальше я покажу, как мы собирали эти двадцать четыре вопроса, что на них показали девятнадцать сочетаний модели и уровня усилий при рассуждении (reasoning effort) примерно в 450 прогонах — и как сделать такой же тест под свою задачу. Читать далее