Два месяца я учил нейросеть заполнять опросные листы. Главное оказалось не в нейросети
The author spent two months training a neural network to fill out questionnaires for instrument suppliers. Engineers normally extract the answers from hundreds of pages of technical specifications. In September the author gave the task to an LLM, and the first version was correct in about a third of the cells. The current system matches the engineer in 73–86% of rows on three objects it had not seen, and the article explains why a small 4B NuExtract3 model beat a 27B one and why fine-tuned search added nothing.
Опросный лист на КИП — анкета для поставщика прибора. Ответы на неё инженер выуживает из сотен страниц техзадания. В сентябре я поручил это LLM, и первая версия была права примерно в трети ячеек. Сейчас система совпадает с инженером в 73–86 % строк на трёх объектах, ответов которых она не видела. Рассказываю, почему маленькая NuExtract3 на 4B обошла 27B, почему дообученный поиск не добавил ни одного верного ответа, как метрика врала мне трижды и почему половина бланка оказалась вовсе не вопросами. Читать далее