⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Скидки, сделки и секреты: как я дообучал NER-модели для маскирования

habrahabr.ru ·Russian Federation · world
Words
80
Chars
542
AI summary
Yes
Full story

A project fine-tuned the GLiNER2.5 model on 5,000 synthetic texts and compared full fine-tuning with LoRA, DoRA, rsLoRA, and QLoRA. The example used commercial terms such as prices, discounts, and payment schedules. On a short test, Exact F1 rose from 22.51% to 94.13%, while training on DeepSeek annotations reached 95.62%. The author also tested Qwen and Gemma with an NER head and processed long documents in windows. The article covers the experiment setup, model errors, and speed measurements.

Дообучил GLiNER2.5 на 5 000 синтетических текстов и сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. Для примера взял коммерческие условия: цены, скидки и графики оплаты. На коротком тесте Exact F1 вырос с 22,51% до 94,13%, а обучение на разметке DeepSeek дало 95,62%. Также проверил Qwen и Gemma с NER-головой и обработку длинных документов окнами. В статье — устройство эксперимента, ошибки моделей, замеры скорости и памяти. Код, данные и конфигурации опубликованы; результаты относятся к нашему синтетическому корпусу. Читать далее

Open article