Скидки, сделки и секреты: как я дообучал NER-модели для маскирования
- Words
- 80
- Chars
- 542
- AI summary
- Yes
A project fine-tuned the GLiNER2.5 model on 5,000 synthetic texts and compared full fine-tuning with LoRA, DoRA, rsLoRA, and QLoRA. The example used commercial terms such as prices, discounts, and payment schedules. On a short test, Exact F1 rose from 22.51% to 94.13%, while training on DeepSeek annotations reached 95.62%. The author also tested Qwen and Gemma with an NER head and processed long documents in windows. The article covers the experiment setup, model errors, and speed measurements.
Дообучил GLiNER2.5 на 5 000 синтетических текстов и сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. Для примера взял коммерческие условия: цены, скидки и графики оплаты. На коротком тесте Exact F1 вырос с 22,51% до 94,13%, а обучение на разметке DeepSeek дало 95,62%. Также проверил Qwen и Gemma с NER-головой и обработку длинных документов окнами. В статье — устройство эксперимента, ошибки моделей, замеры скорости и памяти. Код, данные и конфигурации опубликованы; результаты относятся к нашему синтетическому корпусу. Читать далее
Open article