Обучили классификатор телепередач для Kodi: что он рекомендовал и почему F1 = 1,000 нас обманул
The author rarely watches TV but, when he does, wants to find a good film about travel, science or space, and likes channels such as “My Planet” without wanting to watch everything on them. He notes that the schedule mixes expeditions, food tours, sightseeing reviews and shows that are suitable only as background, while cooking does not interest him. He trained a TV-program classifier for Kodi. The headline says that an F1 value of 1,000 was misleading.
Телевизор я смотрю редко. Когда всё-таки включаю, хочется попасть на хороший фильм о путешествиях, науке или космосе. Нравятся каналы вроде «Моей Планеты», но смотреть всё подряд даже там не хочется. В одной сетке соседствуют экспедиции, гастротуры, обзоры достопримечательностей и передачи, которым достаточно идти фоном. Кулинария меня вообще не интересует. Решил сделать персональную разметку телепрограммы: читать названия и описания, находить подходящие передачи и добавлять звёздочку в начало названия. Получился конвейер от XMLTV до небольшой BERT-модели в домашнем Kubernetes. На синтетически расширенной выборке модель показала macro-F1 = 1,000, а в выходном расписании нашлись 66 записей со звёздочкой. При проверке материала для статьи выяснилось, что оба результата требуют серьёзных оговорок. У 119 из 120 тестовых записей описание уже встречалось в обучении с другим номером части. В обработчике XML обнаружилась ошибка, из-за которой тысячи передач записались пустыми. Ниже разберу устройство системы, реальные ответы модели и то, что мы преждевременно приняли за успешное внедрение. Читать далее