Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий

habrahabr.ru · world
Full story

TypeSafe announced Jev 1.14 on October 14 and opened experimental capabilities: images, a new "box" question type, and extended context. The author had earlier tested Jev on text tasks such as classification, answer confidence, long context, and dirty input. The new experiments aim to show what these features can do in practice and where mistakes occur.

В предыдущей статье я проверял Jev на текстовых задачах: классификации, уверенности ответов, длинном контексте и грязном входе. 14 октября TypeSafe анонсировала Jev 1.14 и открыла экспериментальные возможности : изображения, новый тип вопроса box и расширенный контекст. Захотелось посмотреть, что с их помощью можно сделать на практике и где возникают ошибки. За быструю серию экспериментов удалось проверить поиск объектов по описанию, классификацию пород кошек и собак, вопросы по картинке, поиск банковских реквизитов на документах и запросы с десятками фотографий. Все вычисления вместе обошлись примерно в $2.6 . Самый показательный результат получился в задаче «найти кошку среди собак». При 32 и 96 фотографиях модель ни разу не выбрала правильную фотографию из середины массива. После изменения структуры запроса — те же картинки, тот же порядок — ответила правильно во всех проверенных случаях. Ниже расскажу, что именно изменилось и почему первый результат легко было неправильно истолковать. Читать далее

Read full article → Compare