Почему Cluely и другие плохо слышат русских айтишников: разбор того, как Whisper ломается и что мы сделали с этим
newsare.net
В январе я купил подписки на Cluely, Final Round AI и Sensei. Хотел посмотреть как они справляются с русским айти-собесами, раз уж все три заявляют о поддерПочему Cluely и другие плохо слышат русских айтишников: разбор того, как Whisper ломается и что мы сделали с этим
В январе я купил подписки на Cluely, Final Round AI и Sensei. Хотел посмотреть как они справляются с русским айти-собесами, раз уж все три заявляют о поддержке русского. Подключил по очереди к тестовому звонку в Телемосте (сомневаюсь, что платформа имела роль, но все же), прогнал одну и ту же запись: Senior Python backend разработчик, 45 минут, стек FastAPI + PostgreSQL + Kafka + Kubernetes. Обычный русский спикер, если важно - из Москвы, с речью проблем не было, нормальный микрофонВсе три выдали транскрипт и все три провалились, как неожиданно..«Кафка» в половине случаев становилась «как-то» или «кофта». «Кубернетис» превращался в «губер нет тест». «Сабскрайбер патерн» - в «саб скрайп патерн». «Middleware для CSRF» - «мидл-вер для си эс эр эф» - это еще нормПроблема не в том, что человек говорил по-русски, и не в том, что Whisper не умеет русский (сноска: хорошо не умеет). Whisper умеет русский нормально, около 9.8% WER на Common Voice. Проблема в другом: русскоязычный айтишник не говорит ни на чистом русском, ни на чистом английском. Он говорит на гибриде: русская грамматика плюс английские термины плюс своеобразное произношение этих терминов плюс местами свой жаргон вроде «гошечки» и «крудошлёпа»Этот гибрид ни один из популярных STT не держит. Потому что его в тренировочных данных почти нетРазбираю ниже, как устроена эта проблема, что с ней делают конкуренты (почти ничего), и что сделали мы Читать далее Read more












