Позиционные эмбеддинги, или Почему 3 + 5 не всегда 8
Data Scientist and Team Lead Anastasia writes about a question that stuck in her head while reading Sebastian Raschka's book Building LLM from Scratch. She was going chapter by chapter with Jupyter open and a mug of coffee nearby. At section 2.8 on positional embeddings, she stopped short. She says the material there is not actually difficult.
Меня зовут Настя, я Data Scientist и TeamLead. Сегодня хочу рассказать про вредную занозу, которая засела у меня в голове и далее я не могла это игнорировать. Сейчас я читаю книгу Себастьяна Рашки «Строим LLM с нуля». Читаю по-взрослому: глава за главой, с открытым Jupyter рядом и кружкой кофе (не первой). И на разделе 2.8 про позиционные эмбеддинги я встала. Прямо как вкопанная. Причём там не сложно! В книге это буквально три строчки кода: есть таблица эмбеддингов слов, есть таблица эмбеддингов позиций, складываем — и вперёд, к attention. В других учебниках и статьях то же самое: «просто прибавим вектор позиции той же размерности». Ну понятно же? Понятно. Только в голове вместо ясности почему-то остался список вопросов: Изнать подробности