Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL

habrahabr.ru · world
Full story

A developer trained a 260-million-parameter language model from scratch on a single home graphics card, covering pretraining on 31 billion tokens, supervised fine-tuning, and reinforcement learning. The write-up describes how the model is built and what it can do. It also examines where the model falls short of Gemma and SmolLM2 and which parts of the effort did not work.

Обучил с нуля языковую модель на 260M параметров на одной домашней видеокарте: претрейн на 31 млрд токенов, SFT и RL. Рассказываю, как она устроена, что умеет, где проигрывает Gemma и SmolLM2 и что не получилось. Читать далее

Read full article → Compare