Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты
- Words
- 109
- Chars
- 677
- AI summary
- No
В первой части статьи я из любопытства проверил, какие бизнес-задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам. Сказать по правде, я и сам хотел кое-что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и т.д. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу. Читать далее
Open article