⚖ Compare news

Put up to three stories side by side. Pick IDs from any article URL: /compare?id=123&id=456

Как я перестал платить за токены и собрал локальный RAG на 72 000 чанков в SQLite

habrahabr.ru ·Russian Federation · world
Words
193
Chars
1302
AI summary
No

Мне 22 года, я AI/ML-инженер и исследователь: закончил бакалавриат по прикладной информатике и защите информации в СГЭУ (2022–2026), а сейчас учусь в магистратуре Самарского университета им. Королёва (Аэрокос) на программе «Системы искусственного интеллекта». До этого успел поработать и руками (декоратором — собирал каркасы из бруса на площадках), и сисадмином 1С. Параллельно пишу софт для параметрического проектирования каркасов (Deckor), веду научку по гибридным нейросетям в медицине (НИР) и строю локальную инфраструктуру для мультиагентных систем. В какой-то момент передо мной встала классическая стена: проектов стало много, контекст в голове и в окне чата начал рассыпаться. Стандартный совет из интернета — «просто возьми LangChain, прикрути OpenAI API и залей векторную базу в Pinecone». Но у меня нет лишних денег, чтобы оплачивать каждый чих через API. Да и тащить в проект раздутые монструозные фреймворки ради банального поиска по своим же файлам дико не хотелось. Я решил собрать полностью локальное решение. Без внешних платных ключей, без облачных векторных БД, прямо на CPU и обычном SQLite. Ниже — разбор того, как это устроено, с какими граблями я столкнулся в процессе и поче...

Open article