BM25 и RAG: инженерный разбор от AI-архитектора

habrahabr.ru · tech
Full story

An engineering breakdown of BM25 and RAG notes that BM25 fundamentals have already been covered in detail in various articles. It cites Evan Schwartz on Habr, who explained the derivation of IDF from the Robertson and Spark-Jones probabilistic model. It also points to a Claude Academy course that used incident INC-2023-Q4-011 to show why semantic search loses exact identifiers, and to the Michael-JB/bm25 repository, which demonstrates representing BM25 as sparse embeddings in Rust.

Матчасть по BM25 уже много и подробно разбиралась в различных статьях: от Эвана Шварца на Хабре , где он объяснял вывод IDF из вероятностной модели Робертсона и Спарк-Джонс, в курсе Claude Academy на примере инцидента INC-2023-Q4-011 показали, почему семантический поиск теряет точные идентификаторы, а репозиторий Michael-JB/bm25 демонстрирует представление BM25 в виде разреженных эмбеддингов на Rust. Повторять смысла нет - источники выше. В этой статье посмотрим на BM25 со стороны продакшена как на структуру данных, разберём расхождения между популярными библиотеками, изучим по бенчмаркам его преимущества и ограничения, а также соберём пайплайн гибридизации и валидации. Примеры будут из поиска по юридическим документам (ака НейроЮрист). Из вводных стоит сразу зафиксировать четыре неочевидных свойства, которые напрямую влияют на продакшен. Скор BM25 - это не вероятность: он не нормирован и не сопоставим ни между разными коллекциями, ни внутри одной коллекции в разные моменты времени. При этом представление алгоритма в виде разреженного вектора с предвычисленными весами позволяет перенести расчёты на этап индексации. Обратная сторона такого подхода - чувствительность к глобальной статистике: при вставке и удалении документов средняя длина avgdl дрейфует, точность падает, поэтому при приблизительной оценке avgdl параметр b нужно снижать, а при полном отсутствии статистики — обнулять ( b = 0 ). Читать далее

Read full article → Compare