Дата актуализации: | Номер документа: 00991

В современном информационном ландшафте простое совпадение ключевых слов (keyword matching) уступает место семантическому пониманию и контекстному анализу; Документ часть 00991 посвящен глубокому разбору методологий, позволяющих преодолеть «семантический разрыв» между пользовательским запросом и релевантными документами. Основываясь на передовых практиках юридических баз данных (Lexis, Westlaw), академических каталогах (Library of Congress) и передовых LLM-архитектурах (RAG, HyDE, Query2Doc), мы систематизируем подходы к построению высокоточных систем поиска и извлечения информации.

Глава 1. Фундаментальные подходы к построению запросов

Булева логика и термы-коннекторы (Terms & Connectors)

Классический метод, до сих пор являющийся «золотым стандартом» в профессиональных юридических базах данных (Lexis, Westlaw, Bloomberg Law). В отличие от естественного языка, этот подход дает полный контроль над логикой выборки.

• Операторы: AND, OR, NOT (или % / ! в зависимости от платформы).
• Проксимация: /n (слова в пределах n слов друг от друга), /s (в одном предложении), /p (в одном абзаце).
• Усечение и маски: * (множество символов), ! или ? (один символ).

Пример из практики (UNLV Wiener-Rogers Law Library): Запрос Football /5 injur! /s liability найдет документы, где слова «football» и «injury/injuries» находятся в окне , а «liability», в том же предложении.

Поиск на естественном языке (Natural Language Search)

Подход «как в Google» (What are the elements of battery?). Современные движки (Westlaw, Lexis Advance, Google Scholar) используют ранжирование на основе TF-IDF, BM25 и, все чаще, dense-векторов (embeddings). Эффективен для исследовательских этапов, когда точная терминология неизвестна.

Стратегия «Поиск в результатах» (Search Within Results)

Ключевая техника по рекомендациям UCLA School of Law (Hugh Hazel Darling Law Library).

1. Выполняется широкий запрос для охвата максимального контекста (High Recall);
2. Внутри полученной выборки применяется уточняющий фильтр (High Precision) для выделения специфического фактического контекста или юрисдикции.

Это позволяет избежать проблемы «пустого результата» при слишком узком начальном запросе.

Глава 2. Продвинутая переформулировка запросов (Query Rewriting & Expansion)

Проблема лексического разрыва (Vocabulary Mismatch)

Пользователь спрашивает «Как оформить больничный?», а в документе написано «Процедура выдачи листа нетрудоспособности». Традиционный BM25 здесь беспомощен. Решение — Query Expansion и Query Rewriting.

HyDE (Hypothetical Document Embeddings)

Принцип: LLM генерирует гипотетический ответ (гипотетический документ) на запрос пользователя. Затем эмбеддинг этого гипотетического документа сравнивается с эмбеддингами реальных документов в векторной базе.

• Преимущество: Выравнивает пространство запроса и пространство документов (query-document alignment).
• Эффективность: Показывает улучшение retrieval accuracy на 14–37% (по данным исследований 2025 года, Day 9 Query Expansion).
• Применение: Zero-shot dense retrieval без дообучения эмбеддеров.

Query2Doc

Расширение идеи HyDE: генерация псевдодокумента с последующим извлечением ключевых терминов для расширения исходного запроса (псевдо-релевантная обратная связь).

Инструкционное переписывание для Elasticsearch / LLM-поисковиков

Согласно подходам Elasticsearch Labs, перед векторным поиском запрос проходит через LLM-промпт:

Prompt: «Ты — поисковая система. Извлеки из запроса релевантные ключевые слова, кодовые обозначения и собственные имена. Игнорируй стоп-слова и конверсационный мусор. Выведи JSON-массив терминов для булева/векторного поиска».

Это позволяет сделать поиск независимым от длины запроса (query length independent) и фокусироваться на семантическом ядре.

Глава 3. Контекстуализация в RAG-системах (Retrieval-Augmented Generation)

Проблема кореференции и истории диалога

В чат-ботах с RAG пользователь часто задает уточняющий вопрос: «А как насчет срока действия?» (после вопроса про визы). Наивный векторный поиск по этому фрагменту вернет мусор.

Стратегии поддержания контекста (Context Maintenance)

Рекомендация по реализации (Best Practice)

Для продакшн-систем 2026 года оптимальным балансом является Two-Stage Pipeline:

1. Stage 1 (Rewriter): Легкая модель (например, Llama-3-8B-Instruct или Phi-3) переписывает запрос с учетом последних 3-5 ходов диалога.
2. Stage 2 (Retriever): Гибридный поиск (BM25 + Dense Vector Search с HyDE) по переписанному запросу.
3. Stage 3 (Reranker): Cross-encoder (например, BGE-Reranker-v2 или Jina-Reranker) для точного ранжирования топ-50 кандидатов до топ-5 для генерации ответа.

Глава 4. Специализированные каталоги и идентификаторы

Работа с библиотечными каталогами (Library of Congress) и нормативными базами требует знания структурированных идентификаторов.

• Dewey Decimal Classification (DDC) / LCCN: Позволяют строить точечные запросы по темам. Пример: Использование Dewey ID для темы «Испанско-американская война» для отсева нерелевантных военных конфликтов.
• Цитирование по прецедентам (Case Law): В юридических базах поиск по номеру дела (Docket Number) или цитированию (Citation), самый точный метод (Precision = 1.0).

Глава 5. Временные факторы и свежесть информации (Freshness)

Согласно Google Search Help, для трендовых тем и недавних событий алгоритмы ранжирования автоматически повышают вес даты публикации (Publication Date).

Инженерное применение в RAG:

• Добавление поля publication_date в метаданные векторной БД.
• Применение Recency Boosting при скоринге: Score_final = Score_semantic * (1 + decay_factor * days_old).
• Для правовых систем (Westlaw/Lexis) — обязательная фильтрация по дате вступления в силу / отмены акта.

Современный поиск — это не (одиночный) запрос к индексу, а конвейер (pipeline) интеллектуальных преобразований.

Чек-лист для аудита/внедрения:

1. [ ] Гибридный ретривер: BM25 (ключевые слова, коды, номера) + Dense Vectors (семантика).
2. [ ] Query Rewriter: Модуль переписывания запроса под контекст диалога (для чат-ботов).
3. [ ] Expansion Layer: Интеграция HyDE / Query2Doc для сложных аналитических запросов.
4. [ ] Instructional Extraction: LLM-парсер сущностей перед поиском (для Elasticsearch/OpenSearch).
5. [ ] Reranker: Cross-encoder на выходе ретривера (обязательно для RAG).
6. [ ] Temporal Awareness: Учет дат публикации и актуальности в скоринге.
7. [ ] Search Within Results: UI/UX паттерн для итеративного уточнения (faceted search / post-filtering).

Документ подготовлен на основе актуальных на методологий: UCLA Law LibGuides, UNLV Law Library, Elasticsearch Labs, Google Search Central, передовых статей по RAG/Optimization (HyDE, Query2Doc).