Вы загружаете инструкцию. Чат-бот правильно отвечает на три вопроса, а в четвёртом придумывает исключение, которого в документе нет. Почему так происходит, если PDF у него уже есть?
RAG объединяет поиск по вашим документам с языковой моделью. Получив вопрос, система находит подходящие фрагменты и передаёт их модели как материал для ответа. Это не гарантирует, что каждый нужный фрагмент будет найден, правильно соотнесён с вопросом и точно пересказан. Microsoft объясняет разделение поиска и формирования ответа, а также ограничения этого подхода в своей документации по RAG.
Поэтому для небольшого бизнеса важнее не количество PDF, которые можно загрузить. Важнее другое: может ли ответственный сотрудник понять, откуда взялся ответ и действуют ли документы, на которых он основан?
Один вопрос, два отдельных процесса
Представим условную инструкцию по оказанию услуг. В ней написано: «Экспресс-обработка в течение двух рабочих дней. Исключение — заказы, по которым необходимо запросить дополнительные документы». Клиент спрашивает: «Если я выберу экспресс, мои документы будут готовы к четвергу?»
Полезный ассистент сначала должен найти правильное правило. Затем — отделить то, на что оно отвечает, от того, что остаётся неизвестным: дату поступления заказа, полноту документов и возможные дополнительные условия. Ответ «Да, конечно» из этого текста не следует.
Схема в начале статьи показывает оба процесса. При настройке и обновлении содержимое извлекают, структурируют и делают доступным для поиска. При каждом вопросе система находит нужные фрагменты, к которым разрешён доступ, и составляет на их основе ответ. Если необходимого факта не хватает, правильным результатом будет уточняющий вопрос.
Почему PDF — это больше, чем текст
Человек распознаёт на странице заголовки, сноски и таблицы. При автоматической обработке эту структуру сначала нужно сохранить или восстановить. Для скана требуется распознавание текста. Страница с двумя колонками может быть прочитана в неправильном порядке. В таблице цен число может потерять связь с заголовком своего столбца.
Наш практический совет для приёмки: не ограничивайтесь демонстрацией успешной загрузки. Откройте извлечённую версию сложной страницы. Остались ли вместе сумма, единица измерения и соответствующая услуга? Видна ли сноска? Языковая модель может перенести ошибку этого этапа в убедительно сформулированный ответ.
Если документов мало и они короткие, иногда имеет смысл передавать их модели целиком. RAG особенно полезен, когда нужен выборочный поиск по большой или часто обновляемой коллекции. Это не обязательный компонент любого ассистента.
Chunking: где должен заканчиваться смысловой фрагмент?
«Чанки» — это фрагменты, на которые содержимое делят для поиска. Слишком маленькие теряют контекст; слишком большие содержат много материала, который мало связан с вопросом. Заголовки, условия и исключения должны оставаться доступными для совместного поиска. Универсальной правильной длины нет: Microsoft описывает разные способы разбиения и рекомендует учитывать структуру документов и характер вопросов. Источник: разбиение документов для RAG.
В примере с экспресс-обработкой исключение — не второстепенная фраза. Если отделить его от предложения и не передать при поиске, возникнет существенный пробел. Поэтому полезная проверка звучит так: «Находит ли система правило вместе с его ограничением?» А не так: «Настроили ли мы определённое количество символов?»
Четыре похожие проблемы с разными причинами
| Что вы наблюдаете | Что проверить сначала | Что стоит исправить |
|---|---|---|
| Число неверное, хотя нужный файл загружен | Извлечённый текст и связи внутри таблицы | Обработку документа |
| В ответе используется старая цена | Версию и срок действия найденного источника | Убрать старую версию из активного поиска |
| Правило передано верно, но исключение пропущено | Найденные фрагменты и соседний текст | Проверить структуру документа и поиск вместе |
| В клиентском чате появилась внутренняя информация | Права доступа до поиска | Технически разделить открытые и закрытые материалы |
Таблица помогает с диагностикой, но не перечисляет все возможные ошибки. На этапе формирования ответа модель тоже может добавить утверждения, которых нет в найденных фрагментах. Поэтому результаты поиска и готовый ответ нужно уметь просматривать отдельно.
У каждого документа должен быть ответственный
Для важных материалов определите, кто утверждает изменения, когда они вступают в силу и какую версию заменяют. Название файла вроде «Цены_финал_новые_2.pdf» на эти вопросы не отвечает. Полезнее явно поддерживать сведения о названии, версии, сроке действия и источнике.
При замене файла проверяйте и содержимое поискового индекса. Добавление новой версии ещё не доказывает, что старая больше не используется. Включите в приёмку вопрос с изменённым значением. Повторяйте его после каждого существенного обновления.
Проверять права доступа тоже нужно до формирования ответа. Нельзя передать публичному виджету конфиденциальные документы и ограничиться указанием ничего из них не раскрывать. Microsoft, например, показывает, как ограничивать результаты поиска фильтрами на основе идентификаторов пользователей; приложение должно действительно обеспечивать эти ограничения. Источник: фильтры безопасности для результатов поиска.
Как проверить базу знаний вместе с командой
Поиск по базе знаний — только один уровень контроля. Как сочетать источники, правила остановки и передачу человеку, объясняет наш материал о галлюцинациях в клиентской поддержке.
Для первой рабочей проверки выберите около 20 вопросов из повседневной практики. Это удобный стартовый объём, а не статистическое доказательство качества. Смешайте однозначные вопросы, исключения, устаревшие термины и вопросы, на которые в документах заведомо нет ответа.
Для каждого вопроса запишите ожидаемый фрагмент источника, допустимое утверждение и необходимое уточнение. Затем проверьте: найден ли правильный фрагмент? Подтверждает ли он ответ? Обозначает ли система нехватку информации? Для персональных данных добавляется ещё один вопрос: вправе ли именно этот пользователь получить такой ответ?
Ссылка на источник — это способ проверки, а не знак качества. Откройте её и сопоставьте ключевое утверждение с содержимым. Если источник лишь упоминает ту же тему, ответ ещё не обоснован.
Планируете базу знаний с ИИ-ассистентом? Для первого разговора лучше подготовить три типичных вопроса и один сложный документ, чем неразобранную папку со всеми материалами. Так можно предметно оценить, какая подготовка нужна вашему контенту.