К содержанию
Руководство · банк

Хранилище контекста для ИИ‑агентов: как построить в банке

Хранилище отдаёт агенту нужные фрагменты с источником, версией и правами.

В научном сравнении модель в длинном окне теряет нужное: при 32 тыс. токенов она находит его в 70 % случаев вместо 99 % на коротком тексте. Поиск в хранилище сочетает несколько способов находить материалы. У каждого результата сохраняются источник и версия. До передачи модели система проверяет доступ. Качество оценивают по тому, удалось ли решить задачу. В примере страницы агент получает три фрагмента со ссылкой и версией; число и объём фрагментов для своего процесса подбирают на реальных вопросах. Ниже девять шагов с примерами, в конце ресурсы.

С чего начать
  • слованомера и коды
  • векторысмысл
  • графсвязи
  • пакет агентуфрагмент · источник · версия

Сцена проходит один раз и останавливается на последнем кадре.

Последний кадр: пакет из трёх фрагментов у агента.

Шаг 1 · старт

Начинают с одного сценария, который проверяют свои эксперты

Первый сценарий: помощник отвечает разработчику из платёжной команды, кто владеет API переводов и как его вызвать. Берут два‑три источника, у которых есть владелец и права. Помощника проверяют по эталону. Эталон пишут свои эксперты, нанимать людей для старта не нужно, если у экспертов есть на это время. Ориентир для первого набора по чужой практике: 300⁠–⁠500 вопросов, у каждого ответ, дата фактов и обязательные доказательства. Надёжность во всех сегментах, документах и правах такой набор ещё не доказывает.

синтетический пример банка

Как искать: словами, смыслом или по связям? ↓

Шаг 3 · права и свежесть

Права сотрудника проверяют до того, как фрагмент попадёт к модели

У каждого фрагмента паспорт: источник, версия, владелец, срок действия и права. Ворота прав ставят до модели: фрагмент, на который у сотрудника нет прав, до модели доходить не должен. Всё, что получено из фрагмента, наследует его паспорт: рёбра графа, сводки, кэш ответов, память агента. Свежесть меряют двумя сроками: один для нового текста, другой для снятого доступа. У поставщика при узком доступе это около 2 и 72 часов.

мой порядок, не замер

Сколько стоит построить такой индекс? ↓

Шаг 4 · бюджет индекса

Описания к фрагментам умножают чтение модели в 11 раз

При обогащении модель читает весь документ для каждого фрагмента и пишет описание, чтобы фрагмент находился по смыслу. Так документ в 8 000 токенов обходится в 88 500 токенов чтения, в 11 раз больше. Запись описаний, векторы и кэш в это число не входят, их считают отдельно. Весь бюджет индекса считают до старта. Граф в этот счёт не входит: его цену меряют в часах, за которые он строится, по условиям чужого сравнения.

Один документ

10 фрагментов × (8 000 документ + 800 фрагмент + 50 инструкция)

  • 88 500модель читает
  • 16 500с кэшем начала документа
  • 1 000модель пишет описания
  • 9 000модель векторов читает

8,85 млрдмодель читает

1,65 млрдс кэшем

100 млнпишет

900 млнвекторы

88,5 млнобновление 1 % документов

токенов

расчёт, допущения в тексте

Какую модель можно поставить внутри контура банка? ↓

Шаг 5 · модели в контуре

Модель для контура банка сначала проверяют по лицензии

Контур банка: свои серверы, без внешних сервисов. Там работают открытые модели: одни строят векторы, другие переранжируют найденное, третьи пишут ответы. Лицензия решает раньше скорости: одна открытая модель запрещает работу с банковской тайной. Разрешение по лицензии ещё не говорит о качестве на банковской задаче, его проверяют на своём эталоне. Потом считают память видеокарты: по расчёту весов и кэша модели на 8 млрд параметров нужно 35,7 ГБ при 4 запросах по 32 тыс. токенов. Это нижняя граница, буферы в расчёт не вошли. Хватит ли одной карты на 48 ГБ, показывает испытание под нагрузкой.

ЗадачаМодельРазмерЛицензияЧто важно
ответыоткрытая русская модель с особой лицензиейлицензия ↗8 млрдсвоялицензия не допускаетбанковская тайна и персональные данные запрещены; если за месяц модель пишет больше 10 млн токенов, нужно соглашение
векторырусская модель векторовкарточка модели ↗1 536 измерений · 512 токеновMITлицензия допускаеткороткое окно: фрагменты до 512 токенов
векторымногоязычная модель с тремя режимами поискакарточка модели ↗1 024 измерения · 8 192 токенаMITлицензия допускаетвекторы, слова и многовекторный поиск одной моделью
векторымногоязычная модель векторовкарточка модели ↗до 4 096 измерений · 32 тыс. токеновApache‑2.0лицензия допускаетдлинное окно; размер вектора выбирают под память индекса
переранжированиемногоязычный переранжировщиккарточка модели ↗0,6 млрдApache‑2.0лицензия допускает+4,7 балла на русских наборах; на свежих вопросах о коде бывает вред
ответыоткрытая русская модель-смеськарточка модели ↗10 млрд, активны 1,8 млрдMITлицензия допускает5 832 токена/с чтения и записи на одной карте 80 ГБ при 32 запросах, замер авторов
ответырусская адаптация открытой моделикарточка модели ↗32 млрдApache‑2.0лицензия допускаетот 99,9 ГБ при 4 × 32 тыс.: по расчёту две карты по 80 ГБ
ответырусская адаптация открытой моделикарточка модели ↗8 млрдApache‑2.0лицензия допускаетот 35,7 ГБ при 4 × 32 тыс.: по расчёту одна карта 48 ГБ

Нижняя граница памяти видеокарты: веса и кэш при 4 запросах по 32 тыс. токенов

8 млрд35,7 ГБ1 × 48 ГБ
14 млрд51 ГБ1 × 80 ГБ
32 млрд99,9 ГБ2 × 80 ГБ

веса кэш · нижняя граница: в расчёт вошли веса по 2 байта на параметр и кэш ключей и значений, буферы не вошли; хватит ли карт, показывает только испытание

Устройство открытой модели на 8 млрд ↗Устройство открытой модели на 14 млрд ↗Устройство открытой модели на 32 млрд ↗

карточка и лицензия модели

Как агенту попросить контекст и не получить лишнего? ↓

Шаг 6 · шлюз агентов

Шлюз проверяет описания инструментов в одном месте

Агенты просят контекст через один шлюз по MCP. Этот открытый протокол подключает их к данным и инструментам. Шлюз держит каталог серверов и четыре операции хранилища. Права на чтение и на действие у него отдельные, каждый вызов пишется в журнал. У описания каждого инструмента закрепляют версию. В научном сравнении без проверки описаний удавались до 72,8 % атак через их подмену.

Один вызов: вопрос агента, операция, ответ хранилища

синтетический пример банка

Как понять, что хранилище помогает агенту? ↓

Шаг 7 · оценка

Каждую ступень хранилища оставляют по замеру

Сначала на своём наборе вопросов ставят лесенку опытов: ступень остаётся, только если растёт доля решённых задач. В синтетическом примере доля растёт с 31 до 55 из 100. С графом для всех вопросов доля не выросла, поэтому граф получает только вопросы о связях. Парный разбор тех же задач показывает больше, чем итог: 52 решённые против 53 скрывают 7 новых побед и 8 потерь. Потом ступени проверяют A/B на живых задачах.

синтетический пример банка

Как подключить команды банка без приказа? ↓

Шаг 8 · команды

Хранилище предлагают командам без приказа

Гипотеза: команды подключаются сами, если своего помощника можно настроить за минуты. Её проверяет воронка подключения. У тех, кто работает на внутренней платформе, пропускная способность на 8 % ниже, чем у команд без платформы. Отраслевой отчёт связывает потери прежде всего с обязательной платформой. Воронка показывает, на каком шаге команды уходят. Главный шаг в ней: первая решённая задача.

синтетический пример банка

В каком порядке всё это строить? ↓

Шаг 9 · план

Следующий этап начинают, когда предыдущий дал свою цифру

Мой порядок: четыре этапа по 2⁠–⁠4 недели, всего 12 недель, если ни один этап не повторяют. Между этапами ворота: этап должен дать свою цифру. Если этап не прошёл ворота, его повторяют, и срок растёт. О графе решают только по замеру в конце.

мой порядок, не замер

Как дать агенту больше самостоятельности, когда контекст готов? →

Ресурсы

По чему собрана страница: первоисточники и инструменты

Каждая цифра выше ведёт сюда. У ссылки вид источника и год.

слова, векторы, граф и маршрут между ними

Оценка

эталон, оценщик и метрики поиска и ответа

Права и свежесть

сроки обновления текста и прав, утечки через индекс

Шлюз и протокол агентов

спецификация, безопасность, опыт большого шлюза

Модели и лицензии

открытые модели для контура банка и их устройство

Память агента

что агент помнит между задачами

Агенты-разработчики

контекст для агентов, которые пишут код

Внутренние платформы

как команды подключаются и как это мерить