По расчёту памяти на 100 сотрудников нужно 4 видеокарты

Калькулятор

Сервер растёт вместе с командой: 100 сотрудников, 4 карты; 500 сотрудников, 20 карт

Вы задаёте число сотрудников и долю тех, кто работает с агентом одновременно, то есть чья задача идёт у агента в одну и ту же минуту. Формулы калькулятор берёт из расчёта автора: на задачу 12 ГБ видеопамяти и 32 ГБ оперативной, 20 % каждой карты в запасе. На выходе число карт трёх видов и объём оперативной памяти. Скорость ответа, пики и очередь он не оценивает, поэтому ответ годится для прикидки и для плана нагрузочного теста, а не для заказа. Как устроен тест, сказано в шаге 2 раздела «До закупки».

оценка по допущениям, не замер · карты посчитаны по памяти, а не по скорости · объёмы памяти по данным производителя

Что значат 20 % в рабочем дне? ↓

Рабочий день

Команда из 100 человек при 20 % даёт агенту 20 задач в каждую минуту дня

Одновременно здесь значит: задача сотрудника идёт у агента в эту минуту и занимает память карты. За 8‑часовой день агент по очереди работает на всю команду, и в каждую минуту идут задачи 20 % сотрудников, это 20 задач. Если нагрузка ровная, всего выходит 160 часов работы агента, на каждого 96 минут. Это следствие допущений, а не гарантированное время полезной работы и не сэкономленные часы людей. Долю в калькуляторе можно выбрать по своему дню.

оценка по допущениям · день 8 часов, нагрузка ровная

Сколько ещё людей примет этот сервер? ↓

Запас роста

Памяти сервера на 100 человек хватит на 125: докупить нужно одну A100

20 задачам нужно 800 ГБ оперативной памяти, а в сервер ставят 1 ТБ. Этого хватит на 25 задач, то есть на 125 сотрудников при тех же 20 %; карт A100 для них нужно 5, на одну больше. Следующий комплект памяти на 2 ТБ понадобится только со 126‑го сотрудника.

оценка по допущениям · память ставят комплектом по правилу автора

Можно ли проверить эти числа? ↓

Сверка

Совпадение 30 чисел из 30 проверяет формулы, а не железо

В расчёте автора сервер посчитан для 10, 50 и 100 сотрудников дважды: когда одновременно работают 20 % и когда все сразу. Калькулятор страницы пересчитывает каждую клетку по тем же формулам. Тесты сайта сверяют каждое число с таблицей автора. Совпадение значит одно: калькулятор считает так же, как расчёт автора. Подойдут ли выбранные карты, модель и нагрузка, оно не показывает, это проверяет нагрузочный тест.

таблицы из расчёта автора · сверка тестами сайта

На чём держится сам расчёт? ↓

Допущения

Три допущения дают запас, а пики и тяжёлые задачи могут потребовать больше карт

Если допущение не подтвердится, число карт сдвинется. У каждой строки видно, куда.

• 12 ГБ видеопамяти и 32 ГБ оперативной на задачу

  Столько памяти в ноутбуке автора. Задача в неё помещается, значит займёт не больше.

  ↓ столько же карт или меньше

• 20 % памяти каждой карты свободны

  Меньший запас может сократить число карт. Если оставить запас 10 %, RTX PRO 6000 на 100 сотрудников нужно 3 вместо 4.

  ↓ столько же карт или меньше

• Задачи похожи на тест автора

  Другие задачи займут больше или меньше памяти. Больше займут длинные запрос и ответ, лишние шаги агента и модель крупнее.

  ↑ возможно, больше карт: покажет нагрузочный тест

• Расчёт не учитывает, что модель общая

  Модель загружается на сервер один раз, а память добавляется под запросы.

  ↓ столько же карт или меньше

Запас по памяти не складывается в гарантию: карты посчитаны по памяти, а не по скорости. Пики нагрузки, очередь и требуемое время ответа могут потребовать больше карт. 20 % одновременной работы: допущение для планирования. В расчёт не входит резерв на случай отказа.

оценка по допущениям

Как дойти до закупки? ↓

До закупки

До закупки банк рискует одной картой, а не сервером

Банк уточняет расчёт за пять шагов, и первый уже сделан.

1. сделано

   Тест на ноутбуке

   Одна задача помещается в ноутбук с 12 ГБ видеопамяти и 32 ГБ оперативной.

2. Нагрузочный тест на одной карте

   Одна карта, та же модель и те же задачи, что пойдут в пилот. Сначала 5 задач одновременно, как в расчёте для A100, потом больше; на каждом шаге замеряют время ответа и сравнивают с допустимым, которое банк задаёт заранее. По числу задач, при котором ответ укладывается в срок, уточняют, сколько нужно карт.

3. Спецификация и бюджет сервера

   Сколько карт и памяти взять, видно из теста.

4. Установка в контуре банка

   Модель и база стоят внутри, данные наружу не уходят.

5. Пилот 1⁠–⁠2 месяца

   Ведут три человека: продуктолог, аналитик-куратор и инженер.

   Как устроен пилот →

предлагаемый порядок

Зачем банку этот сервер? ↓