Сколько агент тратит на обращения к модели
Это единственная статья бюджета, которая растёт вместе с использованием, и единственная, которую подрядчики чаще всего не считают. Разбираем, как её оценить до подписания сметы.
За что идёт плата
Оплачивается объём обработанного текста — и входящего, и исходящего. Поэтому счёт зависит не от числа сценариев, а от того, сколько текста агент прочитал и написал.
Ключевое следствие: два агента с одинаковой стоимостью разработки могут отличаться по ежемесячным расходам в десятки раз. Агент на 200 обращений в день и агент на 5 000 — это разные строки бюджета.
Три вещи, которые раздувают счёт
- Большой контекст на каждый запрос. Если агенту при каждом обращении подкладывают всю базу знаний вместо нужного фрагмента, вы платите за неё каждый раз. Это самая частая и самая дорогая ошибка проектирования.
- Повторные обращения. Агент не уверен, переспрашивает, перепроверяет — и каждый шаг оплачивается. Плохо описанные правила обходятся дороже, чем кажется.
- Избыточная модель. Классификация обращений и извлечение полей из документов решаются моделью попроще. Ставить всюду самую сильную — переплата без выигрыша в качестве.
Как оценить до старта
Порядок простой, и его должен проделать подрядчик:
- Взять фактическое число операций в месяц по вашим данным
- Оценить средний объём текста на одну операцию
- Умножить и применить тариф выбранной модели
- Заложить запас на пики и на повторные обращения
Если подрядчик не спросил, сколько у вас операций в месяц, смета неполная — расходы на модель в ней либо забыты, либо взяты с потолка.
Как снизить, не теряя качества
| Приём | Что даёт |
|---|---|
| Поиск по базе вместо подкладывания всей базы | Самая большая экономия, обычно кратная |
| Модель попроще на простых шагах | Разные шаги — разные модели |
| Кэширование повторяющихся частей запроса | Заметно на однотипном потоке |
| Точные правила вместо расплывчатых | Меньше переспрашиваний |
| Фильтр до обращения к модели | Часть запросов решается без неё вовсе |
Последний пункт недооценивают: половину типовых вопросов можно закрыть обычной логикой, не трогая модель вообще.
Когда счёт за модель перестаёт быть мелочью
На больших потоках расходы на обращения могут превысить стоимость сопровождения, а иногда и окупить собственное железо — тогда локальная установка становится выгодной не только из-за безопасности. Эту границу считаем на аудите по вашим объёмам.
Полная раскладка остальных статей бюджета — в разборе стоимости.
Частые вопросы
Можно ли назвать сумму заранее?
Порядок — да, по числу операций и среднему объёму текста. Точную — только после пилота на реальном потоке: предсказать поведение пользователей до запуска нельзя.
Кто платит за обращения — мы или подрядчик?
Обычно заказчик, напрямую поставщику или через подрядчика с наценкой. Это стоит проговорить до подписания: формулировка «включено» без указания лимита обычно означает лимит, о котором вы узнаете позже.
Правда ли, что локальная модель бесплатна?
Нет платы за обращения, но есть стоимость железа и его обслуживания. На больших потоках это выгоднее облака, на малых — заметно дороже.
Как понять, что счёт раздут проектированием?
Спросите, сколько текста уходит в модель на одно обращение. Если в ответе фигурирует «вся база знаний» — деньги тратятся впустую.
Посчитаем расходы по вашим объёмам
На аудите берём фактическое число операций и считаем полную стоимость первого года, включая обращения к модели.
Оставить заявку