GigaChat, YandexGPT или своя модель
Вопрос задают в начале проекта, хотя отвечать на него надо в конце. Разберём, от чего реально зависит выбор и почему он редко бывает главным фактором успеха.
Три варианта, между которыми выбирают
| Вариант | Плюсы | Ограничения |
|---|---|---|
| Российские облачные | Оплата в рублях, данные в РФ, без VPN, быстрый старт | Данные всё же уходят к поставщику |
| Открытые в своём контуре | ✓ Данные не покидают периметр, нет платы за обращения | Нужно железо и его обслуживание |
| Зарубежные | Часто сильнее на сложных задачах | — Оплата, доступ, трансграничная передача, риски |
Как выбирать на практике
Порядок вопросов, а не сравнение бенчмарков:
- Могут ли данные покидать периметр? Если нет — вариант один, локальная модель, и обсуждать больше нечего.
- Какой объём обращений? На больших потоках плата за обращения к облачной модели может превысить стоимость собственного железа.
- Насколько сложна задача? Классификация обращений и извлечение полей из документов решаются моделями попроще. Сложные рассуждения требуют более сильных.
- Нужна ли предсказуемость? Локальная модель не изменится без вашего ведома. Облачная может обновиться, и поведение агента поплывёт.
Почему выбор модели — не главное
Провалы внедрений, о которых пишут Deloitte и MIT, происходят не из-за выбора модели. Они происходят из-за отсутствия метрики, неготовых данных и отсутствия владельца процесса. Компания, выбравшая «неидеальную» модель, но закрывшая эти три вещи, получит результат. Обратное — нет.
Модель — сменная деталь. Мы фиксируем её в договоре с условием замены по согласованию именно потому, что она может меняться, а архитектура агента — нет.
Что важнее выбора модели
- Качество данных, к которым агент получает доступ
- Точность правил, по которым он принимает решения
- Наличие проверки человеком там, где ошибка дорога
- Сопровождение после запуска
Про последнее — почему агент деградирует без сопровождения.
Частые вопросы
Что выбрать для работы с персональными данными?
Если данные не могут покидать периметр — только локальную модель в вашем контуре. Для облачных вариантов нужно фиксировать в договоре перечень передаваемых полей и условия обработки на стороне поставщика.
Открытые модели сильно слабее?
На типовых бизнес-задачах — классификация, извлечение данных, ответы по базе знаний — разница обычно не критична. Она заметнее на сложных рассуждениях.
Можно ли поменять модель после запуска?
Да, если архитектура агента спроектирована без жёсткой привязки. Мы делаем именно так и фиксируем смену модели как процедуру согласования.
Нужен ли VPN?
Для российских моделей и локальных — нет. Это одна из причин, по которой мы их и предлагаем.
Подберём стек под ваши требования
На аудите определяем требования к данным и объём — из них следует выбор модели, а не наоборот.
Оставить заявку