Как выбрать подрядчика по ИИ
Рынок молодой, кейсов почти ни у кого нет, а обещания у всех одинаковые. Отличить работающего подрядчика от продающего проще всего по ответам на конкретные вопросы.
Девять вопросов
- Какую метрику вы зафиксируете в договоре и как будете её мерить? Плохой ответ — «повысим эффективность». Хороший — конкретный показатель с текущим значением и способом замера.
- Сколько будут стоить обращения к модели при нашем объёме? Если подрядчик не спросил, сколько у вас операций в месяц, смета неполная.
- Что входит в сопровождение и что будет, если мы от него откажемся? Честный ответ: качество упадёт за 2-3 месяца. Ответ «ничего, всё будет работать» — повод насторожиться.
- Какая работа с данными нужна до старта и кто её делает? Ответ «никакая» почти всегда означает, что данные не смотрели.
- Какие модели используете и где они работают? Должен быть конкретный перечень и место обработки, а не «современные нейросети».
- Что уходит наружу и что пишется в логи? Подробнее — в статье для службы безопасности.
- Кому принадлежат результаты работы? Права на код, промпты и настройки должны быть определены в договоре.
- Что будет, если метрика не достигнута? Хороший подрядчик даст внятный ответ, даже если это не возврат денег.
- От каких проектов вы отказываетесь? Если ни от каких — берут всё подряд, включая ваш неподходящий случай.
Красные флаги
- Обещание запустить агента с интеграциями за несколько дней
- Цена, которая не зависит от объёма ваших операций
- Отсутствие вопросов про ваши данные на первой встрече
- Готовность взять проект без разбора процессов
- Кейсы без названия клиента и без методики расчёта — включая наши: у нас их пока нет, и мы это пишем прямо
Про отсутствие кейсов
Публичных кейсов с цифрами на российском рынке почти нет — проекты закрыты соглашениями о неразглашении. Это значит, что отсутствие кейсов у подрядчика само по себе не приговор, но и красивые проценты без имени клиента ничего не доказывают.
Полезнее смотреть не на кейсы, а на то, как подрядчик отвечает на девять вопросов выше и от чего он отказывается.
Частые вопросы
Стоит ли брать подрядчика без кейсов?
Публичных кейсов на этом рынке почти ни у кого нет — проекты под NDA. Смотрите не на кейсы, а на конкретность ответов про метрику, данные и сопровождение.
Как проверить техническую компетентность?
Спросите, какие модели используются и почему выбраны именно они, как устроен доступ к вашим данным и что происходит при ошибке модели. Расплывчатые ответы на технические вопросы — плохой знак.
Нужно ли брать несколько предложений?
Да, но сравнивать надо не итоговые суммы, а состав: входит ли сопровождение, учтены ли обращения к модели, заложена ли работа с данными. Часто «дешевле» означает «неполно».
Что должно быть в договоре обязательно?
Метрика и способ её замера, перечень моделей и место обработки данных, состав передаваемых полей, права на результат и условия сопровождения.