ИИ в вашем контуре, а не в чужом облаке
Разворачиваем агентов на ваших серверах. Данные не уходят наружу — это то, чего облачные no-code-платформы не дают в принципе, и то, без чего служба безопасности не согласует проект.
Кому это обязательно
Для части компаний локальная установка — не преимущество, а условие допуска к проекту. Если ваша служба безопасности хоть раз заворачивала облачный сервис, вы знаете, о чём речь.
- Банки, страховые, финансовые сервисы — требования регулятора к обработке данных
- Медицина — специальные категории персональных данных
- Госзаказчики и компании с госучастием — требования к происхождению ПО
- Производство и логистика — коммерческая тайна в спецификациях и себестоимости
- Любая компания, у которой в договорах с клиентами есть запрет на передачу данных третьим лицам
Что именно разворачивается у вас
Модель, оркестратор, база знаний и логи размещаются на ваших мощностях. Наружу не уходит ничего, если это не предусмотрено согласованной схемой — а если предусмотрено, перечень передаваемых полей фиксируется в договоре поимённо.
Пять вопросов, которые задаёт служба безопасности
Отвечаем на них письменно, до подписания договора.
| Вопрос | Ответ |
|---|---|
| Какие модели используются | Фиксируем в договоре: российские или открытые, развёрнутые у вас. Смена — только по согласованию |
| Где они работают | На ваших серверах. Запросы к внешним API не уходят вне согласованной схемы |
| Что уходит наружу | Перечень полей фиксируется поимённо. Всё, чего нет в перечне, не передаётся |
| Что попадает в логи | Состав, срок хранения и круг доступа фиксируются. ПДн в логи можно не писать |
| Как отзываются доступы | Сервисные учётные записи с минимальными правами, отзыв на вашей стороне |
Развёрнутый разбор каждого пункта — в статье для службы безопасности.
Что нужно с вашей стороны
Требования к железу зависят от выбранной модели и нагрузки, и это тот пункт, который чаще всего недооценивают при планировании бюджета. Мы называем конфигурацию на аудите — до того, как вы согласуете смету, а не после.
Стоимость
Установка в контуре заказчика — от 2 500 000 ₽, сроки по проекту. В сумму входит развёртывание, интеграция с AD или SSO, комплект документов для службы безопасности, обучение вашей команды и передача прав. Сопровождение — отдельно, от 300 000 ₽ в месяц с SLA.
Если требований к периметру нет, задача решается дешевле: пилот от 200 000 ₽.
Как оценить железо под агента: метод, а не цифра
Сколько памяти и какие ускорители нужны агенту в закрытом контуре, зависит от модели, длины текстов и числа одновременных запросов. Универсальной цифры нет, а чужая цифра почти всегда не про вашу нагрузку. Поэтому сначала смотрим, что потребляет ресурсы, и только потом замеряем на ваших данных.
Веса модели
Число параметров умножается на число байт на параметр. Квантование (веса с меньшей точностью) экономит память, но в разной степени снижает качество. Условный пример метода: модель на 10 млрд параметров в 16-битной точности занимает по 2 байта на параметр, то есть около 20 ГБ только на веса. У моделей типа «смесь экспертов» в памяти, как правило, лежат все веса, хотя работает их часть.
Память под контекст
Для каждого активного запроса сервер хранит промежуточные данные по уже обработанным токенам текста, так называемый KV-кэш. Он растёт с длиной контекста и числом одновременных запросов. Нередко веса помещаются, а несколько длинных запросов сразу уже нет.
Одновременная нагрузка
Запросы можно обслуживать пакетами: общая пропускная способность растёт, но каждый ответ, как правило, ждёт дольше. Что важнее, зависит от задачи: человек в чате или фоновая очередь.
Порядок оценки у нас такой:
- Берём ваши данные: операций в месяц, пиковый час, типичную длину документа и ответа.
- Считаем обращения к модели на одну операцию по пилоту или тестовому прогону: агент читает, вызывает инструменты и проверяет результат, поэтому один запрос пользователя — это несколько обращений.
- Выбираем класс модели по качеству на вашем тестовом наборе, а не по описанию, и фиксируем, что можно ставить в очередь, а что ждёт человек.
- Замеряем скорость выдачи и время до первого слова на арендованном или демонстрационном сервере с таким же ускорителем (на обезличенных данных) при нужном числе одновременных запросов, затем добавляем запас на пики, диск, модели поиска и речи, резерв на отказ узла.
Конфигурацию мы называем на аудите по вашим объёмам, а перед закупкой её стоит подтвердить замером. Железо идёт отдельной строкой, а его закупка нередко занимает больше времени, чем сам проект: наличие и сроки поставки серверных ускорителей меняются, проверяйте актуальную ситуацию. Подробный расчёт памяти — в статье как посчитать память и железо для локальной LLM.
Какие модели можно запускать у себя и что проверить до использования
В контуре обычно работает набор моделей, и у каждой своя нагрузка.
| Класс | Зачем агенту | На что смотреть |
|---|---|---|
| Языковая модель (LLM) | Понимает запрос, выбирает инструмент, пишет ответ | Русский язык, надёжность вызова инструментов, реальная длина контекста |
| Модель с «рассуждением» | Сложные многошаговые задачи | Создаёт много промежуточного текста до ответа: больше нагрузка, дольше ожидание |
| Эмбеддинги и реранкер | Поиск по базе знаний (RAG) | Качество на ваших документах; обычно скромны по ресурсам |
| Распознавание и синтез речи | Голосовой агент | Отдельные модели; критично время ответа |
До использования любой открытой модели проверяем:
- Лицензию. «Открытые веса» не значит «без условий»: бывают ограничения по коммерческому использованию, масштабу, назначению, дообучению. Читает её ваш юрист; юридических заключений мы не даём.
- Источник и формат файлов. Веса берут у первоисточника и сверяют контрольные суммы. Некоторые форматы (на основе pickle) могут выполнить код при загрузке; безопаснее, например, safetensors.
- Качество на ваших данных. Русский язык, терминологию, стабильный вызов инструментов и реальную, а не заявленную длину контекста проверяем на вашем тестовом наборе.
- Требования к происхождению ПО. Если они есть (например, у госзаказчика), уточните, как они применяются к весам модели.
Выбор между российской и открытой моделью разбираем в статье «GigaChat, YandexGPT или открытая модель», эксплуатацию — в материале о локальных LLM для AI-агентов. Условия установки в контур у поставщиков меняются, проверяйте актуальные.
Изоляция сети и обновления в закрытом контуре
Закрытый контур бывает разным, и требование надо назвать до проекта: сегмент с выходом через прокси со списком разрешённых адресов, сегмент без выхода в интернет или полностью изолированная сеть с передачей данных только через шлюз. Класс определяет ваша служба безопасности; чем строже изоляция, тем дороже эксплуатация.
Базовая схема: агент и модель в отдельном сегменте, исходящие соединения запрещены по умолчанию, открыты только нужные (1С, CRM, почта, каталог).
Агента, который общается с клиентами в Telegram, VK или MAX, полностью изолировать нельзя: сообщения идут через внешние сервисы. Обычное решение — тонкий шлюз в пограничной зоне (DMZ), передающий внутрь только согласованные поля. С внешней почтой так же. Подробнее — AI-агент для мессенджеров. Есть и скрытые зависимости: некоторые библиотеки при первом запуске докачивают файлы или шлют телеметрию. Проверка простая: запустить систему в сегменте без выхода и посмотреть, что она попытается сделать.
Автообновлений в закрытом контуре, как правило, нет: это и защита, и обязанность, ведь за уязвимостями в системе, драйверах, сервере модели и библиотеках кто-то должен следить. Порядок такой:
- Обновления собираются вне контура с проверкой источника и контрольных сумм; перечень компонентов с версиями доступен вашей службе безопасности.
- В контур они попадают через промежуточную зону или внутреннее зеркало репозиториев и образов.
- Сначала тестовый стенд: прогоняем согласованный тестовый набор и сравниваем с прошлой версией.
- Затем рабочий контур в окно обслуживания; предыдущая версия хранится для отката.
Модель не меняется молча: версия зафиксирована, замена идёт по согласованию после прогона тестов. Это и предсказуемость, и цена: улучшения приходят только осознанным обновлением.
Доступы: AD, SSO, роли и журналы
Два вопроса, которые часто путают: кто работает с агентом и под какой учётной записью сам агент ходит в ваши системы.
- Пользователи. Вход через ваш каталог (Active Directory или российский аналог) по LDAP, SAML или OpenID Connect; протокол определяется тем, что у вас есть.
- Сам агент. Отдельная сервисная учётная запись на каждую интеграцию, минимальные права, секреты в хранилище секретов, а не в тексте инструкции. Создаёт и отзывает её ваш ИТ.
- Права спрашивающего. Частая дыра: агент читает всю базу документов, а отвечает любому. Права проверяются на этапе поиска: агент не должен видеть то, что не видит спрашивающий.
Ролей минимум четыре: пользователь; согласующий критичных шагов (человек в контуре); администратор инструкций и базы знаний; аудитор, который читает журналы и ничего не меняет.
Журнал показывает, кто спросил, какие инструменты агент вызвал и с какими параметрами, кто подтвердил действие и какая версия модели работала. Его отправляют в вашу SIEM-систему (мониторинг событий безопасности) с ограниченным доступом. Компромисс: полные тексты обращений в журнале — ещё одно место с персональными данными, поэтому чаще пишут ссылки на записи. Состав и срок хранения решает ваша служба безопасности; про журналы и персональные данные — в статье про 152-ФЗ, остальные риски — в разборе безопасности AI-агентов.
Что нужно от вашего ИТ и службы безопасности
Контур не ставится силами одного подрядчика: значительная часть критического пути лежит на вашей стороне. Чек-лист, который мы проходим на аудите:
| Что нужно | Кто у вас | Когда |
|---|---|---|
| Сервер или виртуальная машина с ускорителем, место, питание | ИТ-инфраструктура | Заранее: закупка может идти дольше проекта |
| Сетевой сегмент и правила межсетевого экрана | Сетевые инженеры, ИБ | До установки |
| Тестовый контур отдельно от рабочего | ИТ | До пилота |
| Каталог, SSO и схема ролей | ИТ, ИБ | На проектировании |
| Сервисные учётки в 1С, CRM, почте с минимальными правами | Владельцы систем | До интеграций |
| Какие данные агент видит, категории персональных данных, перечень полей | ИБ, ответственный за персональные данные | На аудите |
| Хранилище журналов, срок хранения, выгрузка в SIEM | ИБ | До запуска |
| Порядок приёма обновлений, окно обслуживания, резервные копии с проверкой восстановления | ИТ, ИБ | До запуска |
| Образцы данных для тестового набора, критерии приёмки, владелец процесса | Руководство | На аудите, до пилота |
Ограничения моделей в контуре и как с ними работать
Модель, которая помещается на ваш сервер, не равна самой крупной облачной. Что это меняет:
Сложные рассуждения и длинные документы
Разрыв с крупными облачными моделями заметнее именно здесь; на типовых задачах (классификация, извлечение полей, ответы по базе знаний) он обычно не критичен, но это проверяется на вашем тестовом наборе, а не принимается на веру. Что делаем: сужаем задачу, режем на шаги, правила отдаём коду.
Вызов инструментов
Небольшие модели чаще ошибаются в параметрах. Что делаем: строгая схема параметров, проверка кодом до выполнения, короткий набор инструментов.
Ошибки и устаревшие знания
Модель не знает событий после даты обучения и ваших внутренних данных и способна выдумать ответ. Что делаем: отвечаем по базе знаний со ссылкой на документ, человек на критичных шагах.
Нагрузка упирается в железо
Облако масштабируется тарифом, контур — закупкой. Что делаем: очереди, передача человеку при перегрузке, запас и мониторинг агента.
Улучшения приходят по плану
Облачный поставщик обновляет модель сам, в контуре замена идёт с прогоном тестов. Что делаем: пересмотр модели закладываем в план сопровождения по согласованию.
Чего контур не решает: скрытая команда в письме или документе по-прежнему может обмануть модель, а избыточные права дают тот же ущерб.
Чем облачный вариант отличается от контура: сравнительная таблица
| Критерий | Российское облако | Ваш контур |
|---|---|---|
| Где обрабатываются данные | У поставщика модели, по согласованной схеме | На ваших серверах |
| Что уходит наружу | Поля из поимённого перечня в договоре | Ничего вне согласованной схемы |
| Стартовые вложения | Ниже: пилот от 200 000 ₽, 3-4 недели | Выше: установка от 2 500 000 ₽, по проекту; железо отдельной строкой; запуск дольше |
| Регулярные расходы | Обращения к модели по объёму и сопровождение | Железо, размещение, обслуживание и сопровождение; платы за обращения нет, но лицензия модели может быть платной |
| Выбор моделей | Как правило шире; поставщик может обновить модель | Ограничен вашим железом; версия зафиксирована |
| Персональные данные | Оператор вы; нужны основания, договор с поставщиком, перечень полей | Оператор тоже вы; данные не уходят внешнему поставщику модели, а условия удалённого доступа подрядчика при сопровождении фиксируются в договоре отдельно |
| Когда подходит | Запрета на передачу данных нет, поток небольшой или средний | Запрет на передачу данных, регулируемая отрасль; иногда очень большой поток |
Бывает смешанная схема: операции с персональными данными в контуре, справочные вопросы по публичной информации в облаке. Границу проводим по категориям данных, а не по удобству. Когда своё железо начинает выигрывать у платы за обращения, считается по объёмам, см. статью про расход на обращения к модели; состав этапов — на странице разработки AI-агентов.
Нужна оценка для ИТ и службы безопасности? Расскажите, какие данные и какой поток: на экспресс-аудите (50 000 ₽, 5-7 рабочих дней, засчитывается в проект) назовём конфигурацию и перечень того, что нужно от вас. Если хватит облака, так и скажем: отказ — тоже результат аудита.
Частые вопросы
Данные точно не уйдут наружу?
В варианте on-premise модель и все компоненты работают на ваших серверах, обращений к внешним API нет. Если какая-то интеграция всё же требует внешнего запроса, мы фиксируем в договоре перечень передаваемых полей поимённо — всё, чего нет в перечне, не передаётся.
Какое железо нужно?
Зависит от выбранной модели и нагрузки. Конфигурацию мы называем на аудите, до согласования сметы. Это тот расход, который чаще всего забывают заложить в бюджет.
Соответствует ли это 152-ФЗ?
Локальная установка снимает вопрос трансграничной передачи и упрощает выполнение требований к хранению. Но соответствие закону — это не только техника: нужны уведомление в Роскомнадзор, политика обработки и корректные согласия. Что относится к нашей зоне, а что к вашей, разграничиваем в договоре.
Можно ли начать в облаке и переехать в контур?
Да, но переезд стоит денег и времени. Если требования к периметру известны заранее, дешевле сразу проектировать под on-premise.
Можно ли запустить AI-агента в закрытом контуре без доступа в интернет?
Да: модель, поиск по базе знаний и оркестратор работают в сегменте без выхода наружу. Сложности на краях: мессенджеры и внешняя почта требуют тонкого шлюза в пограничной зоне, а обновления приходят через промежуточную зону и тестовый стенд. Это закладывается на проектировании.
Какая видеокарта нужна для локальной LLM в бизнесе?
Универсального ответа нет. Он зависит от размера модели и точности её весов, длины контекста, числа одновременных запросов и от того, ждёт ли человек ответа в чате. Мы считаем по методу с этой страницы и подтверждаем замером на ваших данных. Перед покупкой проверьте поддержку ускорителей нужным серверным ПО и актуальные сроки поставки. Подробнее — в статье про локальные LLM для AI-агентов.
Можно ли использовать открытые модели в коммерческих целях?
Зависит от лицензии конкретной модели. «Открытые веса» не означают отсутствия ограничений: бывают условия по масштабу бизнеса, назначению, дообучению и производным моделям. Лицензию читает юрист заказчика; юридических заключений мы не даём, но называем пункты, которые стоит проверить. Как выбирать модель — в статье про GigaChat, YandexGPT и открытые модели.
Достаточно ли on-premise установки, чтобы AI-агент был безопасным?
Нет. Контур снижает риск утечки данных наружу, но не решает проблему ошибок модели, скрытых команд в письмах и документах и избыточных прав агента. Для этого нужны узкие права, подтверждение человеком на критичных шагах, журналы и тесты. Разбор — в статье о безопасности AI-агентов, а вопросы службы безопасности — в отдельном материале.
Как обновлять модель и программы агента в закрытом контуре?
Через промежуточную зону: обновления собирают и проверяют вне контура, кладут во внутреннее зеркало, прогоняют на тестовом стенде по согласованному набору проверок и только потом ставят в рабочий контур в окно обслуживания, сохранив предыдущую версию для отката. Модель не меняется без вашего согласования. Кто отвечает за слежение за уязвимостями, фиксируется в условиях сопровождения.
Подготовим ответы для вашей службы безопасности
Дадим письменные ответы на пять стандартных вопросов и конфигурацию оборудования до того, как вы согласуете смету.
Оставить заявку