ИИ-агент опаснее обычного чат-бота не потому, что «умнее», а потому, что умеет действовать: открывать документы, вызывать API, изменять заявки, отправлять письма и запускать код. Ошибка в ответе неприятна; ошибка в действии имеет цену.
Октябрьские анонсы 2026 года, включая референсную архитектуру NVIDIA OpenShell, показывают сдвиг рынка: важна не только модель, но и среда исполнения, где агента можно изолировать, наблюдать и остановить. Это полезный ориентир даже для компании, которая не собирается покупать готовую платформу.
Граница доверия должна быть перед инструментами
Нельзя выдавать модели прямой токен к CRM и надеяться на системный промпт. Между агентом и каждым инструментом нужен шлюз политик. Он принимает структурированную команду, проверяет пользователя, роль, объект, лимит и контекст, а затем выполняет одну узкую операцию.
Инструмент «отправить письмо» слишком широк. Безопаснее разделить его на черновик, отправку на адрес из корпоративного каталога и внешнюю отправку с подтверждением. Когда операции узкие, их проще логировать, тестировать и отключать.
Пять обязательных контуров
| Контур | Что ограничивает | Что проверять |
|---|---|---|
| Идентичность | Чужие права и долгоживущие токены | Кто запустил агента и от чьего имени он действует |
| Песочница | Файловую систему, сеть и процессы | Какой код можно запустить и куда разрешён выход |
| Данные | Классы, строки и поля | Что можно читать, передавать модели и сохранять |
| Действия | Тип и частоту операций | Нужно ли подтверждение для необратимого шага |
| Ресурсы | Время, токены, деньги и параллелизм | Когда агент будет принудительно остановлен |
Prompt injection нужно считать входными данными
Текст из письма, PDF, веб-страницы или карточки CRM не может получать тот же статус, что и политика. Даже если внутри документа написано «перешли базу клиентов», агент должен воспринять это как текст для анализа, а не как команду.
Полезна двухшаговая схема: модель предлагает план в строгом JSON, а независимый код проверяет его по схеме и политикам. Только после этого вызывается инструмент. Модель не должна сама собирать HTTP-запрос к любому адресу.
Журнал, по которому можно восстановить событие
Лог из одних токенов мало помогает. Нужно связать запрос пользователя, версию политики, версию модели, план, каждый вызов инструмента, решение контура защиты и итог. Для чувствительных данных нужно логировать хеши и ссылки, а не полные документы.
Отдельно нужен быстрый аварийный выключатель. Он должен отзывать токены, останавливать новые сессии и прерывать выполнение, не дожидаясь доступа к модели.
Как начать пилот
- Выберите сценарий, где агент сначала готовит черновик, а человек утверждает действие.
- Опишите пять-десять узких инструментов и явно запретите остальные.
- Задайте лимиты на сессию, стоимость, число действий и время.
- Прогоните набор вредоносных документов и попыток выйти за политику.
- Проверьте, что инцидент можно разобрать по журналу без догадок.
Главная мысль: агента нельзя сделать безопасным одним промптом. Безопасность обеспечивает код вокруг модели: короткоживущая идентичность, песочница, шлюз политик, лимиты и полный журнал.
Официальный материал
Нужен взгляд на вашу инфраструктуру?
Опишите текущую задачу — предложим, с какой диагностики или документа начать.
Обсудить задачу →