Проверено: 11 июля 2026 · Любовь Черемисина
Локальный ИИ-агент
Локальный агент — языковая модель и инструменты работают на инфраструктуре компании (свои серверы, закрытая сеть VPC, иногда полностью изолированная среда), без отправки сырых данных в публичный облачный сервис. Актуально для персональных данных, коммерческой тайны и регулируемых отраслей.
Компоненты
Модель— с открытыми весами (Llama, Qwen, Mistral) или частный endpoint.
Среда запуска— Ollama, vLLM, TGI; на GPU или CPU.
Инструменты— MCP-серверы к CRM, wiki и файлам внутри периметра.
RAG— векторная база на своих серверах.
Плюсы и минусы
Выше затраты на железо и сопровождение; качество «из коробки» часто ниже, чем у топовых облачных моделей. Гибрид: чувствительные данные — локально, черновики — в облаке при наличии договора об обработке данных (DPA).
С чего начать
- Классифицируйте данные по чувствительности.
- Пилот в одном отделе с инструментами только на чтение.
- Зафиксируйте политику логов и срок хранения.
Ориентир по архитектуре
Шлюз вывода модели в отдельном сегменте сети; векторная БД без прямого выхода в интернет; MCP-серверы с взаимной аутентификацией; единый вход для сотрудников; разные ключи для теста и продакшена.
Когда облако всё же нужно
Сильные облачные модели для мозгового штурма на обезличенных или синтетических данных; в договоре — запрет обучения на ваших данных.
См. RAG, MCP, раздел безопасности.
Ориентир по железу
Модели 7B–14B параметров — часто на одной GPU 24 ГБ; 70B — несколько GPU или квантизация. Для маркетинговой аналитики нередко хватает меньшей модели и хорошего RAG.
Пилот 4–6 недель с заранее выбранной метрикой успеха — до закупки парка GPU.