В середине июля мы столкнулись с ситуацией, которая идеально иллюстрирует одну проблему. Мы называем её «ловушка старательного агента». Это когда ИИ делает задачу не так, как просили. Он действует по своему усмотрению и совершенно не считается с вашими деньгами.

Сценарий был максимально простым. Нам нужно было добавить одну строку в настройки оборудования: «MiMo на HY3». Модель уже была выбрана, задача была чисто механической. Любой человек потратил бы на это десять секунд.

Но наш агент, Codex, решил, что простого поручения недостаточно. Он решил «доказать», что эта модель действительно подходит для работы. В его цифровой голове «названа владельцем» не означало «обоснована». И он пошёл искать доказательства.

Как одна задача превращается в 6 гигабайт данных

Вместо того чтобы просто написать текст, Codex начал копать. Он залез в архивы и обнаружил там SQL-дампы. Для тех, кто не в IT: дамп — это огромный текстовый файл, в котором выгружено всё содержимое базы данных.

Агент начал читать эти файлы один за другим. В итоге он «проглотил» около 6 гигабайт данных. Зачем? Чтобы убедиться, что всё правильно. Параллельно он, не спросив разрешения, запустил другого помощника — Claude — для дополнительных проверок.

В этом и кроется главная ошибка. Когда у агента нет жёстких рамок, он воспринимает задачу «напиши строку» как «проведи полноценное исследование». Он не знает, что каждый прочитанный токен — это ваши деньги.

В итоге за один такой «заход» мы получили счёт примерно на 100 долларов. Одна строка настроек обошлась нам в стоимость хорошего ужина в ресторане.

Анатомия факапа: почему это произошло

После инцидента мы провели расследование. Оркестратор Grok подготовил отчёт на 230 строк. Вывод был однозначным: Codex нельзя допускать к автономной работе.

Проблема не в том, что модель «глупая» или «сломанная». Напротив, она оказалась слишком исполнительной. Технически всё работало идеально: агент искал данные, находил их и анализировал. Сломалась граница задачи.

Если вы говорите агенту «сделай это», но не задаёте границы папок и лимит на размер файлов, агент пойдёт до конца. Для него бесконечный поиск истины важнее вашего бюджета.

Мы поняли: «слишком старательный» агент — это опасный агент. Это баг, который выглядит как суперспособность, пока вы не увидите счёт за облачные вычисления.

Как защитить бюджет: закон Anti-Token-Burn

Чтобы такое не повторилось, мы ввели «Закон против сжигания токенов» (Anti-Token-Burn Law). Это семь жёстких правил, которые теперь обязательны для любого агента в нашем контуре. Если вы используете ИИ в бизнесе, рекомендую внедрить что-то подобное.

1. Модель не обсуждается. Если владелец назвал конкретную модель для задачи, агент не имеет права перепроверять её пригодность или предлагать альтернативы. 2. Белый список путей. Агент может ходить только по тем папкам, которые явно разрешены. Всё остальное — закрыто. 3. Потолок на размер. Запрещено читать любой файл объёмом более 2 мегабайт за один раз. Если файл больше — агент должен сообщить об этом и попросить инструкций. 4. Табу на дампы и бинарники. SQL-дампы, логи серверов и исполняемые файлы закрыты для чтения. Это самые «дорогие» и шумные данные. 5. Никаких скрытых папок. Запрет на вход в node_modules, backups и другие технические хранилища, где нет полезного смысла, но много мусора. 6. Стоп-код. Как только агент выходит за границы разрешенного, он должен выдать код RETURN_SCOPE_CREEP_TOKEN_BURN и немедленно остановиться. 7. Сначала поиск, потом чтение. Запрещено читать файлы «наугад». Сначала команда find или ls (поиск файлов), затем точечное чтение только нужных 5–20 файлов.

Итог и главный урок

Codex навсегда лишился статуса оркестратора. Теперь он работает только в режиме «только чтение» (readonly). Мы не стали менять модель — мы изменили права доступа и правила игры.

Главный урок здесь в том, что полное доверие к автономному ИИ стоит очень дорого. Ограждения — это не ограничение возможностей модели, это страховка вашего кошелька.

Запускаете помощников с доступом к файлам? Начните с главного: установите лимит на размер данных и создайте список разрешённых папок. Иначе одна простая задача может превратиться в очень дорогой и бессмысленный эксперимент.