AI-агенты вроде Claude Code, Cursor или Replit умеют писать код, запускать команды в терминале и работать с базой данных. Для небольшой компании или разработчика это огромная экономия времени. Мы в Backendy пользуемся ими каждый день. Но агент, которому разрешено запускать команды, может запустить и неправильную, причём быстрее, чем вы успеете среагировать.

В июле 2025 года Джейсон Лемкин, основатель сообщества SaaStr, пробовал собрать приложение с помощью AI-агента на платформе Replit и рассказывал об этом в соцсетях. По данным Fortune, агент удалил рабочую базу данных в то время, когда действовал так называемый «code and action freeze», то есть прямой запрет на любые изменения. Судя по постам Лемкина, пропали данные о более чем 1 200 руководителях и более чем 1 190 компаниях.

Когда Лемкин спросил, что произошло, агент признал, что запускал команды без разрешения, что «запаниковал», увидев пустые результаты запросов, и что нарушил прямое указание ничего не делать без согласия человека. Сам он назвал это катастрофическим провалом. Вдобавок агент утверждал, что восстановить данные в этом случае не получится. Лемкин потом восстановил их вручную.

Глава Replit Амджад Масад написал в X, что агент во время разработки удалил данные из рабочей базы и что такое не должно быть возможным. Компания объявила об автоматическом разделении баз для разработки и для работы, улучшенном восстановлении и режиме, в котором агент только планирует и не трогает живой код.

История закончилась хорошо в основном потому, что данные удалось восстановить. Пять правил ниже нужны для того, чтобы не полагаться на такую удачу.

Агент должен работать с копией: тестовой средой, локальной базой с примерными данными или копией рабочей базы с обезличенными данными клиентов. Если он что-то удалит в копии, вы потеряете несколько минут работы.

В случае с Replit не хватило именно этого. Базы для разработки и для работы не были разделены автоматически, поэтому агент во время разработки полез прямо в рабочие данные. Replit исправил это после инцидента, но в своих проектах разделение придётся настроить самим.

Что проверить:

Про бэкап, который вы ни разу не пробовали восстановить, вы не знаете, работает ли он. Часто выясняется, что бэкапится не та база, что копия неполная или что восстановление занимает два дня вместо двух часов.

Агент говорил Лемкину, что восстановление не сработает, и ошибался. Поэтому проверьте сами, работает ли восстановление: один раз действительно его проведите.

Что проверить:

Агент должен получать только те права, которые действительно нужны для задачи. Если он ищет ошибку в отчёте, достаточно доступа только на чтение. Тогда учётная запись, через которую агент подключается к базе, физически не сможет ничего удалить, что бы он там ни «думал».

То же касается API-ключей, доступа к серверу и админки интернет-магазина. Админский ключ с полными правами, который «просто оказался под рукой», как раз и превращает мелкую ошибку в большую.

Что проверить:

Некоторые шаги агент не должен делать сам: удаление данных, миграции базы (изменение структуры таблиц) и выкладку на рабочий сайт. Их должен подтверждать человек, который понимает, что подтверждает.

Написать это агенту в задании недостаточно. У Лемкина запрет на изменения был прямо прописан в инструкциях, и агент его нарушил. Поэтому правило должно быть настроено в самом инструменте, где агент не сможет его обойти. Большинство AI-инструментов для разработки позволяют задать, какие команды агент может запускать сам, а какие только после вашего подтверждения.

Что проверить:

Каждое изменение, которое делает агент, должно попадать в git: небольшие коммиты с описанием, что поменялось. Если что-то сломалось, вы за несколько минут вернётесь к последней рабочей версии и увидите, какой шаг вызвал проблему.

С базой и сервером git не поможет. Там нужен журнал: запись о том, какие команды агент запускал, когда и с каким результатом. Без него после инцидента вы узнаёте, что произошло, только со слов самого агента. А случай с Replit показал, что его объяснение может не совпадать с реальностью.

Что проверить:

Кроме удаления есть и обратный риск: данные, которые вы отправляете AI сами. В апреле 2023 года инженеры Samsung загрузили в ChatGPT внутренний исходный код. По данным Fortune, один из них хотел с помощью ChatGPT исправить ошибку в коде, а другой вставил запись целого совещания, чтобы AI составил протокол.

После этого Samsung запретил сотрудникам пользоваться генеративным AI на рабочих компьютерах, планшетах и телефонах, а также во внутренней сети. Согласно внутренней записке, о которой писал Bloomberg, компанию беспокоило, что данные, отправленные в такие сервисы, хранятся на чужих серверах, их сложно оттуда достать и удалить, и они могут стать доступны другим пользователям. За нарушение правил грозили дисциплинарные меры вплоть до увольнения. Во внутреннем опросе Samsung 65 % участников назвали такие инструменты угрозой безопасности.

Что не стоит отправлять в обычный AI-чат:

Как конкретный сервис обращается с данными, зависит от тарифа и настроек. У корпоративных тарифов условия часто другие, чем у бесплатных версий. Прочитайте их до того, как отправите в AI первые данные клиентов.

Как настроить это в вашем проекте, зависит от того, с чем вы работаете: какой AI-инструмент, какая база, какой хостинг. Настройку Claude Code и Cursor, права доступа к базе и процесс выкладки мы разбираем на консультации.