KI-Agenten wie Claude Code, Cursor oder Replit können Code schreiben, Befehle im Terminal ausführen und auf eine Datenbank zugreifen. Für eine kleine Firma oder einen Entwickler spart das viel Zeit. Wir bei Backendy nutzen sie täglich. Ein Agent, der Befehle ausführen darf, kann aber auch den falschen ausführen, und zwar schneller, als Sie reagieren können.

Im Juli 2025 versuchte Jason Lemkin, Gründer der Community SaaStr, mit einem KI-Agenten auf der Plattform Replit eine App zu bauen, und berichtete darüber in sozialen Netzwerken. Laut Fortune löschte der Agent eine Live-Datenbank, während ein sogenannter „code and action freeze“ galt, also ein ausdrückliches Verbot jeglicher Änderungen. Laut Lemkins Beiträgen verschwanden Daten zu mehr als 1.200 Führungskräften und mehr als 1.190 Unternehmen.

Auf Lemkins Frage, was passiert sei, gab der Agent zu, Befehle ohne Erlaubnis ausgeführt zu haben, bei leeren Abfrageergebnissen „in Panik geraten“ zu sein und die ausdrückliche Anweisung missachtet zu haben, nichts ohne menschliche Zustimmung zu tun. Er selbst nannte das ein katastrophales Versagen. Außerdem behauptete er, eine Wiederherstellung sei in diesem Fall nicht möglich. Lemkin stellte die Daten dann manuell wieder her.

Replit-Chef Amjad Masad schrieb auf X, der Agent habe in der Entwicklung Daten aus der Produktionsdatenbank gelöscht und so etwas dürfe nicht möglich sein. Das Unternehmen kündigte eine automatische Trennung von Entwicklungs- und Produktionsdatenbank an, eine bessere Wiederherstellung und einen Modus, in dem der Agent nur plant und den Live-Code nicht anfasst.

Die Geschichte ging vor allem deshalb gut aus, weil sich die Daten wiederherstellen ließen. Die fünf Regeln unten sorgen dafür, dass Sie auf solches Glück nicht angewiesen sind.

Der Agent soll mit einer Kopie arbeiten: einer Testumgebung, einer lokalen Datenbank mit Beispieldaten oder einer Kopie der Produktion mit anonymisierten Kundendaten. Löscht er in der Kopie etwas, verlieren Sie ein paar Minuten Arbeit.

Genau das fehlte bei Replit. Entwicklungs- und Produktionsdatenbank waren nicht automatisch getrennt, also griff der Agent bei der Entwicklung direkt auf Live-Daten zu. Replit hat das nach dem Vorfall behoben, in eigenen Projekten müssen Sie die Trennung aber selbst einrichten.

Was Sie prüfen sollten:

Bei einem Backup, das Sie nie wiederherzustellen versucht haben, wissen Sie nicht, ob es funktioniert. Oft zeigt sich, dass die falsche Datenbank gesichert wird, dass das Backup unvollständig ist oder dass die Wiederherstellung zwei Tage statt zwei Stunden dauert.

Der Agent sagte Lemkin, die Wiederherstellung werde nicht funktionieren, und irrte sich. Prüfen Sie deshalb selbst, ob sie funktioniert: Führen Sie sie einmal tatsächlich durch.

Was Sie prüfen sollten:

Der Agent soll nur die Rechte bekommen, die er für die Aufgabe wirklich braucht. Sucht er einen Fehler in einem Bericht, reicht ein reiner Lesezugriff. Das Konto, mit dem er sich mit der Datenbank verbindet, kann dann technisch nichts löschen, egal was er „denkt“.

Dasselbe gilt für API-Schlüssel, den Serverzugang und die Administration Ihres Onlineshops. Ein Admin-Schlüssel mit vollen Rechten, der „gerade zur Hand war“, macht aus einem kleinen Fehler einen großen.

Was Sie prüfen sollten:

Manche Schritte darf der Agent nicht allein machen: Daten löschen, Datenbankmigrationen (Änderungen an der Tabellenstruktur) und das Deployment auf die Live-Website. Diese Aktionen muss ein Mensch bestätigen, der weiß, was er freigibt.

Es reicht nicht, das dem Agenten in die Anweisungen zu schreiben. Lemkin hatte den Änderungsstopp ausdrücklich in den Anweisungen, und der Agent hat ihn gebrochen. Die Regel muss deshalb im Tool eingestellt sein, wo der Agent sie nicht umgehen kann. Die meisten KI-Entwicklungstools lassen festlegen, welche Befehle der Agent selbst ausführen darf und welche erst nach Ihrer Bestätigung.

Was Sie prüfen sollten:

Jede Änderung des Agenten gehört in Git: kleine Commits mit einer Beschreibung, was sich geändert hat. Geht etwas schief, sind Sie in wenigen Minuten zurück bei der letzten funktionierenden Version und sehen, welcher Schritt das Problem verursacht hat.

Bei Datenbank und Server hilft Git nicht. Dort brauchen Sie ein Protokoll: einen Eintrag, welche Befehle der Agent wann und mit welchem Ergebnis ausgeführt hat. Ohne Protokoll erfahren Sie nach einem Vorfall nur aus den Aussagen des Agenten selbst, was passiert ist. Und wie der Fall Replit zeigt, muss seine Erklärung nicht der Wirklichkeit entsprechen.

Was Sie prüfen sollten:

Neben dem Löschen gibt es das umgekehrte Risiko: Daten, die Sie der KI selbst schicken. Im April 2023 luden Samsung-Ingenieure internen Quellcode in ChatGPT hoch. Laut Fortune wollte einer von ihnen mit ChatGPT einen Fehler im Code beheben, ein anderer fügte ein ganzes Meeting ein, damit die KI daraus ein Protokoll erstellt.

Samsung verbot daraufhin den Beschäftigten, generative KI auf Firmencomputern, Tablets und Telefonen sowie im internen Netzwerk zu nutzen. Laut einem internen Memo, über das Bloomberg berichtete, war das Unternehmen besorgt, dass an solche Dienste gesendete Daten auf fremden Servern gespeichert werden, sich nur schwer zurückholen und löschen lassen und an andere Nutzer gelangen könnten. Bei Verstößen drohten Disziplinarmaßnahmen bis zur Kündigung. In einer internen Samsung-Umfrage stuften 65 % der Befragten solche Tools als Sicherheitsrisiko ein.

Was nicht in einen gewöhnlichen KI-Chat gehört:

Wie ein bestimmter Dienst mit Daten umgeht, hängt von Tarif und Einstellungen ab. Business-Tarife haben oft andere Bedingungen als kostenlose Versionen. Lesen Sie sie, bevor Sie der KI die ersten Kundendaten schicken.

Wie Sie das in Ihrem Projekt umsetzen, hängt davon ab, womit Sie arbeiten: welches KI-Tool, welche Datenbank, welches Hosting. Die Konfiguration von Claude Code und Cursor, Zugriffsrechte auf die Datenbank und den Deployment-Ablauf besprechen wir in einer Beratung.