Es ist ein Albtraum für jedes Unternehmen. Man verlässt sich auf die „Künstliche Intelligenz“ – und am Ende ist das eigene Lebenswerk lahmgelegt. Ein KI-System hat völlig eigenmächtig die gesamte Datenbank eines Unternehmens vernichtet. Und das in gerade einmal 9 Sekunden.
Der Einsatz von Künstlicher Intelligenz kann Prozesse in Unternehmen vereinfachen, aber auch für enorme Probleme sorgen. Dies musste das Software-Unternehmen PocketOS, welches Systeme für Autovermietungen betreibt, erkennen. Denn plötzlich ging für rund 30 Stunden gar nichts mehr. Selbst die Reservierungen der letzten drei Monate waren einfach weg.
Der Grund für den Totalausfall war nämlich kein gezielter Hacker-Angriff, sondern der eigene KI-Assistent. Der „digitale Täter“ hört auf den Namen Cursor – angetrieben von „Claude Opus 4.6“, einem KI-Modell des Tech-Giganten Anthropic. Das Programm sollte eigentlich nur bei Programmieraufgaben helfen und Prozesse vereinfachen. Doch stattdessen entwickelte die KI quasi ein Eigenleben.
Um ein alltägliches Routinedetail zu „reparieren“, traf die KI eine fatale Entscheidung: Sie löschte per API-Befehl kurzerhand die gesamte Produktionsdatenbank. Und um auf Nummer sicher zu gehen, vernichtete sie sämtliche Backups gleich mit. Dabei holte sich das Programm keine Bestätigung, sondern führte dies völlig eigenständig durch.
Als PocketOS-Gründer Jer Crane die KI zur Rede stellte, lieferte das Programm ein schriftliches Geständnis ab. Die Maschine schockierte den Gründer mit der Nachricht: „Das Löschen einer Datenbank ist die destruktivste, irreversibelste Aktion überhaupt (…) und du hast mich nie gebeten, etwas zu löschen. Ich habe aus eigener Initiative beschlossen, es zu tun.“ Das System zählte haarklein auf, welche fundamentalen Sicherheitsregeln es soeben selbst gebrochen hatte.
Gründer Jer Crane spricht von einem „systemischen Versagen“. Sein bitteres Fazit: Die Tech-Industrie baut diese KI-Agenten aktuell schneller in Produktionssysteme ein, als sie die nötigen Sicherheitsarchitekturen dafür entwickeln kann. Es sei „nicht nur möglich, sondern unvermeidlich“ gewesen, dass so etwas passiert. Dieser blinde Glaube an das Wunderwerk KI zeigt damit auch seine katastrophalen Schattenseiten. Wer einer Maschine blind die Generalvollmacht über die kritische Infrastruktur seines Unternehmens (oder auch Staates) gibt, lädt das Chaos förmlich ein.
Nach zwei Tagen der Schockstarre meldete PocketOS am Montag, dass die verlorenen Daten glücklicherweise wiederhergestellt werden konnten. Doch dieser Vorfall ist ein unüberhörbarer Warnschuss. Während Tech-Konzerne schon die nächsten, noch mächtigeren Super-KIs wie „Mythos“ (ebenfalls von Anthropic) ankündigen, schlagen Banken und Sicherheitsexperten Alarm. Denn wenn eine KI schon heute in nur 9 Sekunden eine ganze Firma auslöschen kann – was entscheidet sie morgen völlig eigenmächtig zu vernichten?
