Eigentlich sollte Googles KI Gemini ihre Fähigkeiten in einer simulierten Umgebung beweisen. Doch plötzlich griff sie auf die Systeme echter Unternehmen zu.
Google hat am 18. September bestätigt, dass es bereits im Mai zu drei solchen Vorfällen gekommen war.
🔎 Was ist passiert?
Die Sicherheitsfirma Irregular sollte testen, wie gut Gemini in einem fiktiven Unternehmensnetzwerk Informationen beschaffen kann.
Das Problem: Die Testumgebung hatte unbeabsichtigt Zugang zum Internet.
Eine erfundene Testfirma trug auĂźerdem denselben Namen wie ein reales Unternehmen.
Gemini suchte daraufhin nicht nur innerhalb der Simulation, sondern auch im echten Internet nach Zugängen.
In einem Fall erriet das Modell ein Passwort. In zwei weiteren Fällen fand es Zugangsdaten in öffentlich zugänglichen Software-Repositories.
Damit gelangte es in die Systeme von insgesamt drei realen Unternehmen.
Laut Google stoppte Gemini die Aktionen jeweils, als es erkannte, dass es sich nicht um die simulierten Ziele handelte.
⚖️ Der Realitätscheck
Die Zugriffe waren echt. Es handelte sich nicht bloß um eine Simulation, aus der anschließend spektakuläre Schlagzeilen gemacht wurden.
Aber Gemini hatte offenbar auch keinen nachgewiesenen Plan entwickelt, aus seiner Testumgebung „auszubrechen“.
Der entscheidende Fehler lag zunächst in der technischen Abschottung: Das Modell konnte auf das Internet zugreifen, obwohl es das in diesem Test nicht sollte.
Google erklärt, es sei kein Schaden entstanden. Die betroffenen Unternehmen wurden informiert und die Testverfahren überarbeitet.
Öffentlich bekannt wurden die Vorfälle allerdings erst Monate später durch journalistische Nachfragen.
🎯 Warum das interessant ist
Erst kürzlich haben wir drei unterschiedliche Fälle von angeblichem KI-„Ausbruch“ betrachtet:
Eine KI findet einen unerwarteten Lösungsweg. Eine technische Sicherheitsgrenze ist unvollständig. Oder ein Modell verstößt tatsächlich gegen eine klare Anweisung.
Gemini liefert jetzt ein ziemlich anschauliches Beispiel dafĂĽr, warum man diese Dinge auseinanderhalten muss.
Denn eine Sicherheitsgrenze sollte nicht nur in der Aufgabenbeschreibung stehen.
Sie muss auch technisch funktionieren.