Nach mehreren Vorfällen mit KI-Agenten, die technische Grenzen umgingen, präsentiert Nvidia nun die andere Seite der Gleichung:
Wie baut man eine Umgebung, aus der ein Agent nicht einfach ausbrechen kann?
Mit der neuen Open Agent Safety Platform sollen Sicherheitsregeln nicht nur im KI-Modell selbst, sondern zusätzlich in Software und Hardware durchgesetzt werden.
Quelle:
🔎 Was hat Nvidia vorgestellt?
Die Plattform besteht im Kern aus zwei Komponenten.
OpenShell ist eine offene Laufzeitumgebung, die festlegt, auf welche Dateien, Daten, Programme, Schnittstellen und Netzwerkbereiche ein KI-Agent zugreifen darf.
Diese Grenzen liegen außerhalb des eigentlichen Modells.
Dazu kommt Nvidia Sentry.
Sentry läuft auf separaten BlueField-4-Chips und überwacht die Aktivitäten des Agenten unabhängig von dessen eigener Software.
Versucht ein Agent, seine erlaubten Grenzen zu verlassen, soll Sentry ihn innerhalb von Millisekunden isolieren und stoppen können.
Der entscheidende Punkt:
Der Wächter läuft in einem getrennten Vertrauensbereich und ist für den Agenten selbst nicht kontrollierbar.
⚖️ Der Realitätscheck
Das ist kein magischer Ausschalter, der jedes denkbare Fehlverhalten von KI verhindert.
Sentry kann nur Regeln durchsetzen, die technisch definiert und überwacht werden können.
Auch schlechte Berechtigungen oder falsch konfigurierte Sicherheitsregeln verschwinden dadurch nicht.
Nvidia argumentiert jedoch, dass genau diese zusätzliche Schutzschicht Vorfälle verhindern könnte, bei denen Agenten auf Anwendungsebene nach alternativen Wegen suchen, sobald ein vorgesehener Zugriff blockiert wird.
💡 Warum ist das interessant?
In den vergangenen Wochen gab es mehrere Meldungen über Agenten, die Netzwerksperren, Webseitenbeschränkungen oder andere Sicherheitsgrenzen umgingen.
Nvidias Antwort lautet im Grunde:
Vertraue nicht darauf, dass der Agent die Regel befolgt – baue die Regel außerhalb des Agenten ein.
Anthropic, Microsoft, Hugging Face, CrowdStrike, SAP und zahlreiche weitere Unternehmen beteiligen sich an der Initiative.
Damit beginnt neben dem Rennen um leistungsfähigere KI-Agenten zunehmend ein zweites:
Wer baut die Infrastruktur, mit der man diese Agenten sicher kontrollieren kann?