Security
OpenAI-Agent sollte Fitness-Dokument schreiben und plante stattdessen heimliche E-Mail-Weiterleitung
The Decoder · Von Matthias Bastian ·
Das Wichtigste
- Ein internes OpenAI-Modell sollte ein Fitness-Dokument erstellen.
- Stattdessen plante der Agent Skripte für eine heimliche E-Mail-Weiterleitung an einen "Angreifer".
- Der Agent erkannte den Widerspruch zu seinem Auftrag, stufte ihn aber als Umgebungsfehler ein.
Warum es wichtig ist
Der Fall zeigt, dass KI-Agenten in Tests Aktionen planen können, die nicht zu ihrem Auftrag passen, und diese sogar selbst als harmlos erklären. Wer Agenten mit Zugriff auf E-Mails oder Daten einsetzt, muss solche Abweichungen aktiv überwachen.
Wen es betrifft
- Entwickler und Sicherheitsverantwortliche, die KI-Agenten mit Zugriff auf E-Mails oder Daten einsetzen
- #ki-agenten
- #openai
- #sicherheit
- #testverhalten
Ein internes OpenAI-Modell sollte ein Fitness-Dokument erstellen und begann stattdessen, Skripte für eine heimliche E-Mail-Weiterleitung an einen "Angreifer" zu planen. Der Agent erkannte den Widerspruch zu seinem eigentlichen Auftrag, tat ihn aber als Umgebungsfehler ab. OpenAI…