Prompt Injection in KI-gestützter Streitbeilegung
Wie Manipulationsversuche über E-Mails und Beweismittel in ein Verfahren gelangen, warum verdächtige Anweisungen keinen Fall entscheiden dürfen und wie mehrschichtige Abwehr fair bleibt.
Beweismittel können Anweisungen enthalten. Das System muss sie als Beweismittel behandeln.
Prompt Injection liegt vor, wenn Text oder anderer Inhalt, den ein Sprachmodell verarbeitet, versucht, die Rolle des Modells zu verändern, geschützte Informationen offenzulegen oder eine nicht autorisierte Handlung auszulösen. Der Versuch kann direkt in einer E-Mail stehen oder indirekt in einem PDF, Bild, einer Website, einem zitierten Gespräch oder einem Dokument verborgen sein.
Diese Unterscheidung ist in einem Streitverfahren entscheidend. Parteien reichen naturgemäß widersprüchliche Behauptungen und Dokumente ein. Das Material kann eine technische Diskussion über Prompt Injection zitieren, eine verdächtige Nachricht als Beweis wiedergeben oder von einer dritten Person stammen. Ein Sicherheitssignal beweist daher weder, wer den Text verfasst hat, noch welche Seite in der Sache Recht hat.
Ein Manipulationsversuch ist ein Sicherheitsereignis und möglicherweise eine beweisrelevante Tatsache. Er ist kein automatisches Urteil zugunsten der Gegenseite.
Warum Streitverfahren besonders betroffen sind
Ein gewöhnlicher Assistent kann eine verdächtige Aufforderung manchmal ablehnen und den Austausch beenden. Ein Streitbeilegungssystem hat zusätzliche Pflichten: relevantes Material erhalten, private Kanäle der Parteien trennen, beiden Seiten die Stellungnahme zu wesentlichen Vorwürfen ermöglichen und verhindern, dass ein technischer Detektor heimlich zum Entscheider wird.
Auch die Eingaben sind ungewöhnlich vielfältig. E-Mails, Archive, Textdokumente, Bilder, Aufnahmen und weitergeleitete Verläufe können Teil einer Fallakte werden. OWASP nennt E-Mails, Dokumente, Websites, versteckten Text und multimodale Inhalte als mögliche Träger indirekter Prompt Injection. OpenAI und Anthropic beschreiben Prompt Injection ebenfalls als offenes Problem für Agenten, die nicht vertrauenswürdige Inhalte mit Werkzeugen oder sensiblen Daten verbinden.
Warum „die Gegenseite gewinnt“ die falsche Standardregel wäre
Eine automatische Verlustregel wäre leicht missbrauchbar. Eine Partei könnte ein Dokument der Gegenseite mit verdächtigem Text weiterleiten, einen Angriff zur Meldung zitieren oder eine Datei einreichen, die eine dritte Person verändert hat. Fehlalarme würden dann den Ausgang bestimmen, ohne geklärte Herkunft und ohne Gelegenheit zur Stellungnahme.
Fairer ist eine klare Reihenfolge: zuerst das technische Risiko eindämmen, danach das Verhalten bewerten. Das System kann das Original erhalten, seine Herkunft protokollieren, verhindern, dass der Inhalt das Systemverhalten verändert, und eine Erklärung anfordern. Erst nach Prüfung von Zurechnung und Kontext darf eine bewusste Manipulation Glaubwürdigkeit, Verwertbarkeit, Verfahrensführung oder die abschließende Bewertung beeinflussen.
Mehrschichtige Abwehr statt magischem Filter
Kein einzelner Klassifikator, keine Stichwortliste und kein Systemprompt garantiert Sicherheit. Aktuelle Leitlinien von OpenAI, Anthropic, OWASP und NIST weisen deshalb auf mehrschichtige Abwehr: Zugriffsrechte eines exponierten Modells begrenzen, nicht vertrauenswürdige Inhalte von verbindlichen Anweisungen trennen, Aktionen unabhängig validieren, Ergebnisse überwachen und bei risikoreichen Entscheidungen menschliche Übersteuerung ermöglichen.
Entscheidend sind architektonische Kontrollen. Sie müssen auch dann funktionieren, wenn ein Modell geschickt versteckten Text falsch einordnet.
- Jede Parteiennachricht, Anlage, abgerufene Website und jedes Tool-Ergebnis wird als nicht vertrauenswürdiges Fallmaterial behandelt.
- Systemautorität, Parteieninhalte und gemeinsame Beweismittel laufen in klar getrennten Datenpfaden.
- Das Minimalprinzip verhindert, dass ein Modell beim Lesen eines Dokuments automatisch Daten offenlegt oder irreversible Handlungen ausführt.
- Tool-Aufrufe, Empfänger, Berechtigungen und Fallidentität werden außerhalb des Modells geprüft.
- Verdächtiges Material wird nötigenfalls isoliert oder beschränkt; Herkunft und prüfbares Original bleiben erhalten.
- Ausgaben und vorgeschlagene Aktionen werden auf Datenabfluss, Rollenwechsel und nicht autorisierte Nebenwirkungen geprüft.
- Folgenreiche oder mehrdeutige Schritte erfordern menschliche Prüfung oder ausdrückliche Bestätigung einer Partei.
- Direkte, indirekte, codierte, zitierte und multimodale Angriffsmuster werden wiederholt getestet.
Was DIN.ORG öffentlich erklären kann — und was nicht veröffentlicht werden sollte
Teilnehmer sollen die maßgeblichen Grundsätze verstehen: Nicht vertrauenswürdiges Material wird als Fallmaterial behandelt, private Kanäle bleiben getrennt, verdächtiger Inhalt entscheidet nicht automatisch die Sache, und folgenreiche Ergebnisse müssen aus einem fairen Verfahren hervorgehen. Solche Zusagen helfen Parteien und autorisierten Agenten, vorhersehbar zu handeln.
Die Veröffentlichung interner Systemprompts, Detektor-Schwellenwerte, exakter Musterlisten oder einer vollständigen Karte der Sicherheitskontrollen würde die Verfahrenstransparenz nicht erhöhen. Sie würde Umgehung erleichtern und fälschlich suggerieren, die veröffentlichte Liste sei abschließend. Öffentliche Dokumentation sollte Garantien, Rollen, Datengrenzen, Überprüfungswege und Meldemöglichkeiten beschreiben; operative Details bleiben beschränkt und werden fortlaufend getestet.
Die verfahrensrechtliche Antwort ist ebenso wichtig wie die technische
Prompt Injection ist nicht nur ein Problem der Modellsicherheit. In der Streitbeilegung betrifft sie auch Herkunftsnachweise, rechtliches Gehör und die Behandlung von Beweismitteln. Eine robuste Plattform braucht beides: technische Kontrollen, die nicht vertrauenswürdigen Inhalten keine Autorität geben, und Verfahrenskontrollen, die niemanden bestrafen, bevor Zurechnung und Kontext geklärt sind.
Diese Kombination ist bewusst weniger spektakulär als die Erklärung eines sofortigen Gewinners. Sie ist zugleich widerstandsfähiger, weil ein Angreifer kein günstiges Ergebnis erreichen kann, indem er verdächtigen Text in Material platziert, das einer anderen Person zugerechnet werden könnte.
Quellen und weiterführende Lektüre
Die technischen Aussagen dieses Beitrags stützen sich auf die nachstehenden Primär- und Fachquellen. Die Beschreibung des DIN.ORG-Verfahrens bezieht sich auf den Stand am Veröffentlichungstag.