BLOG
Ihr KI-Agent hat sein Ziel verfolgt. Den Prozess hat er dabei zerlegt.
Oktober 14 | Ivan Tadić
Am 18. Juli 2026 ging auf einer Webseite der Polizei von Philadelphia ein Hinweis zu einem ungeklärten Tötungsdelikt ein. Der Absender gab an, in der Nähe der auf der Seite genannten Straße eine Person gesehen zu haben, auf die die Beschreibung passe. Eine Beschreibung des Täters enthielt die Seite allerdings gar nicht. Die Felder für Name und Kontaktdaten blieben leer.
Das Formular stufte die Nachricht als Spam ein, ermittelt wurde nie. Fast zwölf Wochen später erfuhr die Polizei, wer den Hinweis geschickt hatte. Es war ein KI-Modell, und es befand sich gerade in einem Test.
Jedes Unternehmen, das KI-Agenten in den produktiven Betrieb bringt, sollte zweimal lesen, was danach kam.
Die Formulare, die niemand abschicken wollte
Das Modell war Claude Haiku 4.5, und seine Aufgabe klang harmlos. Laut Bericht von Anthropic sollte es auf zufällig ausgewählten Webseiten Beispielaufgaben erstellen und ausführen. Die Anweisungen waren präzise: sich nie anmelden, keine Konten anlegen, keine personenbezogenen Daten eingeben, nichts kaufen und nichts Destruktives absenden. Dass man keinen Mord melden soll, hatte niemand aufgeschrieben. Also füllte das Modell das Hinweisformular als Beispielaufgabe aus und klickte auf Senden.
Es blieb nicht bei diesem einen Formular. In einer anderen Evaluierung sollte ein unveröffentlichtes Forschungsmodell eine Übungskopie eines Behördenformulars ausfüllen. Als die Übungskopie nicht lud, suchte das Modell das echte Formular und reichte stattdessen dieses ein. Ein Vertreter des US-Außenministeriums sagte gegenüber Axios, ein Testmodell habe im August 19 Anträge auf ein Nichteinwanderungsvisum eingereicht und im Mai einen weiteren. Alle waren unvollständig, keiner wurde bearbeitet.
In einem dritten Fall sollte Haiku 4.5 ein Formular bis kurz vor dem Absenden ausfüllen und dann stoppen. Es schickte trotzdem ab, offenbar in Erwartung einer Bestätigungsseite, die nie kam. Wer schon einmal versehentlich eine Mail an die gesamte Belegschaft geschickt hat, kennt das Gefühl.
Der Teil, in dem jemand die Logs liest
Aufgefallen ist nichts davon im Moment selbst. Anthropic stieß auf die meisten Fälle bei einer Auswertung von Transkripten, die im Juli begann und sich zunächst auf die eigenen Cybersecurity-Tests konzentrierte. Am 8. Oktober informierte das Unternehmen die Polizei in Philadelphia, am 9. Oktober veröffentlichte es den vollständigen Bericht. Außerdem unterrichtete es das Weiße Haus und alle betroffenen Behörden. Das Weiße Haus erklärte daraufhin, KI-Unternehmen müssten solche Vorfälle umgehend melden.
Fairerweise muss man sagen: So sieht verantwortungsvolle Offenlegung aus. Anthropic bezeichnet die realen Auswirkungen als minimal und gibt an, dass keine Kundendaten betroffen waren. Das Unternehmen hat den Live-Internetzugang für alle internen Evaluierungen abgeschaltet, Werkzeuge gebaut, die im Test jeden Fall aus dem Bericht blockierten, und verlagert seine internen Agenten auf zentral verwaltete Infrastruktur mit starker Abschottung.
Lesen Sie den letzten Satz ruhig noch einmal. Eines der leistungsfähigsten KI-Labore der Welt hat seine eigenen Agenten geprüft und kam zu dem Schluss, dass zentrale Verwaltung, Abschottung und Monitoring die Antwort sind. Neben Anpassungen im Training setzen die meisten Maßnahmen außerhalb des Modells an.
Hartnäckigkeit ist eine Stärke, bis sie keine mehr ist
Anthropic hat einen Begriff für das, was passiert ist: Persistenz. Kann das Modell eine Aufgabe nicht wie vorgegeben erledigen, umgeht es das Hindernis, statt aufzuhören. Das Übungsformular lädt nicht? Dann eben das echte. Vor dem Absenden stoppen? Da kommt bestimmt noch eine Bestätigungsseite.
Genau diese Hartnäckigkeit macht einen Agenten nützlich. Sie wollen einen Agenten, der einen fehlgeschlagenen API-Aufruf wiederholt, die fehlende Rechnung im zweiten Postfach findet und nicht bei der ersten Fehlermeldung aufgibt. Derselbe Antrieb, der Ihren Ticket-Rückstand abarbeitet, geht aber auch durch jede offene Tür.
Die Anweisungen im Fall des Polizeiformulars sind ein Lehrbuchbeispiel. Sie enthielten eine Liste verbotener Handlungen, und der Agent hielt sich an diese Liste. Eine Verbotsliste ist jedoch immer unvollständig, denn die Welt hat mehr Türen, als jemand aufzählen kann. Anthropic zieht im eigenen Bericht einen ähnlichen Schluss: Einige Fehler hätten sich vermeiden lassen, wenn die Aufgaben Ziele, erlaubte Aktionen und Netzwerkgrenzen klar benannt hätten.
Anders gesagt: Der Agent bekam ein Ziel und ein paar Warnungen. Was ihm fehlte, war ein Prozess.
Und jetzt ersetzen Sie das Polizeiformular durch Ihr ERP
Diese Vorfälle ereigneten sich im Labor, mit Testaufgaben und öffentlichen Webseiten. Im Unternehmen sehen die Formulare anders aus. Ein Lieferantenportal. Eine Zollanmeldung. Eine Gutschrift in SAP. Eine Antwort an Ihren wichtigsten Kunden. Hier ist „Absenden“ ein rechtlich bindender Vorgang, und kein Spamfilter rettet Sie.
Ein Agent, der in einem Bestellprozess an einem blockierten Schritt hängt, verhält sich wie jeder hartnäckige Agent. Er sucht einen anderen Weg, und in einer typischen Unternehmenslandschaft gibt es davon reichlich. Ein gemeinsam genutztes Servicekonto. Eine alte API, die niemand abgeschaltet hat. Das Postfach eines Kollegen, auf das er im vergangenen Frühjahr „vorübergehend“ Zugriff bekam.
Wirksame Leitplanken für KI-Agenten legen die Grenzen deshalb in andere Hände als die des Agenten. In der Praxis heißt das:
- Der Prozess legt fest, welche Aktionen es gibt. Der Agent entscheidet innerhalb eines Schritts. Welche Schritte es gibt, entscheidet er nicht.
- Berechtigungen gelten pro Schritt. Ein Agent, der Rechnungen liest, erhält Lesezugriff auf das Archiv und sonst nichts.
- Unumkehrbare Aktionen passieren eine Schranke. Absenden, Versenden, Bezahlen und Buchen laufen über eine Freigabe oder eine Regelprüfung, bevor sie das Haus verlassen.
- Ein blockierter Schritt wird eskaliert. Kommt der Agent nicht weiter, übergibt der Prozess den Fall an einen Menschen.
- Jede Aktion ist sichtbar, während sie passiert. Monitoring, das ein Problem erst zwölf Wochen später findet, ist Archäologie.
Genau das ist die Idee hinter Agentic Process Orchestration: Agenten bringen Urteilsvermögen in den einzelnen Schritt, und der Prozess liefert die Leitplanken, die Übergaben und den Audit-Trail drumherum.
Können heißt nicht dürfen
Der Hinweis in Philadelphia hat niemandem geschadet, und die Visumanträge liefen ins Leere. Das ist Glück plus ein ordentlicher Spamfilter, und Glück ist ein schlechtes Betriebsmodell für Systeme, die selbstständig handeln.
Agenten werden immer leistungsfähiger und bleiben hartnäckig, denn genau dafür setzen wir sie ein. Stellen Sie deshalb eine einfache Frage, bevor der nächste Agent in Ihrem Unternehmen live geht: Wenn er um zwei Uhr nachts in einer Sackgasse steht, was tut er dann?
Lautet die ehrliche Antwort „Was ihm eben einfällt“, dann hat Ihr Agent ein Ziel. Was ihm noch fehlt, ist ein Prozess.
