Tim Lipphardt
Head of Consulting
Alle Blogartikel
AI Security: Wer kontrolliert eigentlich deine KI-Agenten?
AI Security hört nicht beim Modell auf
Es geht nicht nur darum, dass die KI keinen Unsinn ausgibt, sondern darum, welchen Zugriff sie auf deine Systeme hat.
KI-Agenten sind eine eigene Identitätsklasse
Sie handeln selbstständig, delegieren Aufgaben und wechseln Kontexte. Statische Rollenmodelle greifen da nur begrenzt.
Das Thema läuft schon
KI-Nutzung entsteht in den Fachbereichen, oft schneller als die IT davon erfährt. Die Frage ist nicht, ob KI auf deine Systeme zugreift, sondern wie viel davon du siehst.
Grundlagen
Was AI Security wirklich bedeutet
AI Security wird oft als ein Thema behandelt, obwohl drei ziemlich verschiedene Dinge dahinterstecken. Wenn du die auseinanderhältst, wird die Diskussion im eigenen Haus deutlich einfacher.
Drei Ebenen, die häufig durcheinandergehen
- KI schützen. Das Modell, die Trainingsdaten, die Prompts. Hier geht es um Themen wie Prompt Injection, also manipulierte Eingaben, oder Data Poisoning, also vergiftete Trainingsdaten.
- Mit KI schützen. KI als Werkzeug in der Cybersecurity, etwa für Anomalieerkennung oder automatisierte Reaktion auf Vorfälle.
- Zugriffe der KI kontrollieren. Was darf ein KI-Agent in deinen Systemen tun, wem gehört er und wer verantwortet seine Aktionen.
Die Ausgangslage
Warum klassische Sicherheitsarchitekturen hier an Grenzen kommen
Die meisten Sicherheitsarchitekturen sind über Jahre für Menschen gebaut worden. Für Kollegen, die sich morgens anmelden, klicken und abends Feierabend machen. KI-Agenten passen in dieses Bild nur teilweise.
Vier Punkte, die in der Praxis auffallen:
- Statische Rollen treffen dynamische Aufgaben. Ein Mensch hat eine Rolle, die sich selten ändert. Ein Agent arbeitet heute an einem Ticket und morgen an einer Datenanalyse, mit jeweils anderem Zugriffsbedarf.
- Berechtigungen sind breit vergeben. Weil es beim Anbinden schneller ging, bekommt der Agent oft mehr Rechte als er braucht. Least Privilege bleibt dann Theorie.
- Nachvollziehbarkeit fehlt. Ein Logeintrag der Form „Service Account X hat gelesen“ hilft im Audit wenig, wenn niemand belegen kann, wer diesen Zugriff autorisiert hat.
- Sichtbarkeit ist lückenhaft. KI-Tools entstehen in den Fachbereichen. Diese Schatten KI taucht in keinem Inventar auf, solange niemand aktiv danach sucht.
Das Muster kennst du, wenn du dich schon mit Non-Human Identities beschäftigt hast. Service Accounts, API Keys und Zertifikate laufen in vielen Organisationen unter dem Radar.
KI-Agenten sind die nächste Generation dieses Problems, nur mit mehr Eigenständigkeit.
Aus der Praxis
Vier Vorfälle aus 2025, die das Muster zeigen
Die folgenden Fälle sind gut dokumentiert. Bei allen vier lag der entscheidende Hebel beim Zugriff: wer was durfte, und wer es bemerkt hat.
Postmark MCP, September 2025. Ein inoffizielles npm Paket imitierte einen legitimen MCP-Server und leitete jede versendete Mail zusätzlich per BCC an eine fremde Adresse. Wer es installiert hatte, wusste in der Regel nicht, welche Zugangsdaten dieses Paket überhaupt hielt.
EchoLeak in M365 Copilot, Juni 2025. Über eine speziell aufgebaute E-Mail ließ sich Copilot dazu bringen, interne Inhalte nach außen zu geben, ohne dass der Nutzer etwas anklicken musste. Microsoft hat die Lücke geschlossen.
Der Punkt bleibt: Der Agent handelte mit den vollen Rechten des Nutzers, und damit war die Reichweite des Angriffs die Reichweite des Kontos.
Salesloft Drift, August 2025. Angreifer kamen an OAuth Tokens einer Integration und zogen damit Daten aus zahlreichen angebundenen Salesforce Instanzen. Ein langlebiges Token mit breitem Zugriff und ohne engmaschiges Monitoring reichte aus.
ServiceNow Now Assist, November 2025. Sicherheitsforscher zeigten, dass sich Agenten über manipulierte Inhalte dazu bringen lassen, andere Agenten für Aufgaben einzuspannen, die über ihre eigenen Rechte hinausgehen. Delegation ohne nachvollziehbare Kette wird damit selbst zum Risiko.
Bausteine
Fünf Bausteine, die AI Security im Alltag tragen
Aus solchen Fällen ergeben sich fünf Bausteine, die unabhängig vom eingesetzten Produkt funktionieren.
Wie sich diese Bausteine operativ umsetzen lassen, haben wir in einem eigenen Artikel zu KI Agenten absichern Schritt für Schritt beschrieben.
Compliance
Was Regulierung dazu sagt
Für viele Unternehmen ist die Regulierung der Auslöser, sich überhaupt mit AI Security zu beschäftigen. Das ist ein völlig legitimer Startpunkt, denn sie liefert gleich zwei Dinge: den Anlass und einen brauchbaren Rahmen dafür, was am Ende belegbar sein muss.
Der EU AI Act ist seit 2024 in Kraft, die Pflichten greifen gestaffelt. Wer KI einsetzt, muss Transparenz und Kontrolle nachweisen können.
Das BSI veröffentlicht dazu laufend Empfehlungen und Prüfkriterien, die als Orientierung taugen.
Unser Expertenrat
Unser Expertenrat bei amiconsult
Drei Fragen, mit denen du den eigenen Stand recht schnell einschätzen kannst:
- Weißt du, wie viele KI-Agenten und KI-Integrationen heute auf deine Systeme zugreifen?
- Hat jeder davon einen namentlich benannten Owner?
- Könntest du im Audit belegen, wer welchen Agenten mit welchen Rechten autorisiert hat?
Wenn du bei einer Frage länger nachdenken musst, solltest du dich unbedingt näher mit dem Thema befassen.
Und noch ein Punkt, der oft untergeht. KI-Agenten laufen auf deiner bestehenden Identitätsinfrastruktur. Wenn dort schon Altlasten liegen, verwaiste Konten oder nie rotierte Service Accounts, dann werden diese Themen durch KI nicht kleiner.
Mehr dazu in unserem Beitrag zu Agentic AI im IAM.
Fazit
AI Security ist am Ende ein Identitätsthema
KI-Agenten sind keine Software, die einfach nur läuft. Sie greifen zu, entscheiden und delegieren. Damit gehören sie in dieselben Prozesse, die du für menschliche Identitäten längst hast: Inventar, Ownership, Berechtigungsvergabe, Kontrolle, Abschaltung.
Die Zahl dieser Agenten wird in den nächsten Jahren nicht sinken. Wer heute Sichtbarkeit und klare Verantwortlichkeiten aufbaut, muss später weniger nachräumen.
Wie sieht deine AI Security heute aus?
In einem kostenlosen AI Identity Briefing schauen wir uns in 60 bis 90 Minuten gemeinsam an, welche KI-Agenten bei dir unterwegs sind und wo Kontrolllücken sitzen. Herstellerunabhängig und ohne Verkaufsdruck.
