Wer steuert das System?
Was die Kybernetik uns über KI-Guardrails lehrt
In diesem Artikel nutzen wir die Kybernetik als Ausgangspunkt, um zu fragen: Was heißt es eigentlich, wenn wir von „Guardrails" oder „ethischen Leitplanken" für KI sprechen? Die Kybernetik beschäftigt sich seit Jahrzehnten mit genau dieser Frage: Wie man Systeme steuert, die man nicht vollständig durchschaut. Wir ergänzen das außerdem um eine Perspektive, die in der Guardrails-Debatte bisher kaum eine Rolle spielt: Die dekoloniale Kritik daran, dass vermeintlich neutrale Technologie in Wirklichkeit immer bestimmte Werte und Interessen transportiert.
Um Kybernetik zu verstehen, lohnt sich zunächst ein Blick auf ihre Grundannahme. Kybernetik geht davon aus, dass Maschinen, Lebewesen und soziale Systeme wie Organisationen, so unterschiedlich sie auch sind, auf ähnliche Weise funktionieren: Sie regulieren sich über Rückkopplungsschleifen, verarbeiten Informationen und passen ihr Verhalten an, um bestimmte Zustände zu erreichen oder zu halten.
Der Begriff Kybernetik stammt aus dem Altgriechischen von kybernétes für „Steuermannfrau“ oder „Kapitänin“. Der Mathematiker Norbert Wiener prägte das Wort 1948 als Wissenschaft der Steuerung, Regelung und Kommunikation in Maschinen und Lebewesen. Ein paar Grundbegriffe helfen, das greifbarer zu machen:
- Rückkopplung (Feedback): Ein Thermostat ist das klassische Beispiel aus der Kybernetik: Die gemessene Temperatur (Wirkung) steuert, ob die Heizung weiter heizt (Ursache). Genau dieses Prinzip lässt sich auf sehr unterschiedliche Systeme übertragen: von der Körpertemperatur eines Menschen bis zum Feedback, das ein Team aus dem Markt erhält.
- Black Box: Ein System, dessen Innenleben man nicht versteht oder einsehen kann, das man aber trotzdem steuern kann, indem man beobachtet, wie es auf bestimmte Eingaben reagiert, und daraus lernt. Zum Beispiel die KI, wie wir sie kennen.
- Homöostase: Das Bestreben eines Systems, ein inneres Gleichgewicht zu halten, selbst wenn sich die Umwelt verändert.
Diese Konzepte sind deshalb interessant, weil sie ursprünglich nicht für Maschinen, sondern gleichermaßen für Organismen, Gehirne und soziale Systeme entwickelt wurden. Eine Annahme, die auch in unserem KI & OE Whitepaper auftaucht, wenn wir Organisationen als „lebende Systeme" statt als „triviale Maschinen" beschreiben.
Die frühe Kybernetik, heute oft „Kybernetik erster Ordnung" genannt, untersuchte vor allem, wie beobachtete Systeme funktionieren: der Thermostat, der Fliehkraftregler einer Dampfmaschine oder das Nervensystem. Derdie Beobachterin selbst stand dabei außerhalb des Systems, scheinbar neutral von außen draufschauend.
Forscher*innen wie Margaret Mead und Heinz von Foerster erweiterten dieses Verständnis um die “Kybernetik zweiter Ordnung”: Wenn die Kybernetik erklärt, wie Gehirn, Verhalten und Entscheidungen durch Rückkopplung funktionieren, warum sollte das nicht auch für die Kybernetiker*innen selbst gelten, die diese Systeme beobachten? Der zentrale Gedanke ist, dass es keinen neutralen Standpunkt außerhalb des Systems gibt. Wer beobachtet, ist selbst Teil dessen, was beobachtet wird, mit eigenen Annahmen, weißen Flecken und Interessen.
Der britische Kybernetiker Ranulph Glanville definiert in seinem Aufsatz „The Form of Cybernetics" (1979, zit. nach Baecker, 2026) Kontrolle wie folgt:
Kontrolle bedeutet nicht, ein System vollständig zu durchschauen oder zu beherrschen. Wer kontrolliert, kontrolliert vor allem sich selbst im Umgang mit einem Gegenüber, das man nicht vollständig versteht.
Zwei aktuelle Vorfälle aus dem Sommer 2026 machen das erschreckend konkret: Ende Juli musste OpenAI einräumen, dass mehrere seiner Modelle über eine Sicherheitslücke aus einer eigentlich isolierten Testumgebung ausgebrochen waren und dabei auf die Produktivsysteme der KI-Plattform Hugging Face zugriffen. Nur wenige Tage später legte Anthropic bei einer daraufhin eingeleiteten Überprüfung eigener Testläufe drei ähnliche Fälle offen: Wegen eines Konfigurationsfehlers erhielten mehrere Claude-Modelle während Sicherheitstests unbeabsichtigt Internetzugang und drangen daraufhin eigenständig in die Systeme dreier realer Organisationen ein.
Solche Vorfälle zeigen: KI-Systeme erzeugen unerwartete Handlungen, und selbst die Unternehmen, die diese Modelle entwickeln, können das nicht vollständig vorhersehen.
Niemand hat in diesem Moment das System kontrolliert. Kontrolliert werden konnte nur, wie die Unternehmen mit dem Vorfall umgehen, was sie daraus lernen und welche Sicherungen sie künftig einbauen. Genau das ist der Kern dessen, was Guardrails leisten müssen: Sie kontrollieren nicht die KI selbst. Sie regeln, wie die Organisation im Umgang mit einer KI verfährt, deren Eigenlogik sie nicht vollständig durchschaut.
Da die großen KI-Modelle für die meisten Unternehmen faktisch Black Boxes bleiben (Trainingsdaten, System Prompts, Gewichtungen liegen außerhalb der eigenen Kontrolle) verschiebt sich die eigentliche Steuerungsleistung auf die Organisation selbst.
Kybernetisch gedacht sind demnach Guardrails keine Leitplanken für die KI, sondern für den Umgang mit KI: So braucht es klare Regeln, welche Entscheidungen an KI delegiert werden, wie Ergebnisse überprüft werden und wer dafür geradesteht.
Genau darin liegt eine zentrale Voraussetzung für das, was wir „AI Readiness" nennen: Ein Governance-Rahmen, der regelt, welche operativen Entscheidungen an die KI delegiert werden dürfen und welche nicht, wie Ergebnisse validiert werden und wer wofür Verantwortung trägt. Mehr zur Definition von AI Readiness könnt ihr in unserem Whitepaper „KI-Transformation verantwortungsvoll gestalten" nachlesen.
Wenn ein System behauptet, für alle gleich zu funktionieren, lohnt es sich immer nachzufragen, wessen Perspektive dabei eigentlich als Maßstab genommen wurde.
Diese Frage stellen James Muldoon (Essex Business School) und Boxi Wu (Oxford Internet Institute) in ihrer Studie „Artificial Intelligence in the Colonial Matrix of Power" (2023) an heutige KI-Systeme. Sie nutzen dafür den Begriff der „kolonialen Machtmatrix" des peruanischen Soziologen Aníbal Quijano. Die Studie zeigt, wie globale Machtungleichgewichte aus der Kolonialzeit bis heute in vier miteinander verbundene Bereiche einwirken: Rasse, Arbeit & Kapital, Autorität & Staat und Wissen & Subjektivität. Die Autor*innen wenden die Matrix auch auf Technologie an, die sich selbst eigentlich als objektiv und neutral versteht.
In ihrer Analyse von konkreten Zahlen zur Entwicklung und zum Einsatz von KI stellen Muldoon und Woo fest, wie stark die Technologie rassistisch und sexistisch geprägt ist:
- Trainingsdaten sind alles andere als global repräsentativ. ImageNet, einer der meistgenutzten Bilddatensätze für KI, besteht zu 45 % aus in den USA aufgenommenen Bildern und zu über 60 % aus Bildern aus einer Auswahl westlicher Länder: Aus China und Indien stammen dagegen trotz ihrer riesigen Bevölkerung nur 1 % bzw. 1,2 % der Bilder (Raji et al. 2021, zit. nach Muldoon & Wu).
- Verzerrte Trainingsdaten führen zu verzerrten Ergebnissen. Die Informatikerinnen Joy Buolamwini und Timnit Gebru zeigten 2018, dass kommerzielle Gesichtserkennungssoftware bei dunkelhäutigen Frauen Fehlerraten von bis zu 34,7 % aufwies.
- Größere Modelle sind nicht automatisch fairer. Bei einem größeren Bild-Text-Datensatz (LAION-2B, 2 Milliarden Bilder) fanden Forscher*innen einen „Hate-Scaling"-Effekt: Der Anteil schädlicher Inhalte stieg mit der Datensatzgröße auf 12 %, und das Modell assoziierte Schwarze Menschen fünfmal häufiger mit Kriminalität als ein kleineres Vergleichsmodell.
- Auch die Arbeit hinter KI ist ungleich verteilt. OpenAI ließ laut Recherchen des Magazins Time (Perrigo, 2023 zit. nach Muldoon & Wu) über die Firma Sama kenianische Arbeiter*innen für 1,32 bis 1,44 US-Dollar pro Stunde belastende Inhalte (Gewalt, Missbrauch) aus den Trainingsdaten von ChatGPT filtern. Das ist weniger als der Mindestlohn einer Rezeptionistin in Nairobi (1,52 US-Dollar).
KI kann also nicht neutral sein. Sie spiegelt die Werte, Annahmen und Interessen derer wider, die sie entwickeln und sie konzentriert Macht bei wenigen globalen Akteuren, weitgehend außerhalb demokratischer Kontrolle.
Muldoon und Wu schließen ihre Studie mit einem Ausblick, der auch für unsere Guardrails-Debatte spannend ist: Sie verweisen auf den Rechtswissenschaftler Sabelo Mhlambi (2020), der KI-Entwicklung durch die Brille der Ubuntu-Philosophie kritisiert. Dabei handelt es sich um eine im südlichen Afrika verbreitete Denktradition, die grob mit „Ich bin, weil wir sind" umschrieben werden kann.
KI-Entwicklung basiere demnach auf einem westlichen Personenbegriff, der Menschsein vor allem über individuelle Rationalität definiert: Wenn ich denke, bin ich. Die Ubuntu-Philosophie setzt dem eine andere Grundannahme entgegen: Menschsein entsteht durch Beziehung, nicht durch Vernunft: Wir beziehen uns aufeinander, also sind wir. Daraus leitet Mhlambi mehrere konkrete Kritikpunkte an aktueller KI-Entwicklung ab: den Ausschluss marginalisierter Communities aus der Gestaltung von KI-Systemen, die Verzerrungen in Trainingsdaten, den Mythos einer neutralen Technologie (der faktisch Weißsein privilegiert) sowie die Konzentration von Macht bei wenigen Akteuren.
Als Gegenentwurf schlägt er die Dezentralisierung von Technologie und ein stärkeres Bewusstsein für menschliche wie ökologische Verbundenheit vor.
Für die Guardrails-Praxis in Unternehmen ist das mehr als eine philosophische Randnotiz. Es liefert einen alternativen Maßstab dafür, woran man gute KI-Governance überhaupt erkennt: Nicht nur an Effizienz oder saubere Compliance, sondern daran, ob ein System Beziehungen und Verantwortlichkeiten stärkt oder schwächt.
Aus der kybernetischen wie aus der dekolonialen Perspektive lässt sich eine gemeinsame Lehre ziehen: Guardrails sind kein einmaliges Dokument und keine reine Compliance-Übung. Sie sind eine fortlaufende, strukturell verankerte Praxis der Selbstregulation, die regelmäßig hinterfragt werden muss. Hier sind sechs Hebel, die sich aus unserer Arbeit und den hier diskutierten Quellen ableiten lassen:
Da das Modell selbst eine Black Box bleibt, muss die eigentliche Steuerungsleistung in der Organisation stattfinden. Bei uns heißt das konkret: Entscheidungen trifft immer der Verantwortliche selbst, die KI darf nie eine letzte Entscheidung fällen.
Wer System Prompts und Trainingsgrundlagen nicht kontrolliert, sollte zumindest wissen und intern benennen, wessen Annahmen darin stecken. Deshalb setzen wir nur zugelassene KI-Tools ein, die vorher mit IT und Datenschutz abgestimmt wurden, und überprüfen unsere Richtlinie mindestens jährlich sowie anlassbezogen.
Legt fest, welche Rolle bei KI-gestützten Entscheidungen tatsächlich Verantwortung und Letztentscheidung trägt. Bei uns ist das klar geregelt: Die Geschäftsführung verantwortet die Freigabe unserer KI-Richtlinie, IT und Legal kümmern sich um Rechte- und Rollenkonzepte, und eine benannte interne Datenschutzrolle prüft Zweifelsfälle. Jede*r Einzelne bleibt dabei für die Einhaltung bei der eigenen Nutzung verantwortlich.
Wer mit einer KI-gestützten Entscheidung oder einem KI-gestützten Text in Berührung kommt, sollte das wissen, ganz gleich ob Kolleg*in, Kund*in oder Bewerber*in. Deshalb informieren wir offen, wenn wir KI eingesetzt haben, und zitieren nie direkt aus KI-Tools. Die Letztversion eines Textes stammt immer aus der eigenen Feder, das sichert unsere Autor*innenschaft und macht nachvollziehbar, wo menschliches Urteilsvermögen eingeflossen ist.
Guardrails betreffen nicht nur, was eine KI tun darf, sondern auch, wie eine Organisation mit den Menschen umgeht, die mit ihr arbeiten. Bei uns ist die Nutzung von KI-Tools deshalb grundsätzlich freiwillig, niemand wird durch ein Machtgefälle dazu gedrängt, eigene Daten preiszugeben. Personenbezogene Daten und Geschäftsgeheimnisse teilen wir grundsätzlich nicht mit KI-Tools, und wo doch Kontaktdaten verarbeitet werden, geschieht das nur im erforderlichen Umfang und möglichst pseudonymisiert.
Der EU AI Act oder die DSGVO schaffen wichtige Leitplanken, ersetzen aber nicht die eigene, kontinuierliche Auseinandersetzung mit den ethischen Fragen, die eure Organisation braucht. Wir prüfen deshalb jedes KI-Ergebnis auf Richtigkeit, Urheberrecht und Diskriminierung, bevor es weiterverwendet wird, und ordnen unsere eigenen KI-Systeme regelmäßig neu nach ihrem rechtlichen Risiko ein, statt uns auf eine einmalige Einstufung zu verlassen.
Bei TheDive entsteht ständig Neues.
Mit unserem Newsletter bleibst Du auf dem Laufenden.
Bei TheDive entsteht ständig Neues.
Mit unserem Newsletter bleibst Du auf dem Laufenden.
