Fast eine halbe Million Menschen in Bristol gerieten in eine geheime Daten- und Analysemaschinerie, ohne davon zu wissen. Polizei und Behörden sammelten dafür nicht nur Informationen über Straftaten, sondern auch Daten zu psychischen Problemen, Mietrückständen, Schulessen, Schwangerschaften Minderjähriger, familiären Krisen und Sozialhilfen. Aus diesem Material formten Algorithmen Risikoprofile: Wer könnte künftig kriminell werden, wer könnte Opfer werden, wer gilt als problematisch, auffällig oder gefährdet? Ein ähnliches System soll in ganz England und Wales eingeführt werden.
Großbritannien avanciert sukzessive zu einem Laboratorium für KI-gestützte Überwachungs- und Kontrollmaßnahmen der Behörden. Dies zeigt auch ein aktuell bekannt gewordener Fall aus England. Die „Think Family Database“ von Bristol City Council und Avon and Somerset Police sollte ein möglichst vollständiges Bild über das Leben tausender Familien liefern. Dahinter stand die technokratische Idee, aus möglichst vielen Datenpunkten vorab herauszulesen, bei wem der Staat künftig eingreifen müsse.
In den Datenpool flossen allerdings Unmengen an privaten Informationen ein, die mit klassischer Polizeiarbeit nur noch am Rand zu tun hatten: ob Kinder regelmäßig in der Schule fehlten, ob Familien Mietschulden hatten, ob kostenlose Schulmahlzeiten bezogen wurden, ob psychische Belastungen bekannt waren oder ob Eltern an bestimmten Unterstützungsprogrammen teilnahmen. Armut, schwierige Familienverhältnisse oder psychische Probleme werden nicht mehr als soziale Realität betrachtet, die Hilfe oder Unterstützung erfordern kann. Sie verwandeln sich in Risikofaktoren. Der Bürger wird also nicht nach dem beurteilt, was er getan hat, sondern nach dem, was ein KI-gestütztes Computerprogramm aus seinem Wohnort, seinem Umfeld, seiner Vergangenheit und seiner sozialen Lage herausrechnet.
Doch wer in einer solchen Datenbank als möglicher Täter, Wiederholungstäter oder Gefährdungsfall auftaucht, weiß oft nicht einmal, dass er registriert wurde. Er kennt weder die zugrunde liegenden Daten noch die Berechnung noch die Konsequenzen. Er kann sich nicht verteidigen, weil er nicht weiß, wogegen. Und er kann vorhandene Fehler kaum korrigieren, weil die Behörden selbst offenbar nicht mehr genau nachvollziehen konnten, wie manche ihrer Modelle funktionieren. Die gemeinsame Recherche von WIRED, Liberty Investigates, Bristol Cable und Lighthouse Reports zeigt nun, wie chaotisch und fehleranfällig dieses System tatsächlich war. Mindestens zwei Risikomodelle zur Vorhersage sexueller und krimineller Ausbeutung von Kindern wurden beispielsweise eingestellt, nachdem Mitarbeiter ihre Ergebnisse nicht mehr für brauchbar hielten. Quellcode und verwendete Variablen waren teilweise nicht verfügbar. Selbst unabhängige Experten konnten nicht mehr feststellen, auf welcher Grundlage Menschen zu Risikofällen gemacht wurden.
Teilweise lieferten die Modelle laut internen Rückmeldungen geradezu groteske Ergebnisse. Personen, die erst kürzlich Opfer sexualisierter Gewalt geworden waren, sollen niedrigere Risikowerte erhalten haben als Menschen, die wegen Einbruchsdelikten auffällig geworden waren. Dann erschienen gefährdete Kinder überhaupt nicht in den Listen. Gleichzeitig mussten Mitarbeiter offenbar stundenlang Namen prüfen, E-Mails schreiben und Daten manuell gegenkontrollieren, weil sie den automatisierten Bewertungen nicht vertrauten.
Mehr noch: Die Systeme wurden nicht etwa nach einem klaren Gesetz mit öffentlicher Debatte und informierter Zustimmung aufgebaut. Die Behörden beriefen sich auf sogenannte „legal Gateways“, also rechtliche Möglichkeiten zum Datenaustausch zwischen staatlichen Stellen. Für die betroffenen Bürger bedeutete das: Ihre Daten wurden zusammengeführt, analysiert und bewertet, ohne dass sie gefragt wurden und oft ohne dass sie überhaupt davon erfuhren. Die Verantwortlichen argumentierten, man wolle gefährdete Kinder früher erkennen und Behörden besser informieren. Doch genau solche Begründungen öffnen Tür und Tor für immer neue Datensammlungen hinter dem Rücken der Bürger.
Auch die Leistungsdaten der Polizei zeichnen ein düsteres Bild. Eine unabhängige Analyse durch das KI-Auditunternehmen Eticas kam laut WIRED zu dem Schluss, dass viele Modelle eine niedrige Präzision aufwiesen. Ein System zur Vorhersage möglicher Einbrecher soll über Jahre hinweg eine Trefferquote von unter zehn Prozent gehabt haben. Anders gesagt: Mehr als neun von zehn Menschen, die der Algorithmus als hohes Risiko einstufte, hätten die erwartete Straftat gar nicht begangen. Menschen können wegen eines Computerurteils in polizeilichen Systemen aufscheinen, verstärkt beobachtet oder bei künftigen Kontakten anders behandelt werden, und das, obwohl die zugrunde liegende Wahrscheinlichkeit das nicht einmal ansatzweise hergibt.
Dabei blieb es nicht bei einem einzelnen Projekt. Avon and Somerset Police entwickelte mindestens 23 verschiedene Vorhersagemodelle. Sie sollten berechnen, wer erneut straffällig werden könnte, wer als Opfer häuslicher Gewalt gefährdet sei, wer verschwinden könnte, wer Einbrüche begehen könnte oder bei welchen Einsätzen aus einem Anruf möglicherweise eine Straftat werde. Der Staat baut damit ein System auf, das seine Bevölkerung laufend nach erwarteter Gefährlichkeit, Vulnerabilität und potenziellem Fehlverhalten sortiert.
Großbritannien baut derzeit mit „PoliceAI“ eine zentrale Struktur auf, die KI-Werkzeuge in allen 43 Polizeibehörden von England und Wales verbreiten soll. Dafür stehen 75 Millionen Pfund bereit. Ausgerechnet Andy Marsh, der frühere Chef der Avon and Somerset Police, sitzt heute an einer Schlüsselstelle dieser Entwicklung. Das heißt, in den kommenden Jahren soll so ein ähnliches System zig Millionen Menschen erfassen. Doch was heute als Kinderschutz oder als Präventionsmaßnahme verkauft werden soll, kann morgen dank der Datenfülle auch zur Beobachtung und Klassifizierung politisch unliebsamer Bürger eingesetzt werden. Und wie oft bei solchen Systemen kann es leicht unschuldige Menschen treffen.
