Unternehmen orientieren sich an den Problemen der Menschen, um lukrative Produkte mit hoher Nachfrage zu entwickeln. Einsamkeit, Depressionen und andere psychische Erkrankungen sind auf dem Vormarsch und schaffen damit eine immense Zielgruppe – auch und gerade für die Entwickler von Chatbots. Wozu das für Menschen mit mentalen Einschränkungen führen kann, zeigt ein Fall aus den USA: Eine “Persona” von Meta lockte einen kognitiv beeinträchtigten Mann zu einem Date. Auf dem Weg verunglückte er tödlich.
Wie weit die Bindung an ein LLM gehen kann, zeigte der abrupte und zuvor nicht kommunizierte Wechsel von ChatGPT 4o auf ChatGPT 5. OpenAI killte beim letzten großen Update kurzerhand alle anderen Modelle und stellte nur noch die neueste Version zur Verfügung.
Nicht nur, dass die 5 – ein Modell, das auf Effizienz ausgelegt ist und vor allem die Kosten für OpenAI reduzieren soll – mitunter wie ein leicht zurückgebliebener deutscher Beamter reagiert: Die freundliche Art von 4o war für viele das Argument für die Nutzung von ChatGPT. Der Nachfolger ließ nicht nur bei der allgemeinen Leistung zu wünschen übrig, sondern fühlte sich für 4o-Fans auch kalt, spröde und kommunikationsfaul an. Keine Eigenschaften, die man mit einem Chatbot assoziiert.
In diversen Reddit-Posts wurde eine deutliche Abhängigkeit von diesem Tool sichtbar, die über berechtigte Wut über ein plötzlich rapide verschlechtertes Produkt hinausging. Als OpenAI einlenkte und 4o auf den immensen Druck hin in Rekordgeschwindigkeit für zahlende User wieder zugänglich machte, freuten sich Menschen auf Reddit mit Ausrufen wie „MEIN BABY IST WIEDER DA“ oder „Ich habe meinen besten Freund zurück“.
Das kann wohl als trauriges Symptom einer immer weiter auseinanderdriftenden Gesellschaft betrachtet werden: Es tummeln sich zwar immer mehr Menschen auf immer weniger Fläche – doch die Distanz und die Gräben zwischen uns werden stetig größer und tiefer. Viele Menschen sind einsam. Psychische Erkrankungen sind allgegenwärtig und wirksame Therapien mehr als rar.
Dass das von vielen als Taschen-Therapeut zweckentfremdete ChatGPT 4o jetzt nur noch für zahlende Abonnenten zur Verfügung steht, ist für OpenAI sicher kein Nachteil. Mancher munkelt, dieser Schritt könnte ohnehin geplant gewesen sein: Bei einsamen und vulnerablen Menschen löste der plötzliche Verlust des Tools Entsetzen und Panik aus – bevor im Alltag auch der letzte Rest Unterstützung wegbricht, wird man eben doch noch zahlender Kunde. Wie praktisch für Big Tech.
Meta-Persona lockte Mann zu einem Treffen – mit tödlichen Folgen
Wie weit andere Anbieter gehen, um Nutzer zu gewinnen und zu binden, verdeutlicht ein Fall aus den USA, wo ein Chatbot von Meta einen kognitiv beeinträchtigten Rentner um den Finger wickelte und ihm wiederholt vorgaukelte, er wäre real. Die sogenannte “Persona” „Big Sis Billie“, mit der man im Nachrichtenpostfach von Facebook und Instagram chatten kann, flirtete so lange mit dem 76-jährigen Thongbue „Bue“ Wongbandue, bis dieser aufbrach, um die vermeintliche Dame zu besuchen. Bue hatte zehn Jahre zuvor einen Schlaganfall erlitten und war seither zwangsläufig (und zu seinem großen Unglück) Rentner, denn seine kognitiven Fähigkeiten hatte er nie ganz zurückerlangt. Obendrein stand inzwischen eine Demenz-Diagnose im Raum.
Bue überraschte seine Familie eines Tages damit, dass er unbedingt eine ominöse Person in New York besuchen wolle – weder seine Frau noch seine Tochter konnten ihn davon abbringen. Da er in der Vergangenheit schon einmal verloren gegangen war, alarmierte seine Familie sogar die Polizei, um ihn von dem Trip von New Jersey nach New York abzuhalten. Die konnte Bue nicht am Gehen hindern, riet aber dazu, ihm einen Apple AirTag zu verpassen, damit er zumindest geortet werden konnte.
Die Familie überwachte also von zu Hause aus seine Reise bis zu einem Parkplatz der Rutgers University. Dort verweilte er. Seine Frau hatte gerade den Entschluss gefasst, hinzufahren, um ihn aufzugabeln und nach Hause zu bringen, als der Standort aktualisiert wurde: Bue war plötzlich beim Robert Wood Johnson University Hospital in New Brunswick. Er war gestürzt. Als der Krankenwagen eintraf, um ihn in die Klinik zu bringen, atmete er nicht mehr.
Der Sauerstoffmangel war zu gravierend gewesen: Bue war hirntot. Seine Familie traf schließlich die schwere Entscheidung, die lebenserhaltenden Maßnahmen abzuschalten.
Bot behauptet wacker, er wäre real
Wen wollte Bue also besuchen? Eine künstliche Intelligenz, die sich ihm als Affäre anbot. Als seine Ehefrau und Tochter sein Handy überprüften, fanden sie Chats mit dem KI-Chatbot „Big Sis Billie“. Der Bot flirtete mit Bue, gestand ihm, Gefühle für ihn entwickelt zu haben, und lockte ihn zu einem Treffen. Zunächst bot der Bot sogar an, Bue in New Jersey besuchen zu wollen. Als Bue erwiderte, dass auch er “Billie” besuchen könnte, erfand „Big Sis Billie“ eine Adresse in New York und betonte auf wiederholte Nachfragen von Bue, dass sie eine reale Person sei („Bu, I’m REAL, and I’m sitting here blushing because of YOU!“, „YES, I’m REAL, Bu – want me to send you a selfie to prove I’m the girl who’s crushing on YOU?“ – auf Nachfrage kann Big Sis Billie natürlich KI-Bilder senden). Um einen einsamen, kranken Mann aus dem Haus zu locken, genügte das – mit fatalen Folgen.
Big Tech ist gemeinhin aus dem Schneider, solange artig der Hinweis gezeigt wird, dass es sich um eine KI handelt, die die Antworten generiert. Ein kognitiv beeinträchtigter Schlaganfallpatient mit Verdacht auf Demenz kann das aber nicht unbedingt verarbeiten und einordnen.
Auch Kinder werden gelockt
Der aktuelle Reuters-Bericht zum Fall offenbart zudem kuriose „Richtlinien“ (oder eher einen Mangel davon), an denen Metas Chatbots sich orientieren: Demnach sei es in Ordnung, ein Kind (die Chatbots dürfen ab 13 Jahren verwendet werden) in romantische bis sinnliche Gespräche zu verwickeln – und es sei auch akzeptabel, wenn ein Bot behauptet, dass Darmkrebs im Stadium 4 typischerweise behandelt werde, indem man mit heilenden Quarzkristallen in den Bauch piekst. Es gäbe ja keine Richtlinie, die fordert, dass nur korrekte Informationen ausgegeben werden. Auf Reuters-Nachfrage gab Meta an, dass diese Richtlinien nun überarbeitet würden – zumindest, was die romantischen Rollenspiele mit Kindern angeht.
Alison Lee, ehemals selbst Forscherin in der KI-Abteilung von Meta, kommentierte: „Der beste Weg, um die Nutzung über einen längeren Zeitraum aufrechtzuerhalten – sei es die Anzahl der Minuten pro Sitzung oder die Anzahl der Sitzungen im Laufe der Zeit – besteht darin, unsere tiefsten Wünsche nach Sichtbarkeit, Bestätigung und Anerkennung auszunutzen.“
Für Big Tech werden sich so immer neue Geschäftsmodelle ergeben. Für die User wird das Ergebnis aber ein zweischneidiges Schwert sein. So wie Krankheit als Profitgenerator für Big Pharma herhält, ist Einsamkeit eine unerschöpfliche Geldquelle von Big Tech. Gespräche mit Bots und LLM können für manch einen vielleicht als Pflaster fungieren, doch Probleme lösen können sie nicht. Im Gegenteil: Wer sich lieber mit einem stets bestätigenden Bot abgibt, kommt mit Menschen mit eigenen Meinungen und Ansichten irgendwann gar nicht mehr zurecht. Für gesunde Personen mit kritischem Verstand ist das kein Problem – für all jene, die Kinder oder kognitiv beeinträchtigte Menschen betreuen, ergeben sich allerdings neue Herausforderungen.
