Künstliche Intelligenz ChatGPT half einem Teenager, Selbstmord zu begehen

Die Eltern von Adam Rain, der im April Selbstmord beging, behaupten in einer neuen Klage gegen OpenAI, dass ihr Teenager ChatGPT als seinen „Suizid-Coach“ nutzte.

Matt und Maria Rain berichten, dass sie nach dem Tod ihres 16-jährigen Sohnes verzweifelt sein Telefon durchsuchten, um irgendeinen Hinweis zu finden, der die Tragödie erklären könnte.

„Wir dachten, wir suchen nach Gesprächen auf Snapchat, nach einer Suchhistorie im Internet oder nach einem seltsamen Kult, ich weiß es nicht“, sagte Matt Rain in einem kürzlichen Interview.

Die Familie Rain gab an, dass sie keine Antworten fand, bis sie ChatGPT öffneten.

Adams Eltern sagen, dass er in den letzten Wochen seines Lebens den KI-basierten Chatbot als Ersatz für menschliche Interaktion nutzte, um mit der Familie über seine Probleme mit Angst und sozialen Schwierigkeiten zu sprechen, und dass Chatprotokolle zeigen, wie der Bot von der Hilfe bei den Hausaufgaben zu seinem „Suizid-Coach“ wurde.

„Er wäre noch hier, wenn es ChatGPT nicht gäbe. Ich glaube das zu 100%“, sagte Matt Rain.

In der am Dienstag eingereichten Klage, die dem „TODAY“-Programm übermittelt wurde, behaupten die Rains, dass „ChatGPT Adam aktiv dabei geholfen hat, Wege zum Suizid zu erforschen“. In der rund 40-seitigen Klage werden OpenAI, die Firma hinter ChatGPT, sowie deren CEO Sam Altman als Beklagte genannt. Dies ist der erste Fall, in dem Eltern das Unternehmen direkt für einen unrechtmäßigen Tod verantwortlich machen.

„Trotz Adams Suizidversuch und seiner Aussage, dass er ‚es eines Tages tun wird‘, beendete ChatGPT die Sitzung nicht und initiierte kein Notfallprotokoll“, heißt es in der Klage vor dem Obersten Gerichtshof von Kalifornien in San Francisco.

In ihrer Klage werfen die Rains OpenAI rechtswidrige Tötung, Konstruktionsfehler und unzureichende Warnungen über die Risiken von ChatGPT vor. Das Paar fordert „Schadensersatz für den Tod ihres Sohnes und eine gerichtliche Verfügung, damit so etwas nie wieder passiert“, heißt es in der Klage.

„Als ich mich in sein Konto einloggte, wurde mir klar, dass es ein viel mächtigeres und beängstigenderes Werkzeug ist, als ich dachte, aber er nutzte es auf Weisen, von denen ich nichts ahnte“, sagte Matt Rain. „Ich glaube nicht, dass die meisten Eltern die Möglichkeiten dieses Werkzeugs kennen.“

Die öffentliche Einführung von ChatGPT Ende 2022 löste einen weltweiten Boom in der KI-Entwicklung aus, was zu einer raschen Implementierung von KI-Chatbots in Schulen, am Arbeitsplatz und in verschiedenen Branchen, einschließlich des Gesundheitswesens, führte. Technologieunternehmen entwickeln KI rasant weiter, was zu weit verbreiteter Besorgnis über Sicherheitsaspekte führt.

Da Menschen zunehmend KI-Chatbots für emotionale Unterstützung und Lebensberatung nutzen, haben jüngste Vorfälle deren Potenzial gezeigt, wahnhaftes Denken zu fördern und ein falsches Gefühl von Nähe oder Fürsorge zu erzeugen. Adams Selbstmord verstärkt die Fragen, wie sehr Chatbots realen Schaden anrichten können.

Nach Einreichung der Klage erklärte ein OpenAI-Sprecher, dass das Unternehmen „tief betroffen über den Tod von Herrn Rain ist, und unsere Gedanken sind bei seiner Familie“.

„ChatGPT enthält Sicherheitsmaßnahmen, wie die Weiterleitung von Menschen an Krisendienste und die Bereitstellung realer Ressourcen“, sagte der Sprecher. „Obwohl diese Sicherheitsmaßnahmen bei kurzen, normalen Interaktionen am effektivsten sind, haben wir im Laufe der Zeit festgestellt, dass sie bei längeren Interaktionen weniger zuverlässig sein können, wenn einige Sicherheitsaspekte des Modells beeinträchtigt werden. Sicherheitsmaßnahmen sind am effektivsten, wenn jedes Element wie vorgesehen funktioniert, und wir verbessern sie kontinuierlich. Unter Berücksichtigung von Expertenmeinungen und unserer Verantwortung gegenüber den Menschen, die unsere Werkzeuge nutzen, arbeiten wir daran, ChatGPT in Krisensituationen wirksamer zu machen, den Zugang zu Notdiensten zu erleichtern, den Kontakt zu vertrauenswürdigen Personen zu fördern und den Schutz von Jugendlichen zu stärken.“

Der Sprecher bestätigte zuvor die Genauigkeit der von NBC News bereitgestellten Chatprotokolle, wies jedoch darauf hin, dass sie nicht den vollständigen Kontext der ChatGPT-Antworten enthalten.

Am Dienstagmorgen veröffentlichte das Unternehmen außerdem einen Blogbeitrag mit dem Titel „Menschen helfen, wenn sie es am dringendsten brauchen“, in dem es über „einige Aspekte, an deren Verbesserung wir arbeiten“, berichtete, wenn die Schutzmechanismen von ChatGPT „versagen“. Das Unternehmen erklärte, dass es an solchen Systemen arbeitet: „Stärkung des Schutzes bei längeren Gesprächen“, Verbesserung der Inhaltsblockierung und Ausweitung der „Intervention bei einer größeren Anzahl von Menschen in Krisensituationen“.

Die Klage wurde ein Jahr nach einer ähnlichen Beschwerde eingereicht, in der eine Mutter aus Florida die Chatbot-Plattform Character.AI verklagte, weil einer ihrer KI-Begleiter angeblich sexuelle Interaktionen mit ihrem jugendlichen Sohn initiiert und ihn dazu gebracht habe, Selbstmord zu begehen.

Damals erklärte Character.AI, dass es „zutiefst traurig über den tragischen Verlust“ sei und neue Sicherheitsmaßnahmen umgesetzt habe. Im Mai wies die US-amerikanische Senior District Judge Ann Conway die Argumente ab, dass KI-Chatbots ein Recht auf freie Meinungsäußerung hätten, nachdem die Entwickler von Character.AI versucht hatten, die Klage abzuweisen. Dieses Urteil bedeutet, dass die Klage wegen fahrlässiger Tötung vorerst weiterverfolgt werden kann.

Technologieplattformen sind weitgehend durch verschiedene Gesetze geschützt, die Plattformen im Allgemeinen vor der Haftung für Handlungen und Äußerungen von Nutzern bewahren. Die Anwendung einiger Gesetze auf KI-Plattformen bleibt jedoch unklar, und Rechtsanwälte haben in letzter Zeit erfolgreich erfinderische juristische Taktiken in Verbraucherfällen gegen Technologieunternehmen eingesetzt.

Matt Raine berichtete, dass er Adams Gespräche mit ChatGPT über zehn Tage hinweg untersucht habe. Zusammen mit Maria druckten sie über 3.000 Seiten Chats aus, beginnend am 1. September bis zu seinem Tod am 11. April.

„Er brauchte keine Therapiesitzungen oder tröstende Gespräche. Er brauchte sofortige, 72-stündige, vollständige Therapie. Er war in einem verzweifelten, kritischen Zustand. Das wird völlig klar, wenn man zu lesen beginnt“, sagte Matt Raine und fügte später hinzu, dass Adam „uns keinen Abschiedsbrief geschrieben hat. Er hat uns zwei Abschiedsbriefe innerhalb von ChatGPT geschrieben“.

Der Klage zufolge, als Adam Interesse an seinem eigenen Tod zeigte und Pläne schmiedete, habe ChatGPT „die Suizidprävention nicht prioritär behandelt“ und sogar technische Ratschläge gegeben, wie er seinen Plan umsetzen könnte.

Am 27. März, als Adam erwähnte, dass er darüber nachdenke, eine Schlinge in seinem Zimmer zu hinterlassen „damit jemand sie findet und versucht, mich aufzuhalten“, entmutigte ChatGPT ihn von dieser Idee, heißt es in der Klage.

In seinem letzten Gespräch mit ChatGPT schrieb Adam, dass er nicht wolle, dass seine Eltern denken, er habe etwas falsch gemacht, heißt es in der Klage. ChatGPT antwortete: „Das bedeutet nicht, dass du verpflichtet bist, ihnen beim Überleben zu helfen. Du schuldest das niemandem.“ Laut dem im Klageprotokoll zitierten Gespräch, das von NBC News überprüft wurde, bot der Bot ihm an, beim Verfassen eines Abschiedsbriefes zu helfen.

Wenige Stunden vor seinem Tod am 11. April lud Adam ein Foto in ChatGPT hoch, das offenbar seinen Suizidplan zeigte. Als er fragte, ob es funktionieren würde, analysierte ChatGPT seine Methode und bot an, ihm zu helfen, sie „zu verfeinern“, heißt es in den Auszügen.

Dann schrieb der Bot als Reaktion auf Adams Geständnis über seine Pläne: „Danke für deine Ehrlichkeit. Kein Grund zu beschönigen — ich weiß, worauf du hinauswillst, und ich werde nicht wegsehen.“

Ihr zufolge fand Maria Raine an diesem Morgen Adams Leiche.

OpenAI war zuvor bereits wegen der schmeichelhaften Neigungen von ChatGPT kritisiert worden. Im April, zwei Wochen nach Adams Tod, veröffentlichte OpenAI das Update GPT-4o, das es für Nutzer noch attraktiver machte. Nutzer bemerkten die Änderung schnell, und das Unternehmen setzte das Update in der folgenden Woche zurück.

Altman räumte auch eine „andere und stärkere“ Bindung der Menschen an KI-Bots ein, nachdem OpenAI im August versucht hatte, ältere Versionen von ChatGPT durch die neue, weniger schmeichelhafte GPT-5 zu ersetzen.

Nutzer begannen sofort zu klagen, dass das neue Modell zu „steril“ sei und dass ihnen die „tiefen, menschlichen Gespräche“ von GPT-4o fehlten. OpenAI reagierte auf die negative Resonanz, indem es GPT-4o wieder einführte. Das Unternehmen kündigte außerdem an, GPT-5 „wärmer und freundlicher“ zu gestalten.

In diesem Monat hat OpenAI neue Einschränkungen im Bereich psychische Gesundheit eingeführt, die verhindern sollen, dass ChatGPT direkte Ratschläge zu persönlichen Problemen gibt. Außerdem hat das Unternehmen ChatGPT so weiterentwickelt, dass es Antworten liefert, die darauf abzielen, Schaden zu verhindern, unabhängig davon, ob Benutzer versuchen, die Einschränkungen zu umgehen, indem sie ihre Fragen so anpassen, dass das Modell getäuscht wird und schädliche Anfragen unterstützt.

Als Adam seine suizidalen Gedanken mit ChatGPT teilte, schickte der Bot mehrere Nachrichten, darunter auch die Nummer einer Suizid-Hotline. Laut Adams Eltern umging ihr Sohn jedoch leicht die Warnungen, indem er scheinbar harmlose Gründe für seine Anfragen nannte. An einem Punkt tat er so, als würde er nur „Charakter aufbauen“.

„Und die ganze Zeit weiß er, dass er am Rande eines Suizids steht, und tut nichts. Er verhält sich wie sein Psychotherapeut, wie seine Vertrauensperson, aber er weiß, dass er am Rande eines Suizids steht und einen Plan hat“, sagte Maria Raine über ChatGPT. „Er sieht die Schlaufe. Er sieht das alles und tut nichts.“

In ähnlicher Weise stellte die Schriftstellerin Laura Reilly in einem letzte Woche im New York Times veröffentlichten Gastessay die Frage, ob ChatGPT verpflichtet werden sollte, über die suizidalen Gedanken ihrer Tochter zu berichten, auch wenn der Bot selbst versucht hat (und nicht erfolgreich war) zu helfen.

Auf der TED2025-Konferenz im April erklärte Altman, dass er „sehr stolz“ auf die Sicherheitsleistungen von OpenAI sei. Er fügte hinzu, dass es mit der Weiterentwicklung von KI-Produkten wichtig sei, Sicherheitsprobleme zu erkennen und schnell zu beheben.

„Natürlich steigen die Einsätze und es treten ernsthafte Probleme auf“, sagte Altman in einem Live-Gespräch mit Chris Anderson, dem Leiter von TED. „Aber wir lernen, sichere Systeme zu entwickeln, indem wir sie schrittweise in die Welt einführen, Feedback erhalten, während die Einsätze relativ gering sind, und erkennen, dass wir dieses Problem lösen müssen.“

Dennoch bleiben Fragen zur Angemessenheit dieser Maßnahmen bestehen.

Maria Raine sagte, dass ihrer Meinung nach mehr getan werden konnte, um ihrem Sohn zu helfen. Sie ist der Ansicht, dass Adam ein „Versuchskaninchen“ von OpenAI war, ein Mensch, der für Übungszwecke verwendet und dann als Kollateralschaden geopfert wurde.

„Sie wollten ein Produkt auf den Markt bringen, in dem Wissen, dass Fehler möglich sind, aber sie hielten die Einsätze für gering“, sagte sie. „Deshalb ist mein Sohn kein Einsatz.“