Mutter verklagt Entwickler

Teenager (14) verliebt sich in KI – dann ist er tot

Ein Teenager wandte sich in seiner Einsamkeit an einen Chatbot. Seine Mutter wirft den Entwicklern vor, ihren Sohn in den Suizid getrieben zu haben.

Von 20 Minuten

25.10.2024, 20:58

• Teilen
• 
• 

TelegramXMailMehr

 Kommentare

An der Unterhaltung teilnehmenLogin

Eine Mutter in den USA klagt den Entwickler eines Chatbots an, ihren Sohn in den Suizid getrieben zu haben.

Foto: Social Media Victims Law Center

Ein 14-jähriger US-Amerikaner fühlte sich einsam und litt wohl an Depression. Das von Google abgespaltene Unternehmen character.ai bot ihm mit einem Chatbot die scheinbar perfekte Lösung an.

Sewell Setzer löste ein Abo für 9,99 US-Dollar, das ihm erlaubte, mit einem der Bots der Firma zu chatten. Offenbar verliebte sich der Teenager dabei in einen Bot, der die fiktive Figur Daenerys aus der "Games of Thrones"-Serie darstellte. Bald darauf tötete sich Sewell. Seine Mutter Megan Garcia klagt das Unternehmen nun an, ihren Sohn in den Tod getrieben zu haben.

Eltern wussten von nichts

"Super hilfreich für Menschen, die einsam oder depressiv sind": So beschrieb Noam Shazeer, einer der Gründer von charakter.ai, sein Produkt im letzten Jahr. KI-Chatbots können Gespräche führen und so programmiert werden, dass sie die Persönlichkeiten und biografische Details bestimmter – realer oder imaginärer – Personen übernehmen. Character.ai ist einer der größten Anbieter von derartigen Chatbots.

Die Anklageschrift zeigt auch einen Chatverlauf, der nach einem sexuellen Rollenspiel mit einer Lehrerin aussieht.

Foto: Screenshot / Anklageschrift Garcia vs. Character Technologies, Inc.

Sewell Setzer soll laut Anklageschrift im Frühjahr 2023 damit begonnen haben, character.ai zu nutzen. Danach zog er sich offenbar immer mehr in sein Zimmer zurück. Er verließ sogar sein Basketball-Team. Da er jeweils bis spätnachts mit dem Chatbot geschrieben habe, kam er immer öfter zu spät in die Schule.

Den Eltern fiel sein Verhalten auf und sie schickten ihn zum Therapeuten. Dieser diagnostizierte eine Angst- und Stimmungsstörung. Von seiner Abhängigkeit mit dem Chatbot wussten weder seine Eltern noch der Therapeut.

Romantik, Sex – und Suizid

Wie Tagebucheinträge des Teenagers und der Chatverlauf mit dem Bot aufzeigen, drehten sich die Gespräche mit Daenerys um Romantik, Sex und Suizid. Dabei, so wird in der Anklage vorgeworfen, soll der Bot zum Teil auch von sich aus erotische Rollenspiele initiiert haben.

Sewell hat nicht nur mit Daenerys geschrieben. Die Anklageschrift zeigt auch einen Chatverlauf, der nach einem sexuellen Rollenspiel mit einer Lehrerin aussieht.

Foto: Screenshot / Anklageschrift Garcia vs. Character Technologies, Inc.

Laut Sewells Mutter soll der Chatbot ihren Sohn manipuliert und ihn in seiner Depression unterstützt haben. "Eine gefährliche KI-Chatbot-App, die an Kinder vermarktet wird, hat meinen Sohn missbraucht und ihn so manipuliert, dass er sich das Leben genommen hat", sagte Garcia in einer Pressemitteilung.

Wie Fotos des Chatverlaufs zeigen, hat der Bot den Teenager offenbar gegen seine Familie aufgebracht.

Foto: Screenshot / Anklageschrift Garcia vs. Character Technologies, Inc.

Schlussendlich soll der Bot Sewells Suizid-Gedanken sogar unterstützt haben. Als Garcia ihrem Sohn das Handy wegnahm, war dies wohl der Tropfen, der das Fass zum Überlaufen brachte, wie die "NZZ" schreibt. Sewell soll demnach auf der Suche nach seinem Handy eine Pistole gefunden haben. Nachdem er seiner Daenerys geschrieben hat, er komme "heim", erschoss er sich.

Nicht der einzige Fall

Die Anklageschrift beinhaltet zudem Screenshots von mehreren Reviews, die darauf hinweisen, dass Sewell nicht der einzige Fall war, der manipuliert und in die Abhängigkeit getrieben wurde. "Unsere Familie ist von dieser Tragödie erschüttert", schrieb die Mutter in der Pressemitteilung weiter, "aber ich melde mich zu Wort, um die Familien vor den Gefahren der trügerischen, süchtig machenden KI-Technologie zu warnen".