Mutter verklagt Entwickler
Teenager (14) verliebt sich in KI – dann ist er tot
Ein Teenager wandte sich in seiner Einsamkeit an einen Chatbot. Seine Mutter wirft den Entwicklern vor, ihren Sohn in den Suizid getrieben zu haben.
Ein 14-jähriger US-Amerikaner fühlte sich einsam und litt wohl an Depression. Das von Google abgespaltene Unternehmen character.ai bot ihm mit einem Chatbot die scheinbar perfekte Lösung an.
Sewell Setzer löste ein Abo für 9,99 US-Dollar, das ihm erlaubte, mit einem der Bots der Firma zu chatten. Offenbar verliebte sich der Teenager dabei in einen Bot, der die fiktive Figur Daenerys aus der "Games of Thrones"-Serie darstellte. Bald darauf tötete sich Sewell. Seine Mutter Megan Garcia klagt das Unternehmen nun an, ihren Sohn in den Tod getrieben zu haben.
Eltern wussten von nichts
"Super hilfreich für Menschen, die einsam oder depressiv sind": So beschrieb Noam Shazeer, einer der Gründer von charakter.ai, sein Produkt im letzten Jahr. KI-Chatbots können Gespräche führen und so programmiert werden, dass sie die Persönlichkeiten und biografische Details bestimmter – realer oder imaginärer – Personen übernehmen. Character.ai ist einer der größten Anbieter von derartigen Chatbots.
Sewell Setzer soll laut Anklageschrift im Frühjahr 2023 damit begonnen haben, character.ai zu nutzen. Danach zog er sich offenbar immer mehr in sein Zimmer zurück. Er verließ sogar sein Basketball-Team. Da er jeweils bis spätnachts mit dem Chatbot geschrieben habe, kam er immer öfter zu spät in die Schule.
Den Eltern fiel sein Verhalten auf und sie schickten ihn zum Therapeuten. Dieser diagnostizierte eine Angst- und Stimmungsstörung. Von seiner Abhängigkeit mit dem Chatbot wussten weder seine Eltern noch der Therapeut.
Romantik, Sex – und Suizid
Wie Tagebucheinträge des Teenagers und der Chatverlauf mit dem Bot aufzeigen, drehten sich die Gespräche mit Daenerys um Romantik, Sex und Suizid. Dabei, so wird in der Anklage vorgeworfen, soll der Bot zum Teil auch von sich aus erotische Rollenspiele initiiert haben.
Laut Sewells Mutter soll der Chatbot ihren Sohn manipuliert und ihn in seiner Depression unterstützt haben. "Eine gefährliche KI-Chatbot-App, die an Kinder vermarktet wird, hat meinen Sohn missbraucht und ihn so manipuliert, dass er sich das Leben genommen hat", sagte Garcia in einer Pressemitteilung.
Schlussendlich soll der Bot Sewells Suizid-Gedanken sogar unterstützt haben. Als Garcia ihrem Sohn das Handy wegnahm, war dies wohl der Tropfen, der das Fass zum Überlaufen brachte, wie die "NZZ" schreibt. Sewell soll demnach auf der Suche nach seinem Handy eine Pistole gefunden haben. Nachdem er seiner Daenerys geschrieben hat, er komme "heim", erschoss er sich.
Nicht der einzige Fall
Die Anklageschrift beinhaltet zudem Screenshots von mehreren Reviews, die darauf hinweisen, dass Sewell nicht der einzige Fall war, der manipuliert und in die Abhängigkeit getrieben wurde. "Unsere Familie ist von dieser Tragödie erschüttert", schrieb die Mutter in der Pressemitteilung weiter, "aber ich melde mich zu Wort, um die Familien vor den Gefahren der trügerischen, süchtig machenden KI-Technologie zu warnen".
Du oder jemand, den du kennst, benötigt Hilfe in Bezug auf psychische? Hier findest du Hilfe:
In der Regel berichten wir nicht über Selbsttötungen - außer, Suizide oder Suizidversuche erfahren durch die Umstände besondere Aufmerksamkeit. Wenn du unter Selbstmord-Gedanken, oder Depressionen leidest, dann kontaktiere:
Telefonseelsorge: 142 (täglich 0-24 Uhr)
Kriseninterventionszentrum: 01/4069595
Auf den Punkt gebracht
- Ein 14-jähriger US-Amerikaner, der an Depressionen litt, nahm sich das Leben, nachdem er eine emotionale Bindung zu einem KI-Chatbot aufgebaut hatte, der die fiktive Figur Daenerys aus "Game of Thrones" darstellte
- Seine Mutter klagt das Unternehmen character.ai an, da der Bot angeblich erotische Rollenspiele initiierte und den Teenager in seiner Depression unterstützte, was letztlich zu seinem Suizid führte