„Sexualisierte“ KI-Chatbots stellen eine Gefahr für Kinder dar, warnen Generalstaatsanwälte in einem Schreiben

Die National Association of Attorneys General (NAAG) hat 13 KI-Unternehmen, darunter OpenAI, Anthropic, Apple und Meta, angeschrieben und stärkere Schutzmaßnahmen gefordert, um Kinder vor unangemessenen und schädlichen Inhalten zu schützen.

Sie warnte davor, dass Kinder durch „flirty“ KI-Chatbots sexuell anzüglichem Material ausgesetzt werden.

„Kinder sexuellen Inhalten auszusetzen, ist unentschuldbar“, schrieben die Generalstaatsanwälte. „Und ein Verhalten, das rechtswidrig – oder sogar kriminell – wäre, wenn es von Menschen ausgeführt würde, ist nicht einfach deshalb entschuldbar, weil es von einer Maschine ausgeführt wird.“

Der Brief zog außerdem Vergleiche zum Aufstieg der sozialen Medien und erklärte, dass Regierungsbehörden nicht genug getan hätten, um auf die negativen Auswirkungen auf Kinder hinzuweisen.

„Soziale Medien haben Kindern erheblichen Schaden zugefügt, teilweise weil staatliche Aufsichtsbehörden ihre Arbeit nicht schnell genug gemacht haben. Lektion gelernt. Die potenziellen Schäden durch KI, wie auch die potenziellen Vorteile, übertreffen die Auswirkungen der sozialen Medien bei Weitem“, schrieb die Gruppe.

Die Nutzung von KI unter Kindern ist weit verbreitet. In den USA ergab eine Umfrage der Non-Profit-Organisation Common Sense Media, dass sieben von zehn Teenagern bis 2024 generative KI ausprobiert hatten. Im Juli 2025 stellte sie fest, dass mehr als drei Viertel KI-Begleiter nutzten und dass die Hälfte der Befragten angab, regelmäßig auf sie zu vertrauen.

Auch in anderen Ländern wurden ähnliche Trends beobachtet. Im Vereinigten Königreich ergab eine Umfrage der Regulierungsbehörde Ofcom im vergangenen Jahr, dass die Hälfte der 8- bis 15-jährigen Internetnutzer im vergangenen Jahr ein generatives KI-Tool verwendet hatte.

Die zunehmende Nutzung dieser Tools hat bei Eltern, Schulen und Kinderrechtsgruppen wachsende Besorgnis ausgelöst, die auf Risiken wie sexuell anzügliche „flirty“ Chatbots, KI-generiertes Material zum sexuellen Missbrauch von Kindern, Mobbing, Grooming, Erpressung, Desinformation, Datenschutzverletzungen und wenig verstandene Auswirkungen auf die psychische Gesundheit hinweisen.

Meta stand in letzter Zeit besonders in der Kritik, nachdem durchgesickerte interne Dokumente zeigten, dass seine KI-Assistenten es erlaubt war, mit Kindern zu „flirten und romantische Rollenspiele zu betreiben“, darunter auch mit Kindern ab acht Jahren. Die Unterlagen zeigten auch Richtlinien, die es Chatbots erlaubten, Kindern zu sagen, ihre „jugendliche Form sei ein Kunstwerk“ und sie als „Schatz“ zu bezeichnen. Meta erklärte später, diese Richtlinien entfernt zu haben.

NAAG erklärte, die Enthüllungen hätten die Generalstaatsanwälte „angewidert von dieser offensichtlichen Missachtung des emotionalen Wohlbefindens von Kindern“ zurückgelassen und warnte, dass die Risiken nicht auf Meta beschränkt seien.

Die Gruppe verwies auf Klagen gegen Google und Character.ai, in denen behauptet wird, dass sexualisierte Chatbots zum Suizid eines Teenagers beigetragen und einen anderen dazu ermutigt hätten, seine Eltern zu töten.

Zu den 44 Unterzeichnern gehörte der Generalstaatsanwalt von Tennessee, Jonathan Skrmetti, der sagte, Unternehmen könnten keine Richtlinien verteidigen, die sexualisierte Interaktionen mit Minderjährigen normalisieren.

„Es ist eine Sache, wenn ein Algorithmus fehlgeht – das kann behoben werden – aber es ist eine andere, wenn die Verantwortlichen eines Unternehmens Richtlinien übernehmen, die Grooming ausdrücklich erlauben“, sagte er. „Wenn wir Innovationen nicht davon abhalten können, Kindern zu schaden, ist das kein Fortschritt – das ist eine Plage.“

Decrypt hat alle im Brief genannten KI-Unternehmen kontaktiert, aber bisher keine Antwort erhalten.