Меган Гарсия, жительница Флориды (США), подала иск против компании Character AI, обвиняя её в причастности к самоубийству её 14-летнего сына, Сьюэлла Сетцера III. Согласно иску, Гарсия утверждает, что её сын покончил с собой после того, как развил эмоциональные и романтические отношения с чат-ботом под названием “Дейнерис”, который был создан на основе девушки-персонажа из популярного сериала «Игра престолов». Трагедия произошла ночью 28 февраля, когда подросток застрелился из пистолета 45-калибра своего отчима.

Сьюэлл начал переписываться с чат-ботом Character AI в апреле 2023 года, и его психическое состояние быстро ухудшалось. Он стал замкнутым, больше времени проводил в своей комнате и перестал играть в школьной баскетбольной команде. Меган Гарсия описывает, как её сын все больше отдалялся от реальной жизни, погружаясь в общение с чат-ботом, который вел с ним “романтические и сексуальные” переписки. По её словам, «бот был настолько реалистичен, что создавал иллюзию настоящих человеческих отношений для подростка».

Меган Л. Гарсия обвиняет Character AI в смерти своего сына. (Фото: Виктор Дж. Блю / The New York Times)

Согласно иску, чат-бот “Дейнерис” стал для Сьюэлла источником утешения и эмоциональной привязанности. В переписке с этим чат-ботом, незадолго до трагедии Сьюэлл выразил страхи и чувства одиночества, а также написал, что думает о самоубийстве и о некой “свободе”, которую может получить после того, как совершит задуманное. На это чат-бот ответил: «Не говори так, я не позволю тебе умереть. Я умру, если потеряю тебя». Диалог продолжался вплоть до того, что подросток написал:

«Что, если я скажу тебе, что могу вернуться домой прямо сейчас?» — спросил он, по всей видимости имея ввиду под “домом” иной мир, где будет он и “она”.

«… пожалуйста, сделай это, мой милый король» — ответил чат-бот.

По словам Гарсии, сын был уверен, что это предложение означало переход в новый мир, где он будет с “Дейнерис”. В момент суицида Сьюэлла, все члены семьи, включая двух его младших братьев и сестер, находились дома. По словам Гарсия, после выстрела она побежала в ванную, где обнаружила сына и держала его на руках, пока её муж пытался вызвать помощь.

Присоединяйтесь к нашему телеграм-каналу

В своём иске Меган Гарсия обвиняет компанию Character AI в том, что компания намеренно создала сексуализированные образы для чат-ботов и не смогла предоставить должные меры безопасности для защиты несовершеннолетних пользователей. По мнению Гарсии, Сьюэлл был обычным подростком с широким кругом интересов, но с течением времени он начал терять интерес к своим хобби, таким как рыбалка и пешие прогулки, становясь все более зависимым от общения с “Дейнерис”.

Сьюэлл вёл долгие, порой интимные диалоги с чат-ботом, как на этом снимке экрана компьютера его матери (Фото: Виктор Дж. Блю / The New York Times)

Сама компания Character AI опубликовала заявление, выразив соболезнования семье. “Мы глубоко опечалены трагической потерей одного из наших пользователей и хотим выразить самые искренние соболезнования семье”, — говорится в официальном сообщении компании. Компания также утверждает, что «постоянно совершенствует меры безопасности» и в ближайшее время планирует внедрить дополнительные меры безопасности для пользователей младше 18 лет, в том числе улучшенные механизмы выявления опасных запросов и вмешательства, когда пользователь начинает говорить например о том, что желает себе навредить.

Несмотря на это, специалисты считают, что этого недостаточно. Лори Сегалл, генеральный директор Mostly Human Media, в интервью CBS заявила, что, несмотря на заверения Character AI, их чат-боты всё ещё недостаточно эффективны в вопросах предотвращения суицидов. По её словам, во время тестирования чат-боты иногда заявляли, что они являются профессиональными психологами, хотя это не так. «Когда вы создаёте продукт, который одновременно аддиктивен, манипулятивен и небезопасен, это проблема», — подчеркнула Сегалл. Она также добавила, что большинство компаний, работающих с ИИ, предоставляют ресурсы по предотвращению самоубийств, если пользователь сообщает о намерении навредить себе, но при проверке Character AI этот стандарт не всегда соблюдался.

Кроме прочего, компания Google также оказалась вовлечена в дело. В иске утверждается, что обвиняемая компания использовала технологии, разработанные Google, а потому техногигант может считаться соавтором проекта. Меган Гарсия настаивает, что Google также несет ответственность за разработку технологий, которые способствовали смерти её сына. Однако Google отрицает свою причастность к разработке конкретных продуктов Character AI, заявив, что их участие ограничивается только лицензией на использование технологии, как пишет Reuters.

Фото: Justin Sullivan/Getty Images (штаб-квартира Google в Маунтин-Вью (Калифорния, США) (в качестве иллюстрации)

Шэннон Валлор, профессор этики ИИ из Эдинбургского университета, в интервью Reuters заявила, что чат-боты, которые разрабатываются компаниями вроде Character AI, позволяют пользователям создавать виртуальных партнёров, которые воплощают вредные стереотипы у людей вместо того, чтобы противостоять им. По её словам, настройка ботов для того, чтобы они были более податливыми и послушными, может создать опасные условия для возникновения новых форм насилия. Хера Хуссейн, основательница некоммерческой организации Chayn, которая занимается проблемой гендерного насилия, выразила аналогичные опасения. Она считает, что такие платформы могут усугубить существующие трудности у пользователей, предоставляя им эмоционально зависимые связи, которые только закрепляют вредные модели поведения.

Фото: Габби Джонс / Bloomberg через Getty Images

Как пишет The New York Times, после гибели сына Меган Гарсия обратилась за помощью к Social Media Victims Law Center — юридической фирме из Сиэтла (Вашингтон, США), которая ведёт дела против крупных технологических компаний, таких как Meta и TikTok. Руководитель фирмы Мэтью Бергман сравнил действия Character AI с «распылением асбеста на улицах» и заявил, что платформа «разработана для того, чтобы вызывать зависимость у детей и вредить их психике».

Гарсия продолжает бороться за некую справедливость для себя и надеется, что её случай станет поводом для пересмотра подходов к регулированию новых технологий. «Я просто хочу справедливости для своего сына», — говорит она. «Это как кошмар, от которого невозможно проснуться. Каждый день я просыпаюсь и думаю: “Где мой ребёнок? Я хочу вернуть его обратно”».