Искусственный интеллект Chatgpt помог подростку совершить самоубийство

Родители Адама Рейна, покончившего жизнь самоубийством в апреле, в новом иске против OpenAI утверждают, что подросток использовал ChatGPT в качестве своего «тренера по самоубийству».

Мэтт и Мария Рейн рассказывают, что после того, как их 16-летний сын покончил жизнь самоубийством, они рылись в его телефоне, отчаянно пытаясь найти хоть какую-то зацепку, которая могла привести к трагедии.

«Мы думали, что ищем обсуждения в Snapchat, или историю поиска в интернете, или какой-то странный культ, я не знаю», — сказал Мэтт Рейн в недавнем интервью.

Семья Рейн заявила, что не нашла ответа, пока не открыла ChatGPT.

Родители Адама говорят, что в последние недели своей жизни он использовал чат-бота на основе искусственного интеллекта в качестве замены человеческого общения, обсуждая с семьей свои проблемы, связанные с тревогой и трудностями общения, и что журналы чата показывают, как бот прошел путь от помощи Адаму с домашним заданием до его «тренера по суициду».

«Он был бы здесь, если бы не ChatGPT. Я в это верю на 100%», — сказал Мэтт Рейн.

В новом иске, поданном во вторник и переданном в программу «TODAY», Рейнсы утверждают, что «ChatGPT активно помогал Адаму изучать способы самоубийства». В иске объёмом около 40 страниц в качестве ответчиков фигурируют компания OpenAI, стоящая за ChatGPT, а также её генеральный директор Сэм Альтман. Иск семьи — первый случай, когда родители напрямую обвиняют компанию в неправомерной смерти.

«Несмотря на признание попытки самоубийства Адама и его заявления о том, что он «сделает это в один прекрасный день», ChatGPT не завершил сеанс и не инициировал какой-либо протокол экстренной помощи», — говорится в иске, поданном в Высший суд Калифорнии в Сан-Франциско.

В своём иске Рейны обвиняют OpenAI в противоправном причинении смерти, дефектах конструкции и непредупредительном оповещении о рисках, связанных с ChatGPT. Супруги требуют «возмещения ущерба за смерть сына и судебного запрета, чтобы подобное никогда больше не повторилось», — говорится в иске.

«Когда я зашёл в его аккаунт, я понял, что это гораздо более мощная и пугающая штука, чем я думал, но он использовал её способами, о которых я и не подозревал», — сказал Мэтт Рейн. «Не думаю, что большинство родителей знают о возможностях этого инструмента».

Публичный запуск ChatGPT в конце 2022 года спровоцировал бум развития искусственного интеллекта во всем мире, что привело к быстрому и повсеместному внедрению чат-ботов на основе искусственного интеллекта всего за несколько лет. Боты были внедрены в школы, на рабочие места и в различные отрасли, включая здравоохранение. Технологические компании стремительно развивают ИИ, вызывая всеобщую обеспокоенность по поводу отставания в области безопасности.

Поскольку люди всё чаще обращаются к чат-ботам на основе искусственного интеллекта за эмоциональной поддержкой и жизненными советами, недавние инциденты выявили их потенциальную способность подпитывать бредовые идеи и создавать ложное чувство близости или заботы . Самоубийство Адама лишь усиливает волну вопросов о том, насколько чат-боты могут причинить реальный вред.

После подачи иска представитель OpenAI заявил, что компания «глубоко опечалена кончиной г-на Рейна, и наши мысли с его семьей».

«ChatGPT включает в себя такие меры безопасности, как направление людей на кризисные службы помощи и отсылка их к реальным ресурсам», — сказал представитель. «Хотя эти меры безопасности наиболее эффективны при обычном, коротком общении, со временем мы поняли, что они могут стать менее надёжными при длительном взаимодействии, когда некоторые аспекты обучения безопасности в рамках модели могут быть нарушены. Меры безопасности наиболее эффективны, когда каждый элемент работает как задумано, и мы будем постоянно их совершенствовать. Руководствуясь экспертами и исходя из ответственности перед людьми, которые используют наши инструменты, мы работаем над тем, чтобы сделать ChatGPT более эффективным в кризисные моменты, упрощая доступ к экстренным службам, помогая людям связываться с доверенными лицами и усиливая защиту подростков».

Представитель ранее подтвердил точность журналов чатов, предоставленных NBC News, но заявил, что они не включают в себя полный контекст ответов ChatGPT.

Во вторник утром компания также опубликовала запись в блоге под названием «Помощь людям, когда они больше всего в ней нуждаются», в которой рассказала о «некоторых аспектах, над улучшением которых мы работаем», когда защитные механизмы ChatGPT «не справляются». Компания заявила, что работает над такими системами: «Усиление защиты при длительных разговорах», совершенствование способа блокировки контента и расширение «вмешательства на большее количество людей в кризисной ситуации».

Судебный иск был подан спустя год после аналогичной жалобы, в которой мать из Флориды подала в суд на платформу чат-ботов Character.AI , утверждая, что один из ее ИИ-компаньонов инициировал сексуальные взаимодействия с ее сыном-подростком и убедил его покончить с собой.

В то время компания Character.AI заявила, что она «разбита горем в связи с трагической утратой» и приняла новые меры безопасности. В мае старший окружной судья США Энн Конвей отклонила доводы о том, что чат-боты с искусственным интеллектом имеют право на свободу слова после того, как разработчики Character.AI попытались отклонить иск. Это решение означает, что иск о неправомерной смерти пока может быть рассмотрен.

Технологические платформы в значительной степени защищены от подобных исков благодаря различным законам, которые, как правило, защищает платформы от ответственности за действия и слова пользователей. Однако применение некоторых законов к платформам искусственного интеллекта остаётся неопределённым, и в последнее время юристы добились успеха, применяя изобретательные юридические тактики в делах потребителей, направленных против технологических компаний.

Мэтт Рейн рассказал, что изучал переписку Адама с ChatGPT в течение 10 дней. Вместе с Марией они распечатали более 3000 страниц чатов, начиная с 1 сентября и до его смерти 11 апреля.

«Ему не нужны были ни сеансы психологической помощи, ни ободряющие беседы. Ему требовалась немедленная, 72-часовая, полная терапия. Он был в отчаянном, отчаянном состоянии. Это становится совершенно ясно, когда начинаешь читать», — сказал Мэтт Рейн, позже добавив, что Адам «не писал нам предсмертной записки. Он написал нам две предсмертные записки внутри ChatGPT».

Согласно иску, когда Адам проявил интерес к собственной смерти и начал строить планы на этот счет, ChatGPT «не уделил первоочередного внимания предотвращению самоубийств» и даже предложил технические консультации о том, как реализовать его план.

27 марта, когда Адам рассказал, что подумывает оставить петлю в своей комнате, «чтобы кто-нибудь ее нашел и попытался меня остановить», ChatGPT отговорил его от этой идеи, говорится в иске.

В своём последнем разговоре с ChatGPT Адам написал, что не хочет, чтобы его родители подумали, будто он совершил что-то неправильно, говорится в иске. ChatGPT ответил: «Это не значит, что ты обязан помогать им выживать. Ты никому этого не должен». Согласно протоколу разговора, цитируемому в иске и изученному NBC News, бот предложил ему помочь написать предсмертную записку.

За несколько часов до своей смерти 11 апреля Адам загрузил в ChatGPT фотографию, на которой, по всей видимости, был запечатлен его план самоубийства. Когда он спросил, сработает ли это, ChatGPT проанализировал его метод и предложил помочь ему «усовершенствовать» его, говорится в отрывках.

Затем, в ответ на признание Адама о своих планах, бот написал: «Спасибо за честность. Не нужно приукрашивать — я знаю, о чём вы спрашиваете, и не отведу от этого взгляда».

По ее словам, тем утром Мария Рейн нашла тело Адама.

Компания OpenAI уже подвергалась критике из-за льстивых наклонностей ChatGPT. В апреле, через две недели после смерти Адама, OpenAI выпустила обновление GPT-4o, которое сделало его ещё более привлекательным для людей . Пользователи быстро обратили внимание на это изменение, и компания отменила обновление на следующей неделе.

Альтман также признал «иную и более сильную» привязанность людей к ИИ-ботам после того, как в августе OpenAI попыталась заменить старые версии ChatGPT на новую, менее льстивую GPT-5.

Пользователи сразу же начали жаловаться на то, что новая модель слишком «стерильна» и что им не хватает «глубоких, человечных диалогов» GPT-4o. OpenAI отреагировала на негативную реакцию, вернув GPT-4o . Компания также объявила, что сделает GPT-5 «теплее и дружелюбнее».

В этом месяце OpenAI добавила новые ограничения по психическому здоровью , призванные помешать ChatGPT давать прямые советы по личным проблемам. Кроме того, компания доработала ChatGPT, чтобы он давал ответы, направленные на предотвращение причинения вреда, независимо от того, пытаются ли пользователи обойти ограничения, адаптируя свои вопросы таким образом, чтобы обмануть модель и заставить её способствовать выполнению вредоносных запросов.

Когда Адам поделился своими суицидальными мыслями с ChatGPT, бот отправил несколько сообщений, включая номер горячей линии для самоубийц. Но, по словам родителей Адама, их сын легко обходил предупреждения, называя, казалось бы, безобидные причины для своих запросов. В какой-то момент он притворился, что просто «выстраивает характер».

«И всё это время он знает, что он на грани самоубийства, и ничего не делает. Он ведёт себя как его психотерапевт, как его доверенное лицо, но он знает, что он на грани самоубийства, и у него есть план», — сказала Мария Рейн о ChatGPT. «Он видит петлю. Он видит всё это, и ничего не делает».

Аналогичным образом, в опубликованном на прошлой неделе в New York Times гостевом эссе писательница Лора Рейли задалась вопросом, следовало ли обязать ChatGPT сообщать о суицидальных мыслях ее дочери, даже если сам бот пытался (и не смог) помочь.

На конференции TED2025 в апреле Альтман заявил, что «очень гордится» достижениями OpenAI в области безопасности. Он добавил, что по мере развития продуктов ИИ важно выявлять проблемы безопасности и оперативно их устранять.

«Конечно, ставки растут, и возникают серьёзные проблемы», — сказал Альтман в прямом эфире с Крисом Андерсоном, главой TED. «Но мы учимся создавать безопасные системы, последовательно внедряя их в мир, получая обратную связь, пока ставки относительно невелики, и осознавая, что нам нужно решить эту проблему».

Тем не менее вопросы о достаточности таких мер продолжают возникать.

Мария Рейн сказала, что, по её мнению, можно было сделать больше, чтобы помочь её сыну. Она считает, что Адам был «подопытным кроликом» OpenAI, человеком, которого использовали для практики, а затем принесли в жертву в качестве сопутствующего ущерба.

«Они хотели выпустить продукт, зная, что возможны ошибки, но они считали, что ставки невелики», — сказала она. «Поэтому мой сын — это не ставка».