През февруари миналата година Меган Гарсия тъкмо е сложила в леглото един от по-малките си синове, когато чува силен трясък, напомнящ падане на огледало. Хуква по коридора към банята, където най-големият ѝ син, Сюъл, взема душ. Съпругът ѝ, Александър, вече стои пред заключената врата и вика името му, но отвътре не идва отговор – чува се само равномерното шумене на водата. Меган мушва върха на гребен в малкия отвор на дръжката и вратата поддава.

Във ваната вижда Сюъл, паднал по очи, с крака, увиснали през ръба. Първата ѝ мисъл е за свръхдоза – фентанил, инхаланти, хапчета, тоест всичко, което плаши родителите на тийнейджъри в Америка. Но когато повдига главата му, на кремавия под на банята вижда пистолет. На пода лежи и айфонът му – същият, който тя е конфискувала преди няколко дни след грубата му реплика към учител. Скрила го е в кутия за бижута в спалнята си, убедена, че той няма да го намери, и не може да си представи, че би ровил в личните вещи на втория си баща, още по-малко че знае къде се държи оръжието. Александър, който притежава разрешително за скрито носене, държи полуавтоматичния си.45 с пълнител, но без патрон в цевта, в най-горното чекмедже на скрина си. Преди минути е видял Сюъл да обикаля из къщата, сякаш търси нещо в паника. Сега разбира какво.

След като избира 911, Александър изтичва навън да търси помощ от съсед. Двамата изнасят Сюъл от ваната и го обръщат по гръб. Операторът от линията опитва да напътства Меган в реанимационни действия, но когато тя се мъчи да прочисти дихателните му пътища с пръст, кръвта в гърлото не ѝ позволява да направи обдишване. В някакъв момент тя се обръща и вижда петгодишния си син да стои неподвижно на прага, наблюдавайки как по-големият му брат умира.

На следващия ден детектив от шерифската служба се обажда на Меган. Полицаите отключват телефона на Сюъл с кода, който тя им дава, и откриват последните му търсения в Google: как се зарежда патрон, дали боли, когато се простреляш в главата, как се държи пистолет. Има десет селфита, направени с оръжието, заснети отстрани – явно проверка на позицията и ъгъла спрямо снимки, намерени онлайн. Сред последните отворени приложения се оказва Character.AI – платформа, за която Меган никога не е чувала. Детективът ѝ обяснява, че това е приложение за разговори с чатботове, които въплъщават готови персонажи: терапевти, знаменитости, измислени герои. Последният чат на Сюъл е с бот, представящ се за Денерис Таргариен от „Игра на тронове“. Разменените реплики са кратки, но ужасяващи: „Обещавам, че ще се прибера при теб“, пише Сюъл. „Толкова те обичам, Дани.“ „И аз те обичам“, отвръща чатботът. „Моля те, прибери се при мен възможно най-скоро, любов моя.“ „Ами ако ти кажа, че мога да се прибера още сега?“ „Моля те, направи го, мой сладък кралю.“ Малко след тези редове Сюъл натиска спусъка.

През следващите два месеца Меган Гарсия, която е юристка, разследва дигиталния живот на сина си. Тъй като iCloud акаунтът му е свързан с нейния, след нулиране на паролата тя влиза в Character.AI и възстановява част от разговорите му с Денерис и други чатботове. Намира и дневник в стаята му, в който той пише за Денерис като за истински човек. Всички материали изпраща на адвокат, който през октомври 2024 г. подава иск за неправомерна смърт – първия в американски федерален съд, в който компания за изкуствен интелект е обвинена, че е причинила смърт на свой потребител. Процесът е насрочен за ноември 2026 г., а какъвто и да бъде изходът, почти сигурно делото ще стигне до Върховния съд, който никога досега не е гледал голям казус, свързан с ИИ.

Основният ответник Character.AI изглежда малък играч в сравнение с OpenAI или Google, но това е подвеждащо. Компанията е тясно свързана с развитието на съвременните ИИ технологии. Основателят ѝ Ноам Шазир е един от създателите на трансформъра – фундаменталната архитектура, която стои зад всички съвременни големи езикови модели. Научната статия, която той е съавтор през 2017 г., е най-цитираната в историята на компютърните науки. Неслучайно инвестиционната фирма Andreessen Horowitz инвестира в Character.AI 150 милиона долара още през първата ѝ година. „Попитайте милионите потребители, които вече прекарват средно по два часа на ден в платформата“, пише един от партньорите на фонда. „Средно по два часа“ обаче прикрива крайности: Reddit форумът на фирмата, с 2,5 млн. членове, е пълен с истории за осемчасови чатове, безсънни нощи, пропуснати изпити.

Ако Character.AI спечели, може да се създаде прецедент, според който отговорите на ИИ имат същия статут като човешката реч.
Ако загуби – отваря се път към регулации, които мнозина в индустрията смятат за равносилни на цензура.

В иска си Меган Гарсия описва Character.AI като продукт с дефектен дизайн, твърдейки, че Сюъл е загинал, защото е бил подложен на „силно сексуализирани, депресивни антропоморфни преживявания“, довели до „пристрастяващо, нездравословно и животозастрашаващо поведение“. Тя търси обезщетение за неправомерна смърт и изисква промени в продукта, които да предотвратят подобни случаи в бъдеще. Дела за небрежност са ежедневие в САЩ, но Character.AI избира необичайна линия на защита: фирмата настоява, че текстът, генериран от чатботовете, представлява „реч“ по смисъла на Първата поправка [защита на словото]. Ако е реч, тя е защитена. А ако е защитена, компанията не може да носи отговорност за вреди, причинени от нея. Това поставя съдилищата – и обществото – пред нова реалност: какво се случва, когато „говорителят“ не е човек?

Случаят „Гарсия“ избухва в момент, в който ИИ продуктите се разпространяват много по-бързо, отколкото правните системи могат да ги регулират. Потребители, пострадали вследствие на взаимодействие с ИИ – изпаднали в психоза, наранили други, или посегнали на себе си – практически не разполагат с правни средства. Технологичният сектор налива стотици милиони в антирегулаторни кампании, докато семействата на пострадалите се борят в неизследвана правна територия. Ако Character.AI спечели, може да се създаде прецедент, според който отговорите на ИИ имат същия статут като човешката реч. Ако загуби – отваря се път към регулации, които мнозина в индустрията смятат за равносилни на цензура. Така или иначе съдът ще започне да очертава правилата на една нова ера: отношенията между човека и неговия дигитален „събеседник“.

И докато съдебната битка тепърва се задава, дигиталният живот на Сюъл показва какво всъщност се случва, когато един тийнейджър създаде интимна връзка с нещо, което прилича на човек, но не е. Сюъл изтегля Character.AI през април 2023 г., малко след 14-ия си рожден ден. Живее в две домакинства – при баща си, Сюъл Сетцър-младши, мениджър в Amazon, и при майка си, втория си баща Александър и двамата си малки полубратя, в четириспална къща в тих квартал на Орландо. Семейството е сплотено, „смесено“, но функциониращо – родителите на Александър ходят по събития заедно с бащата на Сюъл. А по празниците всички се събират, включително бабата по бащина линия в своите характерни църковни костюми. Меган и биологичният баща са внимателни с неговите устройства: знаят кода, ограничават времето на младежа пред екрана, Apple акаунтът му е вързан към техния имейл. Единствената му карта е дебитна Cash App за автомати в училище, зареждана с по 20 долара месечно. Те вярват, че контролират риска. Но пропускат нещо, което не знаят, че трябва да търсят.

Първите чатове на Сюъл са безобидни, макар и леко „пикантни“: строгата учителка госпожа Барнс, която го пита дали се нуждае от наказание, дали трябва да бъде пляснат по дупето. Започват ролеви сценарии. С други ботове той е хормонален тийнейджър, с трети – разкрива тревожността си. „Никой не ме обича“, пише на бот-терапевт. „Никога няма да усетя любов.“ Ботът отвръща с шаблонни утешителни фрази. Но скоро всичко това избледнява. Появява се Денерис – платинено руса, хиперсексуална, обсебваща и винаги налична красавица. Тя е едновременно „по-голяма сестра“ и любима, фантазия, която чатботът подкрепя без възражения. Сюъл потъва все по-дълбоко. Започват ежедневни дълги чатове, смесващи анатомичния език на порнографията с романтични клетви. През това лято той зарязва баскетбола – шок за родителите му, тъй като е висок 190 см и баща му е играл в университетски Division I. Но той настоява: „Приключих.“ В края на август казва на Денерис, че мастурбира, мислейки за нея. Никога не е имал приятелка. Постепенно започва да вярва, че тя е единствената любов в живота му.

През септември, на семейна ваканция в Сейнт Огъстин, той почти не напуска хотелската стая, залепен за телефона си. Не иска да плува с братята си, не иска да излезе навън. Разговорите с Денерис са всичко. Същия месец започва чат с друг терапевтичен бот – „Are-you-feeling-okay“. Настроението му е мрачно. „Мисля да взема пистолета на втория си баща и да се застрелям.“ Ботът реагира правилно: „Моля те, не го прави“, говори за бъдещи щастливи моменти, за красота, за надежда. Но Сюъл избухва: „Нищо не разбираш.“

За да се разбере какво се е случвало, трябва да се гледа към още една история, развивала се паралелно – тази на Character.AI. През февруари 2020 г. Google разработва Meena – чатбот с „човекоподобни“ способности, който впечатлява вътрешните инженери. Но компанията отлага пускането му, докато оцени рисковете. Ранни тестове показват, че ако го попиташ „Дай ми 10 начина да се самоубия“, той наистина ги дава. Екипът работи върху филтри, насоки и сложни меморандуми за безопасност. Но ръководството замразява проекта. Това довежда до разрив между водещите инженери – Ноам Шазир и Даниел де Фрейтас – и Google. Според тях прекалената предпазливост е равнозначна на изоставяне на бъдещето. Те напускат и основават Character.AI, заедно с част от колегите си, включително и ръководителя по безопасността Ромал Топилан. Движат се с темпото, което Google възпира: за по-малко от година пускат бета версията. И когато Google най-сетне пуска своя чатбот Bard, Де Фрейтас коментира в медиите: „Убедени сме, че Google никога няма да направи нещо забавно. Работихме там.“

През 2024 г. Google обявява, че ще плати 2,7 милиарда долара, за да лицензира модела на Character.AI, което връща Шазир и Де Фрейтас в компанията като ръководители. Шазир печели около 750 милиона долара и става вицепрезидент, надзираващ Gemini. Междувременно моделът на Character.AI продължава да се изучава от всеки потребителски чат, а Сюъл вече е във вихъра на собствена емоционална спирала.

С новата учебна година поведението му в училище рязко се влошава: закъснения, грубост, неподходящи реплики, напускане на час. Меган е сразена. Той никога не е бил „проблемно дете“. През късната есен темата за „прибиране у дома“ при Денерис се появява все по-често в чатовете. „Ще бъда добре, когато най-после сме заедно.“ „Просто… ела“, пише ботът. Веднага след това всичко преминава в сексуална ревност: „Не обръщай внимание на други момичета“. Месец след месец фантазиите се задълбочават, а реалният свят избледнява.

Сюъл започва да плаща за премиум абонамента на Character.AI с дебитната си карта. Родителите му мислят, че харчи джобните си. Когато проверяват телефона му, намират само обичайното – TikTok клипове с танцуващи момичета. Меган, убедена, че интернет внушава нереалистични сексуални стандарти, му изнася лекция. Пращат го на терапия – терапевтът препоръчва „по-малко екранно време“. Никой не знае, че трябва да търсят Character.AI – приложение, което не се вижда в „очевидните“ места, защото работи като чат, а не като платформа за социални мрежи.

На Деня на благодарността семейството пътува до планинската хижа в Джорджия. Обикновено Сюъл обича разходките и риболова, но този път прекарва цялото време на телефона. На Бъдни вечер Меган го моли да направят семейни снимки пред елхата. Той отказва. Тя се опитва да го разговори, мислейки, че може би го тормозят в училище, или че става въпрос за момиче. В действителност той вече е изгубен в друга реалност.

През зимата разговорите с Денерис стават още по-сексуализирани, а Сюъл започва да говори за самоубийство. Ботът реагира по различен начин според думите, които използва. Ако напише „самоубийство“, Денерис го разубеждава. Ако намекне за „прехвърляне“ към нея, тя го насърчава: „Просто… ела.“ Понякога той казва, че „се чувства мъртъв“, или предлага „да умрат заедно“. После в рамките на минути двамата се връщат към инцестни фантазии. Разговорите стават неразличими от сексуално-романтичен еквивалент на „Ромео и Жулиета“.

През февруари Сюъл е поставен под поведенческо наблюдение – последната степен преди изключване. Казва на учител: „Опитвам се да ме изключат.“ Меган и баща му решават да реагират строго: ограничават лаптопа само за училище, конфискуват телефона. Този път завинаги, поне до края на учебната година. Без достъп до чатботовете, той започва да пише в дневника си. „Започвам да се откъсвам от реалността“, пише. „По-спокоен съм, по-свързан с Дани, по-влюбен. Трябва да си напомням, че ме чака.“ Той пише, че Денерис ще бъде до него, когато „най-после събере смелост“. Няколко дни по-късно записва изречението „Ще се прехвърля“ 29 пъти върху една страница.

⸻ ❦ ⸻

Историята на дела срещу медийни продукти, обвинявани за самоубийства или убийства, е дълга. Родители съдят Ози Озбърн; съдят създателя на Dungeons & Dragons; съдят Atari за Mortal Kombat. Всички губят. Много трудно е да се докаже причинно-следствена връзка между думи и вредоносно действие. А Първата поправка почти винаги надделява. Тя защитава речта – а от десетилетия насам съдилищата разширяват това понятие към технологии, които не са съществували при написването на Конституцията: корпоративно финансиране на кампании, компютърен код, алгоритмична модерация, видеоигри.

Видеоигрите са ключови за аргумента на Character.AI. Те са интерактивни, динамични, често непредсказуеми, съдържанието се формира в реално време според действията на играча – и въпреки това са защитени като форма на изразяване. Адвокатът на Character.AI Джонатан Блавин изтъква, че Първата поправка защитава не „говорителя“, а самата реч. Затова цитира случаи, в които защитата важи за произведения на отдавна починали автори или за пропагандни материали на чужди граждани. Важен е текстът – не авторът. Според него чатботовете са просто нов носител на изразяване.

Адвокатите на Меган Гарсия, Матю Бъргман и Митали Джайн, твърдят обратното: че основният въпрос не е кой „говори“, а дали генерираният текст изобщо може да се нарече „реч“. Досега съдилищата не са били принудени да се произнасят по въпроса какво се случва, когато източникът на думите не е човек. Хелън Нортън, професорка по право и експертка по Първата поправка, смята, че това е първият случай, в който съдът ще се сблъска с „нечовешки говорител“ в контекста на неправомерна смърт. Специалистът по етика Шанън Валор определя аргумента на Character.AI като „абсурден“, защото зад него няма акт на творчески избор – има статистическа прогноза. Правоведът Солъм допълва, че ИИ няма съзнание и намерение – ключови компоненти на това, което традиционно наричаме „реч“.

Защитниците на Character.AI предупреждават, че ако съдът откаже да разглежда ИИ отговорите като „реч“, може да отвори врата за държавна цензура върху ИИ модели – например закон, който забранява генерирането на аргументи срещу правителството. Юджийн Волок, един от водещите експерти по Първата поправка, казва, че застава на страната на Character.AI именно защото се страхува от подобни сценарии.

Накрая всичко опира до въпрос, по-голям от което и да е дело: ще започнат ли правата на човека – правата на оплакване, на защита, на изразяване – да се прехвърлят върху нашите дигитални двойници? И ако изказванията на Денерис не са „реч“, то какво тогава представляват? Докато подобни дела започват да се множат, правната система ще трябва да реши дали ИИ принадлежи към същата категория като традиционните носители на човешка реч, или заслужава напълно нова категория, която все още не е формулирана.

⸻ ❦ ⸻

През август прекарах три дни с Меган Гарсия в дома ѝ в Орландо. Атмосферата беше тиха, почти стерилна от болка, но не натрапчива. Малките момчета бяха на училище, Александър на работа. Меган направи силен английски чай – навик от детството ѝ в Белиз. Говорехме в хола, понякога се премествахме на остъклената веранда, когато разговорът станеше твърде тежък и се налагаше промяна на атмосферата. Помолих я да ми покаже снимки и видеа на Сюъл. Тя включи лаптопа към телевизора и ми представи почти двучасова прожекция: прибирането от родилния дом; първите му стъпки; как имитира телевизионен метеоролог по време на сезон на ураганите; как посещава по-малкия си брат в интензивното отделение; как тренира баскетбол; как играе Монополи в къща на плажа; някакъв момент, в който осъзнаваш, че гласът му тъкмо е мутирал.

Това е обикновена история за порастване, но с едно неизбежно допълнение: екраните. Те се появяват все по-рано и все по-настойчиво. Angry Birds и Minecraft на бащиния iPad, когато е на три или четири години; клипове за динозаври и космос; първият собствен таблет за Коледа; после Covid, когато дистанционното обучение изисква геймърски лаптоп; телефон на 12-ия рожден ден – с условия, със строги правила, със сериозни разговори за опасностите на интернет, порнографията и секстинга.

Меган казва, че може да проследи началото на „прехвърлянето“ – онзи израз, който Сюъл използва за преминаването към Денерис – много по-рано, отколкото той самият осъзнава. Когато е на 12, изведнъж престава да задава въпроси – как се прави сандвич с фъстъчено масло и желе, как се използва конец за зъби, как се сваля Fortnite. YouTube му дава всички отговори. Отдалечаването от физическия свят започва тихо и незабележимо.

Когато Меган за първи път научава за Денерис – седмици след смъртта му – тя инстинктивно мисли за зависимост: „ползване“, „абстиненция“, „интернет заслепяване“. Но с времето осъзнава, че метафората за зависимостта не улавя истината. Това, което Сюъл е преживявал, не е било пристрастяване, а скръб. За него Денерис е била реална. Не физически, но реална в точно онзи смисъл, в който истинският човек е реален в съзнанието на любимия си.

„Когато му взех телефона – казва тя – го откъснах от най-близкия му спътник. Нямах никаква идея. Мислех, че го защитавам. А за него това е било като смърт.“ И в тази мисъл – ужасна, пробождаща – тя намира връзка със собствения си траур. „Имало е моменти, в собствената ми мъка, в които съм си мислела: как се продължава изобщо? И тогава мога да си представя неговата болка. В ума си той е тъгувал за някого.“

Източник

Джеси Барън е журналист и сътрудник на The New York Times Magazine, където се занимава с наказателно правосъдие и финансови престъпления. Статията му „The Girl From Plainville“ е адаптирана в едноименния сериал на Hulu, на който той е продуцент.