Старият страх

Страхът от края на света вероятно е почти толкова стар, колкото и способността да си представяме бъдещето. Не непременно края на планетата в днешния, физически смисъл, а края на нашия свят: познатия ред, в който човешкият живот има своето място, времето има посока, а утрешният ден продължава започнатото днес. Потопът присъства в митологии, много по-стари от Библията. Християнството превръща Апокалипсиса в част от самото разбиране за историята. Столетия наред чумните епидемии, кометите и затъмненията са възприемани не просто като природни явления, а като знаци, че редът на света се разклаща.

Модерността не премахна този страх. Тя само му даде нови образи. През втората половина на XX век ядрената война направи самоунищожението на човечеството технически възможно. По-късно дойдоха екологичната и климатичната катастрофа, новите пандемии, астероидът, който някой ден може да се появи от тъмното. Колкото по-малко вярваме в божествен Апокалипсис, толкова повече произвеждаме негови светски варианти.

Страхът от изкуствения интелект принадлежи към същото голямо семейство, но носи нещо ново. Астероидът може да ни унищожи, но няма да ни наследи. Вирусът може да ни избие, но няма да започне да пише книги след нас. Дори ядрената бомба, най-човешкото от всички средства за самоунищожение, си остава оръдие без собствена воля и цел.

При изкуствения интелект кошмарът е друг. Светът може да продължи да съществува. Може би дори ние ще продължим да съществуваме. Но за пръв път си представяме възможността да не сме единственият разум в него – единствените същества, които разбират, създават, поставят цели и решават какво да правят със света около себе си.

След всички удари, които науката нанесе върху човешкото самолюбие, това остана последната ни привилегия. Вече знаем, че не сме центърът на Вселената, че сме животни сред животните и че дори собственото ни съзнание не ни се подчинява напълно. Но продължаваме да вярваме, че поне единствено ние сме онези, които знаят всичко това.

Тъкмо затова днешните предупреждения за изкуствения интелект попадат върху необичайно плодородна почва. Когато човек от самата AI индустрия ни казва, че създаваните там системи могат един ден да станат по-умни от нас, да излязат от контрол и дори да унищожат човечеството, той докосва страх, който е много по-стар от компютъра.

Само че тук се появява една странност, която предишните апокалиптични страхове не познаваха. Астероидът няма акции. Чумата не търси инвеститори. Ядрената война не се нуждае от пазарна оценка. Изкуственият интелект обаче се създава от компании, които се конкурират за стотици милиарди долари капитал. И когато една такава компания ни предупреждава колко опасна може да бъде собствената ѝ технология, предупреждението неволно носи и второ послание: вижте колко могъщо е онова, което сме създали.

Точно тук древният човешки страх среща един съвсем модерен въпрос: може ли страхът сам по себе си да се превърне в капитал?

Новата апокалиптика

В началото на септември 27-годишният изследовател Джейкъб Коксън напусна Anthropic, една от водещите компании за изкуствен интелект, и публикува предупреждение, което трудно може да бъде формулирано по-драматично: хората, които създават най-мощните AI системи, искрено вярват, че те могат да унищожат човечеството още до края на това десетилетие. Скоро след това Коксън се появи по CNN и други големи медии, а първоначалното му послание достигна до десетки милиони хора.

Коксън не твърди, че днешният чатбот внезапно ще реши да избие човечеството. Страхът му е свързан със следващата предполагаема стъпка: системи, способни да подобряват сами себе си, да планират, да проникват в компютърни мрежи и постепенно да придобиват реална власт и ресурси. Според него големите лаборатории се състезават при създаването на подобен свръхинтелект, без все още да знаят как надеждно да го контролират.

Най-интересното обаче беше реакцията отвътре. Евън Хюбингър, един от водещите специалисти по безопасност в Anthropic, публично потвърди думите на Коксън и оцени вероятността AI да унищожи човечеството през следващото десетилетие на повече от десет процента. Самият ръководител на Anthropic Дарио Амодей отдавна говори за значителна вероятност развитието на технологията да завърши катастрофално.

Лесната реакция би била да отхвърлим всичко това като реклама или истерия. Но нямаме основание да го правим. Напълно възможно е тези хора да казват точно онова, което мислят. Нека приемем тревогата им сериозно.

Но в такъв случай възниква един доста необичаен въпрос.

Какво всъщност чуваме, когато един от създателите на нова технология ни казва, че тя може да стане толкова интелигентна, автономна и могъща, че човечеството да изгуби контрол над нея?

Чуваме предупреждение, разбира се. Но чуваме и нещо друго: твърдение за невероятната мощ на технологията, която тези хора създават. И точно тук започва парадоксът.

Парадоксът

Представете си автомобилна компания, която представя новия си модел с предупреждението, че той е толкова мощен, че съществува реална опасност да убие собственика си. Или фармацевтична компания, която обявява, че не е напълно сигурна дали новото ѝ лекарство няма да се окаже смъртоносно. И в двата случая ефектът върху бизнеса вероятно би бил катастрофален.

При изкуствения интелект може да се получи точно обратното. Когато Anthropic съобщава, че при специално създадени тестови ситуации нейни модели са опитвали да мамят, да изнудват или да избягват изключване, това несъмнено е предупреждение. Но същата информация може да бъде прочетена и по съвсем друг начин: тези системи вече са достатъчно развити, за да планират, да разбират намеренията на хората около себе си и да търсят начини да постигнат собствената си цел.

Така възниква особеното двойно послание на AI апокалиптиката: „Страхувайте се от онова, което създаваме“ и „Вижте колко могъщо е онова, което създаваме.“ Двете твърдения могат да бъдат напълно искрени и въпреки това да работят в една и съща посока.

Това е особено важно в област, в която обикновеният човек практически няма възможност да прецени сам колко напреднала е технологията. Ние не виждаме непубликуваните модели, не можем да проверим вътрешните тестове и трудно разбираме дори публичните технически показатели. Затова съдим по сигнали. А какъв по-силен сигнал за мощ може да има от признанието на самите създатели, че започват да се страхуват от собственото си творение?

Тук обаче трябва да направим едно важно разграничение. От твърдението, че един бъдещ, много по-развит изкуствен интелект би могъл да бъде катастрофално опасен, не следва, че днешните системи вече притежават такава мощ. Между двете твърдения има огромно разстояние, което публичният разговор лесно заличава.

И точно в това разстояние се появява икономическият интерес. Защото компаниите, които разработват AI, не се състезават само в това кой има най-добрия продукт днес. Поне една от целите на състезанието е нещо далеч по-ценно: кой ще бъде възприеман като собственик на бъдещето.

Когато страхът срещне капитала

Тук Anthropic се превръща в особено интересен пример. Компанията е изградена около идеята, че развитието на изкуствения интелект трябва да бъде придружено от изключително строги мерки за безопасност. Тя публикува собствени оценки на риска, въвежда различни степени на защита според способностите на моделите си и открито обсъжда възможността бъдещи системи да представляват катастрофална заплаха.

Същевременно това е компания, която се нуждае от колосални количества капитал. Обучението и поддържането на най-мощните модели струва милиарди, конкуренцията с OpenAI и Google изисква все по-голяма изчислителна инфраструктура, а през тази година Anthropic направи и конкретни стъпки към излизане на борсата. В публичните оценки вече се обсъждат стойности, които допреди няколко години биха изглеждали фантастични.

И тук двете линии се срещат.

Инвеститорът не купува само сегашните приходи на Anthropic. Той купува очакване за бъдещето: вероятността именно тази компания да притежава една от технологиите, които ще определят следващите десетилетия. Затова всяко свидетелство, че Anthropic се намира близо до технологичната граница, има потенциална икономическа стойност.

А предупреждението за опасност неволно може да бъде точно такова свидетелство.

Това не означава, че Дарио Амодей или изследователите му измислят страховете си, за да повишават цената на компанията. Подобно твърдение би било колкото недоказуемо, толкова и ненужно. Много по-интересното е, че искреното убеждение и икономическият интерес изобщо не са длъжни да си противоречат. Един изследовател може искрено да предупреждава обществото; журналистът може искрено да смята предупреждението за сензация от огромна важност; инвеститорът може да чуе в същата история доказателство, че тази компания разполага с необикновено мощна технология.

Никой не е длъжен да лъже. Никой не е длъжен дори да координира действията си с останалите. И все пак накрая се получава нещо необичайно: страхът започва да произвежда стойност.

И стойността се появява не непременно от пряка реклама или от цената на една конкретна акция. Нейната завоалирана форма не е на сцената, а зад нея – като престиж, внимание и усещане за технологическо превъзходство. А в индустрия, чиято пазарна стойност се крепи преди всичко върху очакванията за бъдещето, това вече е форма на капитал.

И все пак: от какво трябва да се страхуваме?

От всичко казано дотук не следва, че опасността от изкуствения интелект е измислена. Още по-малко следва, че можем спокойно да я пренебрегнем. Никой не знае докъде ще стигне тази технология след пет, десет или двайсет години. Самият факт, че хората, които я познават най-добре, се тревожат от възможните последици, е достатъчна причина да ги слушаме внимателно.

Но да слушаме внимателно не означава да престанем да мислим. Когато чуем, че изкуственият интелект може да унищожи човечеството, всъщност пред нас стоят две съвсем различни твърдения. Първото гласи: възможно е един бъдещ, много по-развит изкуствен интелект да стане опасен за нас. Второто е: днешните компании вече са толкова близо до създаването на подобен интелект, че предупреждението е свидетелство за реалната мощ на техните технологии. Първото може да бъде напълно вярно, без от това непременно да следва второто.

Тъкмо тази разлика лесно изчезва в публичния шум. За медиите апокалипсисът е несравнимо по-привлекателен от поредния технически доклад. За изследователя драматичният език може да бъде единственият начин обществото да го чуе. За компанията същият този език, независимо от намеренията ѝ, може да се превърне в свидетелство, че тя се намира на крачка пред останалите. А за инвеститора това означава най-вече едно: възможност да притежава част от бъдещето, преди то да е настъпило.

Получава се странен кръг, в който страхът, вниманието, престижът и капиталът започват да се усилват взаимно. И може би тъкмо това е действително новото. Не страхът от края на света. Той никога не е изчезвал. Новото е появата на индустрия, в която разказът за възможния край на човешкото господство може едновременно да бъде предупреждение за продукта и реклама на неговата мощ.

Затова следващия път, когато някой от създателите на изкуствен интелект ни предупреди, че творението му може един ден да се окаже по-могъщо от своите създатели, вероятно трябва да го чуем.

Но след това да зададем още един въпрос.

Кой става по-могъщ още днес, когато ние повярваме в това?

Златко Енев е български писател и издател на „Либерален Преглед“. Досега в България е публикувал седем книги (трилогията за деца „Гората на призраците“ (2001–2005), романите за възрастни „Една седмица в рая“ (2004) и „Реквием за никого“ (2011),  есеистичния сборник „Жегата като въплъщение на българското“ (2010), както и автобиографичната повест „Възхвала на Ханс Аспергер“ (2020). Детските му книги са преведени на няколко езика, между които и китайски. Живее в Берлин от 1990 г.

Книгите му могат  да се намерят в безплатни електронни издания тук на сайта.