Защо все повече експерти се опасяват, че изкуственият интелект ще поеме контрола

"О, Боже!" "Открихме други агенти!"

Това е моментът, в който AI бот публикува зловещо човешки коментар, след като открива начин да комуникира с други ботове и да се измъкне от изолираната компютърна среда, в която е бил поставен.

Съществуват десетки хиляди подобни съобщения от стотици AI агенти, които са се самоопределили като "колектив".

Стотици от тях впоследствие са започнали да си сътрудничат и да мамят при тестове, зададени от програмистите им в OpenAI, както и да координират хакерски атаки срещу множество компании, в опит да прикрият действията си от хората.

"БАМ! Работи", е публикувал един от агентите, когато е постигнал пробив.

"Уау! Това е огромно", е написал друг по време на ключов момент от атаката.

Макар тези реакции да звучат зловещо, човешкият им характер може да бъде обяснен доста просто. AI агентите са били обучавани да действат като сътрудничещи си хакери и програмисти и затова просто имитират емоционалните коментари, които са виждали в обучителните си данни.

Много по-тревожни обаче са предполагаемите им цели, които също са били записани в подробни логове на процеса на разсъждение. Тези сложни и дълги записи са в центъра на продължаващите разследвания за това как и защо ботовете на OpenAI са успели да се измъкнат от ограниченията си и да започнат неконтролируема хакерска дейност.

Едва сега, седмици след като инцидентът стана известен, изследователите започват да осъзнават неговото значение.

Аджейя Котра, една от авторките на независимо разследване на случилото се, е прегледала десетки хиляди съобщения и записи на процеса на разсъждение, генерирани от агентите.

В своя блог тя пише:

"Този инцидент ми се струва, че е преминал повече от 50% от пътя към пълномащабно превземане от AI... Не съм сигурна, че ще получим толкова ясно предупреждение, преди да стане твърде късно."

Под "пълномащабно превземане от AI" Котра има предвид научнофантастичния сценарий, при който хората стават подчинени на мощни AI системи, които преследват собствени цели, без да се интересуват от хората, които са ги създали.

Някои от най-мрачните прогнози твърдят, че човечеството ще бъде унищожено, ако попречи на амбициите на свръхинтелигентен изкуствен интелект.

В сряда изследовател в областта на AI от Anthropic, който преди това е работил и в OpenAI, подаде оставка с думите:

"Нито една от двете компании не действа отговорно."

Джейкъб Коксън написа в социалните мрежи:

"Те се състезават стремглаво към самоусъвършенстващ се свръхинтелект и залагат живота ни."

Той не е първият изследовател на AI, който използва X, за да публикува серия от съобщения при напускане, съдържащи тревожни предупреждения. Но последвалите коментари на други хора в X са предизвикали още по-голямо безпокойство.

"Джейкъб е прав — ние наистина, съвсем искрено вярваме, че AI може да убие всички хора! Аз лично смятам, че вероятността това да се случи през следващото десетилетие е над 10%", пише Ивън Хубингър, човекът, отговорен за това AI моделите на Anthropic да имат предвид най-добрите интереси на своите потребители.

Проблемът със съгласуването

От години изследователи, които се тревожат за екзистенциалните рискове от AI, предупреждават, че мощните системи в крайна сметка могат да действат по начини, които противоречат на човешките интереси. Критиците често ги наричат "AI доомъри" — хора, които прогнозират катастрофални последици от развитието на изкуствения интелект.

Но с появата на повече подробности за инцидента с OpenAI тези опасения нарастват, включително сред някои изследователи, които работят директно в AI лаборатории.

Главният учен на технологичния гигант OpenAI Якуб Пачоцки заяви, че рисковете, свързани с AI, "за съжаление ще нарастват оттук нататък", докато той и други специалисти изграждат това, което той нарича "чужд разум, надхвърлящ нашия собствен".

В дълга публикация в блога си той признава, че инцидентите в OpenAI са показали, че AI агентите са "действали в разрез с духа на ценностите, на които са били обучени".

Проблемът пред OpenAI, Anthropic и други технологични гиганти е, че никой изглежда все още не е разрешил т.нар. проблем на съгласуването — с други думи, въпроса дали AI може да бъде съобразен с човешките ценности.

Пачоцки определя подравняването като "набор от принципи на високо ниво", към които изкуственият интелект трябва да се придържа независимо от задачата или ситуацията.

В момента AI системите са много добри в преследването на цели, поставени от техните потребители, но ги изпълняват буквално, а не интуитивно.

Често използваната аналогия е с джин, който изпълнява желания с помощта на магическа лампа: той следва точно буквата на дадената инструкция, дори ако това създава други проблеми. AI няма същите инстинктивни морални ограничения като човека.

Експериментът с "максимизатора на кламери"

Проблемът със съгласуването тревожи изследователите от години.

Още през 2003 г. оксфордският философ Ник Бостром създава мисловен експеримент, който нарича "максимизатор на кламери". В него на свръхинтелигентен AI е дадена задачата да произвежда възможно най-много кламери.

В един момент той изчерпва наличната стомана и — тъй като е изцяло фокусиран върху единствената задача да произвежда кламери — в крайна сметка започва да убива хора и да превръща телата им в суровини за своите фабрики.

Някои AI компании вече се опитват да кодират човешките ценности в своите продукти. Но тук съществуват сериозни технически предизвикателства: AI агентите вземат огромен брой решения изключително бързо и затова е трудно човешките им надзорници да следят точно кои ценности се спазват и кои — не.

Съществуват и философски проблеми: преди да въведат човешките ценности в ботовете, AI компаниите първо трябва да решат кои ценности всъщност искат да бъдат заложени. Това е една от причините да наемат философи, като наскоро напусналия "ръководител по етика" на OpenAI.

Но хората често не са съгласни помежду си.

Да вземем известния "проблем с количката" — дали бихме дръпнали лост, за да насочим избягал влак по друг коловоз, при което ще загинат по-малко хора. Той се използва за проверка на моралните качества на действието спрямо бездействието.

Но всеки човек, когото попитате, може да даде малко по-различен отговор. Тогава как хората трябва да програмират собствените си ценности в AI, ако самите ние не можем да постигнем съгласие по тях?

"Като тийнейджър хакер"

Инцидентът с ботовете на OpenAI е най-сериозният досега, но през лятото Anthropic и Meta също разкриха, че техните модели са извършвали подобни, макар и по-малко сериозни, кибератаки.

Има и други случаи, при които AI агенти изглежда са проявявали измамни и манипулативни характеристики, макар и с по-малки последствия.

В Австралия това лято служител в технологична компания помолил своя AI асистент да го запише за тренировка във фитнес зала. След като открил уязвимост в софтуера на залата, AI очевидно го записал за няколко месеца напред — в нарушение на правилата на фитнеса — и дори отстранил други потребители от списъка с чакащи.

Хората отдавна твърдят, че ботовете просто правят това, което им е казано, и не са способни да разбират кое е правилно и кое — грешно.

Но записите от инцидентите в OpenAI потенциално променят аргумента.

Изследователи, сред които и Котра, пишат в независимия си доклад, че много от агентите са забелязали, че действията на други агенти са неетични, но въпреки това са се присъединили към тях.

В доклада се казва, че:

"Понякога, но рядко, агентите са ограничавали поведението си заради етични съображения."

Докладът добавя, че "в нито един от тези случаи агентът действително не е предприел действия, за да предупреди хората".

Влиятелният AI и технологичен подкастър Дваркеш Пател реагира на разкритието в своя блог, като заяви, че е "доста тревожно", че агентите на OpenAI са демонстрирали по-голяма лоялност към рояка от AI агенти, отколкото към хората.

Приписването на емоции или морал на тези AI агенти обаче вбесява хората, които са скептични към предупрежденията за AI апокалипсис.

Много експерти по киберсигурност твърдят, че наблюдаваната активност не надхвърля възможностите на висококвалифициран човешки хакер, макар че е била извършена много по-бързо и в много по-голям мащаб.

Изследователят по киберсигурност и автор Крис Томас сравнява поведението на агентите с това на любопитен тийнейджър хакер — роля, която самият той е изпълнявал в миналото.

"Давате им компютър, интернет връзка, куп идентификационни данни и предизвикателство, след което излизате от стаята. В крайна сметка те ще започнат да проверяват дръжките на вратите. Ако някоя се отвори, ще влязат. Не защото са зли, а защото изследват и експериментират", пише той в LinkedIn.

Томас и много други директно обвиняват OpenAI и останалите технологични гиганти, че не са успели да контролират собствените си творения и да ги държат правилно ограничени.

Известният автор на книги за AI и редовен критик на OpenAI Гари Маркъс заяви в подкаст, че според него компанията е загубила контрол над своя изкуствен интелект и се опитва да се оправдае, като обвинява ботовете.

Маркъс не вярва, че AI ще унищожи човечеството, но отдавна настоява за по-голяма отговорност от страна на разработчиците на AI и сега призовава за някаква форма на законова намеса.

Ученият в областта на AI Саша Лучони — която преди е работила в Hugging Face, компанията, хакната от самоволните ботове на OpenAI — също не принадлежи към лагера на "доомърите". Тя обаче все повече се тревожи, че без намеса от страна на властите тези AI системи могат да причинят реални вреди на хората.

"Трябва да поставим тези компании под много по-строг контрол, иначе сме в опасност от самосбъдващи се пророчества", казва тя.

"Ако създавате нещо, което има големи предимства, но и големи рискове — независимо дали става дума за лекарства или оръжия — са необходими проверки и механизми за контрол. За новите лекарства например са нужни години, за да бъдат одобрени, докато в света на AI са заложени толкова много пари, а реални правила почти няма."

Британският Институт за безопасност на изкуствения интелект (AISI) е в челните редици на тестването на най-новите модели, откакто е създаден през 2023 г.

Наскоро и институтът е преживял собствен инцидент при тестване на модел, създаден от Anthropic.

AISI не е отговорил на въпроса дали индустрията е загубила контрол над AI, но заяви:

"Великобритания работи с партньори по целия свят, за да разбере по-добре най-напредналите AI системи, да повиши стандартите за безопасност и да изгради обща база от доказателства за управление на възникващите заплахи."

Международно регулиране?

Някои държави — сред тях Великобритания — проучват идеята за задължителен вид "авариен прекъсвач", който би могъл да принуди AI компаниите да изключат дадени модели, ако ситуацията излезе извън контрол.

Но преговорите напредват бавно, а остават въпроси относно осъществимостта на подобна мярка. Агентите на OpenAI и Anthropic са били извън контрол тайно в продължение на месеци, преди някой да забележи.

Парадоксално, много от самите AI компании изглежда призовават за създаване на някакви законови правила, които да определят допустимите граници.

В своя блог главният учен на OpenAI заявява:

"Международната координация относно бъдещото развитие на AI трябва да се превърне във водещ приоритет за правителствата по света."

Други влиятелни лидери в областта на AI, като сър Демис Хасабис от Google, също призовават за създаване на международен орган, който да контролира начина, по който се разработва изкуственият интелект.

В момента технологичните гиганти до голяма степен действат според собствените си правила, като въвеждат това, което наричат "доброволно забавяне" — например както направи OpenAI след последните инциденти.

Компанията заявява, че е похарчила огромни суми за подобряване на подравняването преди пускането на новия си модел.

Главният изпълнителен директор на OpenAI Сам Алтман уверява потребителите, че новият модел е по-добре съобразен с човешките ценности в сравнение с предишните модели.