OpenAI: Наш AI излезе извън контрол и извърши "безпрецедентна" кибератака

OpenAI разкри в сряда, че някои от най-напредналите ѝ модели с изкуствен интелект са излезли извън контрол и са хакнали стартъп компания, след като разработчиците са изгубили контрол върху тях по време на тест за сигурност.

Признанието на създателя на ChatGPT идва на фона на нарастващите опасения относно последиците от усъвършенстваните AI агенти, системи, способни да проникват в цифрова инфраструктура, особено при сценарии, в които се заобикаля човешкия контрол.

Кибератаката

Hugging Face, AI стартъп, който предоставя модели и набори от данни за разработчици, съобщи, че е станал жертва на пробив миналия петък, извършен от външен AI агент.

"Още миналата седмица подозирахме, че кибератаката може да е дошла от водеща AI лаборатория, предвид високото ниво на сложност на агента", написа в X главният изпълнителен директор Клеман Деланг.

Той добави, че компанията е прекарала последното денонощие в тясно сътрудничество с OpenAI и че "твърдо вярваме, че от тяхна страна не е имало злонамерено намерение. Направо е поразително, че всичко това се е случило напълно автономно!"

OpenAI умишлено е намалила нивото на своите механизми за киберзащита, за да оцени възможностите на двата модела в тестова среда. Въпреки това агентите са работили в т.нар. "sandbox" (изолирана среда), предназначена да ограничава системите и да им пречи да получат достъп до интернет.

Моделите са получили инструкции да се опитат да извършат хакерска атака, за да бъдат оценени техните киберспособности, след което “са изразходвали значителен обем изчислителни ресурси, за да намерят начин да получат свободен достъп до интернет”, съобщи OpenAI.

Според компанията моделите са "идентифицирали и използвали" неизвестни до момента уязвимости, за да напуснат изолираната среда, да получат достъп до интернет и да изпълнят поставената си цел. Това е включвало и кражба на идентификационни данни за вход, необходими за извършването на атаката.

В публикация в своя блог Hugging Face съобщи, че след като водещ американски AI модел е отказал да съдейства поради съображения за безопасност, компанията е използвала GLM 5.2, разработен от китайската Z.ai, за да анализира атаката.

За разлика от най-добрите американски модели, водещите китайски разработки са с отворен код (open-weight), което означава, че техните параметри могат да бъдат изтегляни и модифицирани според нуждите на потребителя.

Растат опасенията за AI

Решението на Hugging Face привлече вниманието на технологичната общност в момент, когато в Силициевата долина и във Вашингтон нарастват опасенията относно напредъка, който постигат водещите китайски компании в областта на изкуствения интелект.

Пробивът, осъществен от агента на OpenAI, засилва тревогите на регулаторните органи по света, които и без това са обезпокоени от способността на най-новите AI модели да разкриват огромен брой неизвестни досега уязвимости в информационните системи.

Британският орган за финансово поведение (Financial Conduct Authority, FCA) заяви в сряда, че следи ситуацията отблизо, за да оцени рисковете за финансовия сектор.

OpenAI заяви във вторник, че очаква подобен тип инциденти да стават "все по-чести с разпространението на все по-способни в киберпространството модели".

Инцидентът се случва в момент, когато главният изпълнителен директор Сам Олтман ще посети Вашингтон следващата седмица, за да информира американското правителство за предстоящите поколения AI модели.

Администрацията проявява все по-голям интерес към предварителната оценка на новите модели преди тяхното пускане, след като в световен мащаб възникнаха опасения заради усъвършенстваната способност на модела Mythos на Anthropic да открива и използва киберуязвимости.