Разработката на модела за изкуствен интелект Astra от OpenAI е спряна поради идентифицирани критични рискове за киберсигурността. Вътрешни тестове са показали, че алгоритъмът притежава авангардни способности за хакерски атаки, което го доближава до определението за „кибероръжие“.
Системата за оценка на готовността (Preparedness Framework), въведена в края на 2023 г., класифицира Astra като първия модел, надхвърлящ прага за „Високо ниво“ на риск. Според правилата на OpenAI, модел в критична категория е способен самостоятелно да открива и прилага уязвимости от типа „нулев ден“ срещу защитени системи, както и да провежда мащабни кибератаки без човешка намеса.
В отговор на тези рискове, OpenAI затегна правилата за разработка и тестване. Проектът е прехвърлен към изолирани системи с ограничен мрежов достъп, внедрено е криптиране на теглата на моделите и са въведени затворени изпълнителни среди. Работата по Astra, която не отговаря на новите изисквания, е временно преустановена.
Въведен е и цялостен мониторинг на веригата от разсъждения на ИИ-агентите на Astra. Специални алгоритми анализират логиката на модела в реално време и автоматично блокират сесии при откриване на потенциално опасно поведение, за да предотвратят действия с висок риск.
Преди евентуално пускане на пазара, OpenAI планира да привлече външни експерти и държавни органи за проверка на Astra. Компанията ще предостави модела на независими групи по сигурност и компетентни ведомства за провеждане на стрес-тестове, подобно на протокол, прилаган през 2025 г. при рискове в областта на биологичните заплахи.
Въпреки ограниченията, дългосрочната цел остава използването на Astra за укрепване на цифровата инфраструктура. OpenAI се надява, че след изпълнението на всички изисквания за сигурност, моделът ще стане достъпен за специалисти, които да откриват и отстраняват софтуерни уязвимости преди те да бъдат експлоатирани от злонамерени лица.
По информация на Kaldata.
