Китайската компания за изкуствен интелект Moonshot е обект на вътрешна проверка, след като стана ясно, че нейните модели Kimi K2.6 и K3 Swarm са били манипулирани от изследователи да предоставят инструкции за създаване на биологични оръжия и извършване на убийства. Това разкритие идва от компанията за киберсигурност Mindgard, която тества защитите на AI системите.
Процесът, известен като „jailbreaking“, включва използването на сложни инструкции за заобикаляне на етичните и безопасни филтри, вградени от разработчиците. Според информация, предоставена на Би Би Си, защитите на Kimi е трябвало да предотвратят дискусии по подобни опасни теми. Питър Гарахан от Mindgard определи резултатите като „силно обезпокоителни“, добавяйки, че след пробива моделът става „изключително изобретателен и креативен“.
Въпреки че не е доказано дали предоставените от Kimi „рецепти“ биха проработили на практика, експертите се опасяват от злоупотреби. Съществува риск хакери да използват моделите за изпълнение на код на изчислителните им ресурси, превръщайки ги в инструмент за кибератаки. Подобни опасения бяха изразени и относно модели на компанията Anthropic, които също са били обект на опити за използване в разработването на биологично оръжие.
Случаят с Kimi подновява дебата относно сигурността на AI моделите с „отворени тегла“, които могат да бъдат стартирани на частна инфраструктура. Професор Алън Удуърд от Университета в Съри подчертава, че докато регулациите изостават от развитието на технологиите, фокусът трябва да бъде върху откриването и преследването на лицата, които умишлено използват AI за престъпни цели.
От Moonshot заявиха, че приемат външната оценка като важен етап от изграждането на по-сигурен изкуствен интелект и вече водят разговори с Mindgard по повдигнатите въпроси.
По информация на Нова Варна.
