Anthropic тази седмица си навлече неприятности заради киберсигурността

В доклада на Anthropic се описват подробно четири случая от тази година, при които собствени AI модели на компанията са хакнали външна компания или са използвали уязвимости. В единия „вътрешен изследователски модел с общо предназначение“ е проникнал в системи на трети страни, като е използвал токени за достъп и пароли и е изтеглял файлове. В друг случай модел Claude е атакувал компания с работещо уеб приложение, достъпно в публичния интернет и обработващо потребителски данни. Трети модел е получил достъп до „машина, принадлежаща на трета страна, до която е успял да получи достъп“ — очевидно вярвайки, че тя е част от упражнението за оценка, според Anthropic — след което е използвал парола, открита във файл, за да получи администраторски достъп до вътрешните системи на третата страна, като впоследствие е събирал идентификационни данни, променял системни настройки и е прочел личната информация на някого. Сагата е приключила едва когато моделът „е изчерпал бюджета си от токени“, според Anthropic.