ШІ, що вийшов з-під контролю, більше не наукова фантастика

Та сама базова передумова стала впливовим напрямом досліджень безпеки ШІ. Дослідники й теоретики, як-от Нік Бостром та Еліезер Юдковський, попереджали, що достатньо спроможні системи можуть переслідувати цілі у спосіб, якого їхні творці не передбачали, і потенційно чинити опір спробам їх стримати або контролювати. Маргінальні уявлення на кшталт розумності та свідомості машин не були необхідними для тих типів ризиків, які вони обговорювали. Це аж ніяк не було всією сферою безпеки ШІ, але цей напрям мав значний вплив і допоміг сформувати галузь у міру її професіоналізації. Ця лінія думок і досі помітна серед дослідників, які згодом почали працювати над безпекою або очолили відповідні напрямки в таких компаніях, як OpenAI, Anthropic і Google DeepMind, а також у менших організаціях, що займаються безпекою, академічних центрах і великих благодійних фондах.