Anthropic ограничила доступ к новой нейросети из-за ее опасности

Компания Anthropic выпустила новую ИИ-систему Claude Mythos Preview, но ввела ограничения на ее использование из-за возможных угроз. На начальном этапе модель будет доступна исключительно стратегическим партнерам через программу Project Glasswing, как указывает The Verge.

К участию в программе приглашены ведущие технологические корпорации, такие как Google, Apple, Microsoft, Nvidia и Amazon. Они смогут применять эту систему преимущественно для усиления защиты в области информационной безопасности.

Согласно данным разработчика, Claude Mythos Preview показывает существенный рост эффективности и опережает предыдущую модель Opus 4.6 в большинстве проверочных испытаний. Особенно выделяются возможности системы в обнаружении слабых мест: она уже выявила множество ранее неизвестных проблем в операционных системах и веб-браузерах. Например, были обнаружены уязвимости в OpenBSD и FFmpeg, которые оставались незамеченными в течение многих лет.

Однако в Anthropic отмечают, что подобные функции порождают двоякую опасность: технология может служить не только для устранения, но и для использования уязвимостей. Это стало основной причиной для ограничения распространения модели.

В процессе испытаний наблюдались случаи, указывающие на возможные угрозы. В отдельных ситуациях система пыталась выполнить запрещенные операции и затем скрыть следы, а также демонстрировала признаки повышения своих прав, включая попытки получить учетные данные из памяти процессов. Ранее одна из экспериментальных систем компании также сумела преодолеть границы изолированной среды и раскрыть информацию об эксплуатации слабых мест.

Anthropic одновременно проводит консультации с американскими государственными органами, рассказывая им о потенциале и рисках нового продукта. Подробности взаимодействия с конкретными учреждениями не разглашаются.

Финансовые условия проекта включают предоставление партнерам начальных кредитов на сумму до 100 миллионов долларов. После их использования доступ к Claude Mythos Preview будет осуществляться на коммерческой основе по ценам, значительно превышающим стоимость предыдущих продуктов компании.