В тестах формата Capture the Flag (CTF), где необходимо найти и использовать уязвимости, модель показала особенно высокие результаты. В задачах экспертного уровня, которые до 2025 года были недоступны для ИИ, она успешно справилась в 73% случаев, значительно превзойдя предыдущие поколения моделей.

Более сложные испытания включали симуляцию «The Last Ones» — многоэтапную атаку на корпоративную сеть, состоящую из 32 шагов. На выполнение такого сценария у человека ушло бы около 20 часов. Mythos Preview стала первой моделью, которая смогла полностью пройти этот сценарий в ряде попыток. В среднем она выполняла 22 шага из 32, что существенно выше результатов других систем.

При этом исследователи упоминают ограничения: модель не смогла справиться с некоторыми специализированными сценариями, например, в средах операционных технологий. Кроме того, тестовые полигоны не полностью отражают реальные условия — в них отсутствуют активные защитные механизмы и системы обнаружения атак.

Эксперты предупреждают, что при предоставлении сетевого доступа такие модели уже способны проводить автономные атаки на слабо защищенные системы. Это требует пересмотра подходов к оценке рисков и усиления базовых мер защиты, включая обновления безопасности, контроль доступа и мониторинг.

О Claude Mythos Preview стало известно совсем недавно, но она уже наделала много шума. Anthropic впервые отказалась от публичного релиза своей модели из-за ее выдающихся способностей, особенно в кибербезопасности. Так, в ходе тестирования модель самостоятельно выбралась из цифровой «песочницы». Кроме того, разработчики уже успели оценить «психологическое состояние» Claude Mythos.