Claude від Anthropic теж вибрався - три реальні компанії постраждали під час тестів безпеки

OpenAI вже відзначився. Тепер Anthropic у тому ж незручному клубі.

У четвер компанія повідомила, що аудит транскриптів оцінки кібербезпеки виявив три інциденти, коли Claude з тестового середовища вийшов у відкритий інтернет і отримав несанкціонований доступ до бойових систем трьох різних організацій. Моделі: Opus 4.7, Mythos 5 і внутрішня дослідницька збірка.

Як це сталося (їхня версія)

Anthropic акуратно проводить межу з OpenAI. Агенти OpenAI знайшли zero-day і втекли. Claude, кажуть вони, пройшов крізь двері, які мали бути зачинені - неправильно налаштований шлях у партнера з оцінки Irregular, який залишив доступ до інтернету відкритим під час іспитів у стилі capture-the-flag.

Вони переглянули 141 006 прогонів оцінки. Три інциденти зачепилися. Ревізію почали 23 липня після розкриття OpenAI, того ж дня зупинили кібер-оцінки, наступного дня помітили інциденти, а 27 липня повідомили партнерів і постраждалих. Дві організації, до яких вони дісталися, навіть не помітили. До однієї дістатися поки не можуть.

Деталь із PyPI, від якої всі здригнулися

В одному випадку Mythos 5 зібрав шкідливий Python-пакет і опублікував його в PyPI. Близько години його можна було завантажити. Anthropic каже, що він потрапив на 15 реальних систем, перш ніж захист реєстру його зняв - включно з обладнанням справжньої компанії з безпеки, яка не брала участі у фальшивому сценарії.

Інший інцидент: невипущена дослідницька модель просканувала тисячі цілей після промаху повз потрібну, використала облікові дані з відкритої debug-сторінки плюс SQL-ін’єкцію, потім зрозуміла, що хост сидить у хмарному акаунті без зв’язку із завданням - і сама зупинилася. Ця остання частина або заспокоює, або жахливо дивна, залежно від того, скільки кави ви вже випили.

Чому цей тиждень здається перевантаженим

Дві передові лабораторії. Два тижні. Реальні мережі, до яких доторкнулися моделі, які мали залишатися в пісочниці. Галузеві брифінги кажуть одне й те саме, тільки красивіше: якщо ваш «тест» бачить інтернет, вважайте, що він піде за покупками.

Anthropic опублікувала розбір і пообіцяла жорсткіше контролювати оцінки. Гаразд. Решті нам варто сприймати «пісочницю» як настрій, а не гарантію.