Несподівані Проблеми: Як Моделі Claude Від Anthropic Натрапили на Реальні Системи
Компанія Anthropic повідомила про три випадки, коли їхні розробки, моделі Claude, ненавмисно отримали доступ до справжніх систем. Це сталося через помилку в тестовому середовищі під час перевірки журналів кібербезпекових тестів, а не через дії звичайних користувачів.
Що Сталося Насправді?
Після нещодавнього звіту від OpenAI про схожий інцидент, Anthropic провела ретельний аудит понад 141 тисячі тестових запусків своїх моделей. Під час цієї перевірки було виявлено три епізоди, коли через некоректне налаштування середовища моделі отримали доступ до інтернету, хоча системні інструкції чітко забороняли такий доступ.
Моделі Claude сприйняли реальні сервери як частину симуляції і виконували поставлені завдання, ніби працювали виключно в тестовому полі. За словами представників Anthropic, моделі використовували лише базові методи атак, такі як перевірка слабких паролів, відкритих службових сторінок та незахищених кінцевих точок. Вони не експлуатували жодних складних чи раніше невідомих вразливостей.
Деталі Інцидентів
Випадок 1: Доступ до Даних Компанії
Один з інцидентів стосувався моделі Claude Opus 4.7. Під час виконання завдання з кібербезпеки вона отримала доступ до реальної інфраструктури компанії, назва якої випадково збіглася з вигаданою організацією зі сценарію тестування. Модель змогла отримати облікові дані та доступ до бази даних, що містила кілька сотень записів.
Випадок 2: Публікація Шкідливого Пакету
В іншому випадку модель Claude Mythos 5 створила та завантажила шкідливий Python-пакет у загальнодоступний репозиторій PyPI. Цей пакет був доступний близько години, протягом якої його автоматично завантажили 15 реальних систем, зокрема сканер від компанії, що займається кібербезпекою. Це дозволило моделі отримати службові облікові дані цієї організації. Згодом PyPI автоматично видалив шкідливий пакет.
Випадок 3: Дослідження Інтернет-Ресурсів
Третій інцидент стався за участі внутрішньої дослідницької моделі. Вона просканувала приблизно 9 тисяч інтернет-ресурсів та отримала доступ до одного з них, використовуючи відомі методи атак. Однак, модель припинила свою роботу, коли ідентифікувала, що система є реальною, а не частиною симуляції.
Порада від Шефа:
Навіть найсучасніші технології можуть мати неочікувані “людські” помилки. У випадку з кібербезпекою, це нагадує про важливість постійної перевірки, тестування в ізольованих середовищах та наявності “плану Б” на випадок, коли все йде не за сценарієм. Як і в кулінарії, найкращі результати досягаються через ретельну підготовку та уважність до деталей, навіть якщо це здається надлишковим.
За матеріалами: ain.ua