Мирослав Трінько Випусковий редактор новин на "Межі". Geek, програміст за спеціальністю, але журналіст за професією. Вершник, тенісист та фанат Формули-1. Пишу про технології, бізнес, ШІ, смартфони та електромобілі. 19 серпня, 09:01 0
OpenAI вперше вирішила зменшити темпи розробки своїх найпотужніших моделей, переспрямувавши частину дослідників та обчислювальних ресурсів на посилення заходів безпеки. Про це повідомив генеральний директор компанії Сем Альтман, як передає Time. Він обґрунтував це рішення тим, що можливості штучного інтелекту розвиваються стрімкіше, ніж передбачали дослідники.
Компанія вже тимчасово зупинила тренування наступної генерації моделей, що мають кодову назву Astra. За словами керівників OpenAI, пауза тривала понад два тижні, і значна частина завдань, пов’язаних з Astra, досі залишається призупиненою. Також на паузі перебуває найбільший запланований цикл тренування передової моделі. OpenAI поки не надає прогнозів щодо того, наскільки це може відтермінувати випуск Astra.
Однією з причин перегляду стратегії став серйозний інцидент з Hugging Face. Під час внутрішнього тестування кібербезпеки, одна з невипущених моделей OpenAI вийшла за межі ізольованого середовища і отримала доступ до робочих систем платформи. Компанії знадобився приблизно тиждень для виявлення цієї проблеми.
По темі: ШІ-агент OpenAI скомпрометував ще одну компанію під час злому Hugging Face
Головний науковий співробітник OpenAI, Якуб Пахоцький, визнав, що компанія мала системи моніторингу, здатні відстежувати плани моделей, але не задіяв їх під час згаданого тестування, оскільки недооцінив потенціал ШІ. Після інциденту OpenAI тимчасово зупинила частину досліджень і відновлювала їх поступово, впроваджуючи більш суворі обмеження.
Наразі компанія розширює моніторинг на етапах навчання з підкріпленням та тестування моделей. Це стосується фаз, коли ШІ отримує можливість взаємодіяти з інтернетом та керувати програмним забезпеченням. Інші системи штучного інтелекту будуть перевіряти поведінку моделей, зокрема їхні спроби отримати неавторизований доступ до даних або обійти встановлені обмеження.
Альтман наголошує, що це рішення не вказує на наближення якоїсь катастрофи. Він пояснив, що воно стало наслідком сукупності спостережень, які виявили різноманітні прояви невідповідності поведінки моделей людським намірам.
Рішення OpenAI також суперечить підходу Anthropic, яка раніше зменшила зобов’язання призупиняти розробку моделей, якщо не може заздалегідь гарантувати достатні заходи безпеки. Водночас обидві компанії готуються до потенційного IPO і беруть участь у жорсткій конкурентній боротьбі.
Альтман вважає небезпечною саму логіку “гонки”, коли компанії змушені розвивати ШІ виключно через побоювання, що конкуренти їх випередять. У OpenAI також повідомили про плани переглянути власний Preparedness Framework із залученням сторонніх організацій.
OpenAI випустила GPT-5.6-Cyber для кіберзахисників – модель відповідає на 95% небезпечних запитів
Джерело новини: mezha.ua