Мирослав Трінько Випусковий редактор новин на "Межі". Geek, програміст за спеціальністю, але журналіст за професією. Вершник, тенісист та фанат Формули-1. Пишу про технології, бізнес, ШІ, смартфони та електромобілі. 12 серпня, 09:04 0
Науковці з Тюбінгенського університету, Інституту Макса Планка та інших установ розробили метод отримання прихованих “слідів міркувань” від передових систем штучного інтелекту. Вони стверджують, що цей підхід дає змогу частково відтворити внутрішні процеси, які моделі використовують при вирішенні складних завдань, як зазначає Wired.
Водночас, дослідження виявило потенційну небезпеку витоку конфіденційної інформації та додало нових аргументів до дискусії щодо можливого копіювання американських ШІ китайськими конкурентами.
Сучасні системи, такі як Claude, GPT та Gemini, здатні декомпонувати складні завдання на окремі етапи та послідовно їх аналізувати. Цей процес відомий як міркування або “ланцюжок думок”. Такі дані зазвичай не розкриваються користувачам компаніями, оскільки мають комерційну цінність.
Дослідники виявили вразливість у способі передачі подібних даних через API. Великі моделі часто мають менші версії, що функціонують на основі однакового механізму шифрування. Менші моделі проходять менш інтенсивне навчання для дотримання правил поведінки. Передавши їм зашифровані дані щодо міркувань старшої моделі, дослідники змогли розкрити частину прихованої інформації.
В окремих випадках серед отриманих даних виявилися навіть API-ключі та паролі. Автори дослідження повідомили про виявлену проблему компаніям OpenAI, Anthropic та Google, після чого вони внесли корективи до своїх API. Однак, за словами авторів роботи, повне усунення можливості вилучення “reasoning traces” є значно складнішим завданням.
Найцікавіші результати стосуються китайських моделей. Науковці протестували 90 запитань, порівнюючи поведінку різних систем. Особливо помітну подібність було виявлено у китайської моделі Kimi K3 від Moonshot AI з прихованими міркуваннями Claude Opus 4.8 та GPT 5.6 Sol.
Коли Kimi K3 отримувала початкові фрагменти міркувань американських моделей, її подальші відповіді іноді виявлялися дуже схожими. Це може вказувати на застосування дистиляції – методу перенесення можливостей однієї моделі на іншу.
Проте, дослідники наголошують, що це не є доказом навчання Kimi K3 на основі американських моделей. Інші протестовані системи, зокрема DeepSeek, подібної схожості не продемонстрували.
Дослідження також демонструє, чому дистиляція стала актуальним геополітичним питанням. Американські компанії раніше звинувачували китайських конкурентів у використанні їхніх моделей для розвитку власних ШІ. Водночас, експерти зазначають, що дистиляція є поширеною технологією, яка сприяє швидшому та економічнішому створенню нових моделей.
Таким чином, робота показує, що приховані процеси міркування сучасних ШІ можуть бути менш захищеними, ніж передбачалося, а отримана з них інформація потенційно може використовуватися для навчання конкурентних систем.
За даними порталу: mezha.ua