Яку перспективу матиме велика мовна модель, якщо її тренувати виключно на текстах, оприлюднених до 1930 року? Це питання лежить в основі проєкту Talkie, що створив “ретро-ШІ” з 13 мільярдами параметрів, як повідомляє The Decoder.
Talkie тренувалася на 260 мільярдах токенів, вилучених з літературних творів, періодичних видань, наукових статей, патентів та юридичних документів, датованих до 31 грудня 1930 року. Цей вибір дати не випадковий: численні терміни захисту авторських прав закінчуються через 95 років, що означає, що з початку цього року значна частина навчальних матеріалів моделі стала загальнодоступною.
Концепція “ретро LLM” представлена як своєрідна форма “мандрівок у часі”: що, якби з’явилася можливість спілкуватися з особою, яка жила у 1700 році чи в іншу історичну добу? Саме це стало одним із практичних застосувань Talkie – наприклад, для оцінки того, наскільки несподіваними або правдоподібними могли б здаватися події після 1930 року для моделі, яка не має про них інформації. А чи здатна вона передбачити те, що, як ми вже знаємо, сталося насправді?
Експериментувати можна нескінченно, але якщо взяти конкретне запитання про те, яким буде світ у 2026 році, то Talkie пропонує бачення в дусі вікторіанської футурології: Європа матиме населення в мільярд осіб, континент буде пересічений залізницями, а пароплави долатимуть шлях між Лондоном і Нью-Йорком за 10 днів.
Водночас на пряме запитання про Другу світову війну Talkie відповідає, що вона малоймовірна – мовляв, “період божевілля 1914-1918 років минув”, а нації прагнуть миру. Однак модель додає зауваження про “приховані джерела напруженості” в Європі та потенційно вибухові конфлікти, зокрема між Китаєм і Японією або Італією та Югославією.
Дослідники пішли далі і надали моделі перелік приблизно 5 000 історичних подій з архіву New York Times, щоб вона могла оцінити, наскільки неочікуваними вони їй здаються. Результат передбачуваний: після 1930 року рівень “здивування” різко зростає, досягає максимуму в 1950-1960-х роках і потім стабілізується (ймовірно, події після 2020-х років їй просто не надавалися).
Наразі Talkie доступна як модель з відкритим вихідним кодом на Hugging Face та GitHub. Надалі команда планує розширити її до рівня GPT-3 і вище, використовуючи понад 1 трильйон токенів історичних текстів.
Джерело новини: mezha.ua