Google представляє Titans: нейромережі з пам'яттю, як у людини

Компанія Google зробила значний крок у розвитку штучного інтелекту, представивши нову архітектуру нейромереж під назвою Titans. Ця розробка групи фахівців Google під керівництвом Алі Бехруза, Пейліна Чжуна та Вахаба Міррокні має на меті навчити системи машинного навчання ефективніше обробляти великі масиви даних і використовувати довготривалу пам'ять, подібно до людського мозку.

Ключова ідея Titans полягає в об'єднанні короткочасної та довготривалої пам'яті в єдину модель, що дає змогу подолати обмеження, властиві традиційним архітектурам нейромереж. За словами дослідників, Titans демонструють неймовірні результати в різноманітних сферах, враховуючи мовне моделювання, аналіз часових рядів, дослідження геномів та виконання логічних завдань, що потребують тривалого запам'ятовування інформації.

Однією з головних особливостей нової архітектури є здатність обробляти мільйони точок даних без втрати точності. Модуль пам'яті Titans розроблений так, щоб самостійно визначати, яку інформацію необхідно зберігати, а яку можна відкинути, що є аналогічним принципам роботи людської пам'яті. Для реалізації цієї функції в Titans використовують додатковий нейронний модуль, що відповідає за довготривале зберігання даних.

Для різних типів завдань Google розробила три варіації Titans: MAC (Memory as Context), MAG (Memory as Gating) та MAL (Memory as a Layer). Кожна з цих версій оптимізована для конкретних задач зі збереження та використання пам'яті. Розробники стверджують, що в деяких тестах, особливо в завданнях з розширеною логікою та довгим контекстом, Titans значно перевершують не тільки класичні, а й багато сучасних архітектур.

До прикладу, ChatGPT має обмеження в чотири тисячі контекстних токенів, що дозволяє йому аналізувати приблизно чотири тисячі слів за одну сесію перед тим, як пам'ять почне очищатися. Titans же оперують близько двома мільйонами токенів, що дозволяє аналізувати цілі книги.

Ця розробка є важливим кроком у розвитку ШІ та наближає нас до створення систем, здатних до більш складних та інтелектуальних завдань. Раніше засновник OpenAI Сем Альтман прогнозував, що штучний інтелект досягне самоусвідомлення протягом наступних п'яти років.