Модель не читає букв

Спершу текст ріжуть на токени: шматки зі словника моделі. Це можуть бути цілі слова, частини слів, пробіли, цифри. Далі модель бачить лише номери цих шматків.

У «Лічилки» словник крихітний: дванадцять токенів, цифри від 0 до 9, + і =. Приклад 17+25= для неї — шість токенів. У сучасних моделях словник має від 100 до 260 тисяч токенів.

Слово стає точкою в просторі

Номер токена — це номер рядка у великій таблиці. Модель бере цей рядок: список із 32 чисел. Такий список називають вектором ембедінгу.

Під час навчання ці числа зсуваються так, що слова зі схожою роллю опиняються поруч. Напрямки в цьому просторі набувають сенсу: «стать», «множина», «столиця».

Порядок слів має значення

Увага, головний вузол моделі, сама порядку не бачить. Для неї обидва речення нижче складаються з тих самих трьох токенів.

Тому до кожного вектора додають ще один, що кодує місце. «Лічилка» і GPT-2 просто вивчають окремий вектор для кожної позиції: на сцені це таблиця wpe.

Сучасні моделі (Llama, Qwen, DeepSeek, Mistral) використовують RoPE. Добуток повернутих запиту й ключа залежить від їхнього змісту і від відстані між токенами, але не від їхніх абсолютних місць. Масштабуючи кути, контекст розтягнули з 2 тис. до 128 тис. токенів і далі. У Qwen3.8-27B (2026) базове вікно — 262 тис. токенів, а масштабування кутів YaRN розтягує його приблизно до 1 млн.

Спершу вирівняти масштаб

Перед кожним вузлом вектор нормалізують: віднімають середнє й ділять на розкид. Потім множать на вивчений γ і додають β. Без цього масштаб входу кожного вузла залежав би від глибини, і глибоку мережу було б важко навчити.

Кожен токен шукає потрібних сусідів

Самоувага визначає, які попередні токени важливі для поточного. Вектор кожного токена множать на три матриці й отримують три коротші вектори, по 8 чисел:

Запит одного токена множать на ключі всіх попередніх токенів і на власний ключ. Добуток ділять на корінь із довжини ключа, у «Лічилки» на √8, щоб бали не були завеликими. Великий бал означає збіг. Потім softmax перетворює бали на частки, що в сумі дають 100%, і з цими частками змішують значення.

Хто на кого дивиться

Якщо зробити те саме для кожного токена, вийде квадратна матриця уваги. Рядок — хто дивиться, стовпчик — на кого. Дуги над токенами показують той самий рядок наочніше.

Правий верхній трикутник порожній. Це каузальна маска: токен не бачить майбутніх токенів. Інакше під час навчання модель просто підглядала б у відповідь.

Шістнадцять способів дивитися

В одному блоці «Лічилки» чотири голови уваги, кожна з власними Q, K, V. Вони працюють паралельно, і в навченій моделі кожна вчиться дивитися на своє. «Лічилку» не навчали, тому трьом головам першого блока ваги запиту й ключа задано вручну — так, як могло б вийти після навчання: перша дивиться на попередній токен, друга — на той самий розряд попереднього числа, третя — на знак «=». Ваги решти тринадцяти голів синтетичні, тож їхні узори випадкові. Ось усі шістнадцять голів на твоєму прикладі:

Виходи чотирьох голів (по 8 чисел) склеюють у вектор із 32 чисел і множать на матрицю Wo. Результат не замінює вхідний вектор, а додається до нього.

Обміркувати кожен токен окремо

Увага змішує інформацію між токенами. MLP обробляє кожен токен окремо: розширює вектор у чотири рази, пропускає через нелінійну функцію GELU і стискає назад. GELU майже не змінює великі додатні числа, а від'ємні зводить майже до нуля, тому кожен нейрон спрацьовує лише на частині входів.

Тут зосереджена більшість параметрів моделі. Дослідження інтерпретованості показують, що окремі нейрони й напрямки в MLP відповідають конкретним поняттям, тому MLP часто називають пам'яттю моделі.

Блоки дописують, а не переписують

Нормалізація, увага, додавання, нормалізація, MLP, додавання — це один блок трансформера. Вектор кожного токена тече крізь блоки, як по магістралі, а кожен вузол лише читає з неї й додає свою поправку.

Саме завдяки цьому можна складати десятки й сотні блоків: сигнал і градієнт проходять напряму, не згасаючи. У «Лічилки» чотири блоки, у GPT-3 — 96, у Kimi K3 — 93, у Mistral Medium 3.5 — 88.

Ймовірність для кожного слова словника

Останній вектор множать на матрицю «вектор × словник». Виходить логіт, тобто бал, для кожного токена словника, а softmax перетворює бали на ймовірності. Модель не обирає слово, вона дає розподіл.

Низька температура загострює розподіл: відповіді передбачувані. Висока згладжує: більше різноманіття, більше ризику. Top-p відкидає хвіст: лишає найімовірніші варіанти, що разом дають p.

Відповідь пишеться по одному токену

Обраний токен дописують у кінець — і вся модель запускається знову, тепер на довшій послідовності. Дві цифри відповіді — два повні проходи крізь мережу, сто токенів — сто проходів. Так само пишуть відповіді всі чат-боти.

Уся LLM на одній схемі

Найбільша мовна модель відрізняється від «Лічилки» розміром, даними й навчанням, але не принципом. Якщо зрозуміло, як кілька десятків тисяч чисел складають 17 і 25, зрозуміло й те, що відбувається всередині будь-якого чат-бота.

Помилка як одне число

Мета навчання дуже проста: передбачити наступний токен у справжньому тексті. Модель бачить «Столиця України —», видає ймовірності, а правильна відповідь відома: «Київ».

Помилку рахують як −log p, де p — ймовірність, яку модель дала правильному токену. Упевнено вгадала — втрата майже нуль. Упевнено помилилася — втрата велика.

Цю втрату усереднюють за трильйонами токенів навчального тексту. Усе навчання — це пошук таких чисел у таблицях, за яких середня втрата найменша.

Крок за кроком донизу

Як знайти найкращі числа? Для кожного параметра рахують градієнт: у який бік і наскільки зміниться втрата, якщо параметр трохи зсунути. Потім усі параметри одночасно зсувають у бік зменшення втрати. Градієнти для всіх параметрів за один прохід рахує алгоритм зворотного поширення помилки.

Від тексту з інтернету до асистента

Чат-бот, з яким ти говориш, проходить три етапи. Архітектура на всіх однакова, змінюються дані й мета.

Від десятків тисяч до трильйонів

На сцені кожна велика модель — вежа з кубиків: один кубик — мільярд параметрів, висота пропорційна розміру. Помаранчеве — параметри, що працюють на кожен токен: у щільної моделі це вся вежа, у суміші експертів — нижня частина (для наочності її зібрано внизу; насправді ці ваги розкидані по всіх шарах). «Лічилка» і GPT-2 small менші за один кубик — їх видно в лупі. Натисни «Віддалятися» — камера пройде від «Лічилки» до Kimi K3, і кожен крок покаже, у скільки разів модель більша за попередню.

Важить не лише розмір, а й дані. GPT-3 прочитала 300 млрд токенів, Llama 3 — понад 15 трлн, DeepSeek-V4-Pro (2026) — понад 32 трлн. DeepSeek-V4.1-Flash навчали на 45 трлн токенів тексту й зображень. Дослідження Chinchilla (2022) показало, що за фіксованого бюджету обчислень оптимально давати ≈20 токенів на параметр. Сучасні моделі навчають значно довше, бо менша модель дешевша в роботі.

Пам'ять, яка росте з кожним словом

Під час генерації ключі й значення попередніх токенів не змінюються. Їх не перераховують, а зберігають: це KV-кеш. На сцені підсвічено все, що в ньому лежить. Кеш росте з кожним токеном. Коли модель одночасно обслуговує багато довгих розмов, кеш займає більше пам'яті GPU, ніж самі ваги.

Трильйон параметрів, але працює дещиця

На сцені «Лічилка» отримала суміш експертів: MLP кожного блока розрізано на 8 експертів. Маршрутизатор — мала матриця, що для кожного токена рахує, які два експерти йому найкорисніші; світяться лише вони. На сцені токени змінюються по черзі, і для кожного маршрутизатор обирає свою пару експертів. У GLM-5.3 (серпень 2026) те саме, тільки експертів 256 плюс один спільний, а на токен вмикається 8. У Kimi K3 експертів 896, на токен вмикається 16 і ще два спільні.

Знань як у гіганта, витрат на токен як у середньої моделі. Так побудовані майже всі великі відкриті моделі 2026 року: DeepSeek-V4, Kimi K3, Qwen3.8, GLM-5.3, MiniMax-M3. У DeepSeek-V4-Pro на токен працює 49 млрд з 1,6 трлн параметрів, тобто близько 3%. Але всі експерти мусять лежати в пам'яті, тож обчислення така модель економить, а пам'ять — ні.

Подумати, перш ніж відповісти

Архітектура та сама, змінилося те, як модель використовує генерацію. Перед відповіддю вона пише довгий хід думок: розкладає задачу, перевіряє себе, повертається. Кожен токен роздумів — ще один повний прохід крізь мережу.

Такі моделі (OpenAI o1 у 2024 році, DeepSeek-R1 у 2025-му та їхні наступники) проходять додатковий етап навчання з підкріпленням. Модель отримує винагороду за правильний кінцевий результат у задачах, які можна перевірити автоматично: математика, код, логіка. Будувати ланцюжки міркувань модель вчиться сама. У 2026 році міркування стало стандартом флагманів. У Claude Opus 5.5, Kimi K3 і GLM-5.3 його не можна вимкнути, можна лише обрати рівень, від low до max.

Було → стало

Кожна помітна зміна в архітектурі й навчанні: що замінили, чим і де це застосовано. Записи впорядковано за роком. Свіжі випуски моделей, рекорди й українські проєкти — у стрічці «Новинки».