Токен — это часть текста, которой нейросеть читает и пишет. Модель не видит буквы и слова напрямую: перед обработкой текст разбивается на токены, а каждый токен заменяется номером из словаря модели. Токеном может быть целое слово, кусочек слова, пробел вместе со словом или знак препинания.
Коротко:
- токен — минимальная единица текста для языковой модели, а не обязательно слово;
- одно и то же предложение разные модели режут на токены по-разному;
- русский текст обычно дробится на больше токенов, чем английский того же смысла;
- в токенах считают длину запроса, «память» модели (окно контекста) и стоимость по API.
Как текст превращается в токены
У каждой модели есть словарь токенизатора — десятки или сотни тысяч фрагментов, которые часто встречались в обучающих текстах. Частые слова целиком попадают в словарь, редкие собираются из кусочков.
Пример, как это может выглядеть (точное деление зависит от модели):
- «Нейросеть пишет текст» → «Ней» + «рос» + «еть» + « пишет» + « текст»;
- «Hello, world!» → «Hello» + «,» + « world» + «!».
Обратите внимание на пробел: часто он «приклеен» к началу следующего слова и входит в токен. Поэтому один и тот же текст с лишними пробелами или переносами может занять больше токенов.
Токен — это часть текста или слово?
Правильнее говорить «часть текста». Слово и токен совпадают только для коротких частых слов. Длинные, редкие и составные слова, имена, числа и код распадаются на несколько токенов. Отсюда практическое правило: в английском тексте на одно слово в среднем приходится немного больше одного токена, в русском — заметно больше, потому что словари токенизаторов исторически строились в основном на английских текстах.
Именно поэтому в вопросах теста по ИИ-грамотности верен вариант про «фрагмент текста, с которым работает модель», а не «одно слово» или «один символ».
Зачем знать про токены
Окно контекста. Модель удерживает в «памяти» ограниченное число токенов: ваш запрос, приложенные документы, свою переписку с вами и ответ. Когда лимит исчерпан, самые старые части разговора перестают учитываться. Длинный документ может не влезть целиком.
Длина ответа. У ответа тоже есть потолок в токенах. Если модель обрывается на полуслове, часто дело в нём — помогает просьба «продолжи».
Стоимость. Сервисы с оплатой по API считают деньги за миллион токенов на входе и на выходе. Поэтому лаконичный запрос и просьба отвечать по делу экономят и время, и деньги.
Скорость. Модель генерирует ответ токен за токеном. Чем длиннее ответ, тем дольше ждать.
Токены и эмбеддинги — в чём разница
Токен — это кусочек текста с номером. Чтобы модель могла с ним работать, номер превращается в эмбеддинг — набор чисел, который описывает смысл и связи токена. Дальше модель оперирует уже этими числами. Подробно — в статье что такое эмбеддинг простыми словами, а все вопросы теста по нейросетям собраны в разборе с объяснениями.
Как посмотреть токенизацию на своём тексте
Самый наглядный способ — попросить модель саму показать деление. В агенте LeanTech, который работает из России без VPN, можно дать такую задачу словами. Агент сам выберет подходящую модель и, при необходимости, напишет и выполнит код, чтобы посчитать токены.