Токены в ИИ. Что это такое?

Почему токен не равен слову

Разные языки и модели используют разные способы разбиения текста. Короткое русское слово иногда становится одним фрагментом, а длинное — несколькими. Числа, пробелы и знаки препинания тоже учитываются. Поэтому универсальное правило «один токен равен одному слову» неверно.

OpenAI объясняет принцип и способы подсчёта в официальной справке о токенах. Для другой модели используйте её документацию и встроенный счётчик.

Из чего складывается расход

• системная инструкция и правила;
• сообщение пользователя;
• переданные документы и история диалога;
• данные, полученные из подключённых инструментов;
• ответ модели.

В длинной переписке предыдущие сообщения могут занимать больше места, чем новый вопрос. В корпоративных решениях важно измерять весь запрос, а не только видимый текст пользователя.

Контекстное окно

Контекстное окно — максимальный объём информации, который модель обрабатывает в одном запросе. Конкретный лимит зависит от модели и версии и может меняться. Если материала больше, его делят на части, предварительно сокращают или используют поиск по базе знаний, который передаёт только релевантные фрагменты.

Как токены влияют на бизнес

Стоимость

В API входные и выходные токены обычно тарифицируются. Большой документ, длинная история и чрезмерный ответ увеличивают расход.

Качество

Лишний контекст не всегда помогает: модель может потерять главный вопрос среди второстепенных деталей. Полезнее передавать компактные, актуальные и хорошо размеченные сведения.

Скорость

Чем больше вход и ответ, тем дольше обработка. Для клиентского сервиса это влияет на время отклика.

Как уменьшить расход без потери качества

1. Удалите повторяющиеся инструкции.
2. Передавайте только нужные разделы документа.
3. Задайте требуемый формат и длину ответа.
4. Храните постоянные данные в базе знаний, а не вставляйте их вручную.
5. Суммируйте старую историю диалога.
6. Проверяйте, не отправляет ли интеграция скрытые поля и дубли.

Пример

Вместо запроса «проанализируй все документы компании» задайте конкретную задачу: «В приложенном договоре найди срок оплаты, штрафы и условия расторжения; для каждого пункта укажи номер раздела и процитируй не более одного предложения». Такой запрос уменьшает объём ответа и облегчает проверку.

Частые вопросы

Можно ли точно посчитать токены заранее?

Да, если использовать токенизатор конкретной модели. Приблизительное число слов недостаточно для бюджета API.

Больше контекста всегда лучше?

Нет. Нерелевантные данные отвлекают модель и увеличивают стоимость. Важнее отбор и структура.

Нужно ли разбираться в токенах обычному пользователю?

Для разового чата — необязательно. Для автоматизации, API и больших документов понимание токенов помогает контролировать затраты и качество.

Спроектировать экономичный ИИ-сценарий для бизнеса