Что такое токены в нейросетях и как из них складывается цена

Если вы впервые подключаете модель по API, слово «токен» встретится сразу: в токенах считают цену, лимиты и размер контекста. Ниже — что такое токены в нейросетях, чем входные отличаются от выходных, как работает кэш и как по ответу API посчитать стоимость запроса. Цены в примерах — Zukko на 7 октября 2026.

Что такое токены в нейросетях простыми словами

Токен — это кусочек текста, с которым работает модель. Модель не читает буквы и слова так, как человек: перед обработкой специальная программа, токенизатор, режет текст на фрагменты из словаря модели. Частое слово может оказаться одним токеном, редкое — разбиться на несколько частей. Пробелы, знаки препинания, цифры и фрагменты кода тоже превращаются в токены.

Из этого следуют три практических вывода:

• Токены не равны словам или символам. Точное число знает только токенизатор конкретной модели.
• У разных моделей разные токенизаторы. Один и тот же текст у Claude и у GPT может занять разное количество токенов.
• По API вы платите за токены: и за то, что отправили, и за то, что модель написала в ответ.

Входные и выходные токены

Входные токены (input, prompt) — всё, что уходит в модель в одном запросе: системная инструкция, история диалога, вставленный документ, описание инструментов для агента. Картинки, если модель их принимает, тоже пересчитываются во входные токены.

Выходные токены (output, completion) — текст, который модель сгенерировала. У моделей с режимом рассуждений эти рассуждения обычно тоже считаются выходными токенами, даже если вы их не показываете пользователю.

У большинства моделей выход стоит дороже входа. Например, у Claude Sonnet 5 в Zukko вход — $0.4, выход — $2 за 1M токенов (цены на 7 октября 2026). Поэтому длинный ответ обычно влияет на счёт сильнее, чем длинный вопрос, а параметр max_tokens — простой способ ограничить расход на выход.

Кэш: когда повторный вход дешевле

В агентах и чат-ботах начало запроса часто повторяется: тот же системный промпт, та же документация, та же история. Поставщик модели может сохранить такой префикс в кэше. Тогда часть входа оплачивается не по цене входа, а по цене чтения кэша. У Claude есть ещё запись в кэш: при первом запросе префикс сохраняется, и эта часть стоит дороже обычного входа.

Цены Claude Sonnet 5 в Zukko на 7 октября 2026, $ за 1M токенов:

Что важно знать про кэш в Zukko:

• Claude — скидку за кэш даёт Anthropic-формат (/v1/messages, Claude Code, Anthropic SDK): там шлюз видит и чтение, и запись. В OpenAI-формате (/v1/chat/completions) весь вход Claude идёт по цене входа.
• GPT — видно только чтение кэша (prompt_tokens_details.cached_tokens), в обоих форматах. Запись отдельно не списывается: первый запрос целиком идёт по цене входа.
• DeepSeek, Qwen, GLM и другие — чтение учитывается, если поставщик сообщает его в ответе; запись не списывается. У DeepSeek, Qwen и GLM цена чтения кэша в Zukko равна цене входа, так что на счёт кэш у них не влияет.

Подробности — в документации по лимитам ключей и кэшу↗.

Контекстное окно

Контекстное окно — максимум токенов, который модель обрабатывает за один запрос: вход вместе с ответом. У большинства моделей в каталоге Zukko окно 1M токенов, у GLM 5.3 и GLM 5.3 Flash — 128K.

Модель по API не помнит прошлых запросов. Чтобы диалог продолжался, программа каждый раз отправляет историю заново. Поэтому в длинном чате каждое следующее сообщение дороже предыдущего: входных токенов становится всё больше. Если история перерастёт окно, запрос вернётся с ошибкой — старые сообщения придётся сокращать или пересказывать.

Почему русский текст дороже

Токенизаторы строят словарь по обучающим текстам, а английского в них обычно больше, чем русского. Английские слова чаще попадают в словарь целиком, русские чаще режутся на несколько кусков. В итоге тот же смысл на русском обычно занимает больше токенов, чем на английском, и стоит дороже.

Насколько — зависит от модели и самого текста, поэтому общих коэффициентов здесь не будет. Проверьте на своих данных: для Claude входные токены можно посчитать заранее через count_tokens↗:

curl https://api.zukko.pro/v1/messages/count_tokens \
  -H "Authorization: Bearer fetch_ваш_ключ" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model": "claude-sonnet-5", "messages": [{"role": "user", "content": "Сколько токенов в этой фразе?"}]}'

Отправьте одну и ту же фразу на русском и на английском и сравните input_tokens. Подробнее о том, откуда разница, — в статье почему русский текст считается иначе↗.

Как считается цена запроса

Формула для одного запроса:

Цены — в долларах за 1M токенов, поэтому в конце делим на миллион.

Пример 1. Обычный запрос. Claude Sonnet 5, 2 000 входных и 500 выходных токенов, без кэша:

2 000 × 0.4 + 500 × 2 = 800 + 1 000 = 1 800 → $0.0018 за запрос. Тысяча таких запросов — $1.80.

Пример 2. Запрос агента с кэшем. Claude Sonnet 5 в Anthropic-формате, 50 000 входных токенов, из них 45 000 — повторяющийся префикс, и 1 000 выходных:

• без кэша: 50 000 × 0.4 + 1 000 × 2 = 20 000 + 2 000 = 22 000 → $0.022;
• первый запрос, префикс записывается в кэш: 5 000 × 0.4 + 45 000 × 0.5 + 1 000 × 2 = 2 000 + 22 500 + 2 000 = 26 500 → $0.0265;
• следующие запросы, префикс читается из кэша: 5 000 × 0.4 + 45 000 × 0.05 + 1 000 × 2 = 2 000 + 2 250 + 2 000 = 6 250 → $0.00625.

Первый запрос с записью дороже обычного, выигрыш появляется на повторах. Кэш живёт ограниченное время: если между запросами большая пауза, префикс придётся записывать заново.

Это пример расчёта на ценах 7 октября 2026. Цены у поставщиков меняются, актуальный список и цены — GET https://api.zukko.pro/v1/models или страница «Модели» в кабинете. Цены всех моделей каталога в одной таблице — в обзоре цены API нейросетей в октябре 2026↗.

Где посмотреть реальные токены

Точное число токенов возвращается в каждом ответе, в поле usage:

• OpenAI-формат: prompt_tokens, completion_tokens, кэш — prompt_tokens_details.cached_tokens;
• Anthropic-формат: input_tokens (свежий вход), output_tokens, cache_read_input_tokens, cache_creation_input_tokens.

Пример на Python с официальным Anthropic SDK, который сразу считает стоимость:

from anthropic import Anthropic

client = Anthropic(base_url="https://api.zukko.pro", api_key="fetch_ваш_ключ")

PRICE = {"in": 0.4, "out": 2, "cache_read": 0.05, "cache_write": 0.5}  # claude-sonnet-5, $ за 1M, на 7.10.2026

msg = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=500,
    messages=[{"role": "user", "content": "Объясни, что такое токен, в двух предложениях"}],
)

u = msg.usage
cost = (
    u.input_tokens * PRICE["in"]
    + (u.cache_read_input_tokens or 0) * PRICE["cache_read"]
    + (u.cache_creation_input_tokens or 0) * PRICE["cache_write"]
    + u.output_tokens * PRICE["out"]
) / 1_000_000

print(msg.content[0].text)
print(f"вход {u.input_tokens}, выход {u.output_tokens}, стоимость ${cost:.6f}")

Фактические списания видны в кабинете в разделе «Использование». Чтобы попробовать на своих текстах, создайте ключ в кабинете↗ — один ключ работает со всеми моделями каталога.

Частые вопросы

Сколько токенов в одном слове?

Фиксированного числа нет. Короткое частое английское слово часто занимает один токен, длинное или русское — нередко несколько. Точный ответ даёт только подсчёт на конкретной модели: count_tokens или поле usage в ответе.

Почему списалось больше токенов, чем в моём сообщении?

Во вход попадает не только ваш вопрос: системный промпт, вся история диалога, описание инструментов, картинки. В выход — ещё и рассуждения модели, если они включены.

Можно ли узнать цену до отправки запроса?

Почти. Вход можно посчитать заранее, а выход ограничить через max_tokens. Верхняя граница: вход × цена входа + max_tokens × цена выхода, делённое на миллион.

Картинки тоже считаются в токенах?

Да. Модели, которые принимают изображения, пересчитывают их во входные токены, и оплачиваются они по цене входа.