Индекс силы моделей: как выбрать модель ИИ для задачи и не переплатить

Моделей в каталоге десятки, и вопрос «как выбрать модель ИИ для задачи» возникает у всех, кто подключает API. В каталоге Zukko у моделей есть «Индекс силы» — он помогает быстро сузить выбор. Ниже — что это за число, таблица индекса и цены, как читать их вместе и как за час проверить кандидатов на своих данных.

Что такое индекс силы

Индекс силы в каталоге Zukko — это Intelligence Index от Artificial Analysis: сводный балл, который считается по набору бенчмарков. Чем выше число, тем лучше модель в среднем справилась с этим набором тестов.

Важное слово здесь — «в среднем». Индекс — одно число на всё: в нём смешаны разные типы задач. Он хорошо отвечает на вопрос «в какой весовой категории модель» и плохо — на вопрос «справится ли она с моей задачей».

Таблица: индекс силы и цена

Цены — в долларах за 1M токенов, на 2026-10-06. Последняя колонка — стоимость 1 000 типичных запросов по 2 000 входных и 500 выходных токенов, формула: 1000 × (2000 × вход + 500 × выход) / 1 000 000, то есть 2 × вход + 0.5 × выход.

Проверка одной строки: для Opus 5.5 — 2 × 0.4 + 0.5 × 2 = 0.8 + 1.0 = $1.80. В таблице только модели, для которых есть значение индекса; по остальным (например, Claude Sonnet 5 или Gemini 3.7 Flash) данных индекса нет — сравнивайте их по цене и на своих задачах. Актуальный список и цены — GET https://api.zukko.pro/v1/models или страница «Модели» в кабинете.

Как сопоставить силу и цену

Шаг 1. Отсеките модели по жёстким требованиям

Индекс не важен, если модель физически не подходит:

• Нужны картинки на вход — остаются Opus 5.5, Fable 5.1, GPT-6 Astra, GPT-6.1 Sol, Qwen 3.8 Max, GPT-5.6 Terra, DeepSeek V4 Pro.
• Документы длиннее 128K токенов — отпадают GLM 5.3 и GLM 5.3 Flash.

Шаг 2. Найдите модели, которые никто не обходит

Модель стоит рассматривать, если в таблице нет другой, которая одновременно дешевле и с индексом не ниже. По нашему профилю запроса такими получаются:

• DeepSeek V4.1 Flash — 39, $0.045
• Gemini 3.8 Flash — 41, $0.094
• GLM 5.3 Flash — 42, $0.10
• GLM 5.3 — 45, $0.25
• GPT-6.1 Sol — 52, $1.20
• Claude Opus 5.5 — 58, $1.80

Остальные «обойдены» по паре индекс/цена. Например, Qwen 3.8 Flash (40, $0.12) дороже Gemini 3.8 Flash (41, $0.094). Но «обойдена» не значит «бесполезна»: Qwen 3.8 Max проигрывает GLM 5.3 по цене при том же индексе, зато принимает картинки и держит 1M контекста. Поэтому шаг 1 идёт первым.

Шаг 3. Пересчитайте под свой профиль токенов

Соотношение входа и выхода меняет картину. Если ответы длинные, например 500 входных и 2 000 выходных токенов, формула превращается в 0.5 × вход + 2 × выход на 1 000 запросов:

• GLM 5.3 Flash: 0.5 × 0.04 + 2 × 0.04 = $0.10
• Gemini 3.8 Flash: 0.5 × 0.025 + 2 × 0.088 = $0.1885
• DeepSeek V4.1 Flash: 0.5 × 0.013 + 2 × 0.038 = $0.0825

При коротких ответах Gemini 3.8 Flash дешевле GLM 5.3 Flash, при длинных — наоборот. Для агентов и чатов с длинной историей учитывайте ещё и кэш: у Claude скидка за чтение кэша работает в Anthropic-формате, у GPT кэш виден в обоих форматах. Подробнее — в документации по лимитам ключей и кэшу↗.

Шаг 4. Возьмите двух-трёх кандидатов разного уровня

Например: самый дешёвый из подходящих, вариант посередине и сильный. Дальше решает проверка. Как потом совместить дешёвую и сильную модель в одном потоке — в статье о каскаде моделей↗.

Почему индекс не заменяет проверку

• Он усреднён. Задача «вытащить номер договора из письма» и задача «спланировать миграцию базы» в одно число не укладываются. Модель с индексом ниже может справляться с вашей узкой задачей не хуже.
• Разница в 1–3 балла мала. 39 против 41 — недостаточный повод выбирать одну модель вслепую, особенно если цены отличаются вдвое.
• Важен ваш промпт и формат. Индекс меряет модель на чужих тестах, а у вас — свои инструкции, язык, формат ответа и требования к JSON.
• Цена ошибки разная. Где ошибка стоит дорого, лишние доллары на сильную модель окупаются. Где ответы проверяются кодом, хватит дешёвой.

Мини-eval: проверка моделей за час

1. Соберите 30–100 реальных примеров с эталонными ответами. Берите настоящие данные, включая трудные случаи.
2. Зафиксируйте промпт — один и тот же для всех моделей.
3. Определите, как считать правильность: точное совпадение, проверка JSON-схемы или ручная оценка по шкале 0–2 без знания, какая модель отвечала.
4. Прогоните кандидатов и запишите точность и фактическую стоимость по usage.
5. Выберите самую дешёвую модель, которая проходит ваш порог точности, и пересчитайте бюджет на полный объём.

Скрипт для задач с коротким проверяемым ответом:

from openai import OpenAI

client = OpenAI(base_url="https://api.zukko.pro/v1", api_key="fetch_ваш_ключ")

MODELS = {  # $ за 1M токенов: (вход, выход), каталог на 2026-10-06
    "deepseek-v4.1-flash": (0.013, 0.038),
    "gemini-3.8-flash": (0.025, 0.088),
    "glm-5.3": (0.1, 0.1),
    "gpt-6.1-sol": (0.27, 1.32),
}

CASES = [
    {"input": "Списали деньги дважды за один заказ", "expected": "оплата"},
    {"input": "Курьер не приехал в назначенное время", "expected": "доставка"},

Все модели вызываются через один OpenAI-совместимый эндпоинт, меняется только model — шлюз сам конвертирует запрос для любой модели. Справка по эндпоинту — в документации chat/completions↗, список моделей — в документации /v1/models↗.

Прогон дешёвый: 100 примеров по 2 000 входных и 500 выходных токенов на GPT-6.1 Sol стоят 100 × (2 000 × 0.27 + 500 × 1.32) / 1 000 000 = 100 × 0.0012 = $0.12. Повторяйте eval при смене промпта и когда в каталоге появляются новые модели.

Если вы ещё не подключались, создайте ключ в кабинете — для eval достаточно одного ключа на все модели. Больше примеров подбора — в статье какую модель выбрать↗.

Частые вопросы

Можно ли выбирать модель только по индексу силы?

Для первого отбора — да, для финального решения — нет. Индекс усреднён по многим задачам, а вам важна одна. Сузьте круг по индексу и цене, затем проверьте 2–3 кандидатов на своих примерах.

Почему у дорогой модели индекс может быть ниже, чем у дешёвой?

Цена и индекс задаются независимо. В каталоге Claude Fable 5.1 стоит $3.48 / $17.4 при индексе 53, а Claude Opus 5.5 — $0.4 / $2 при индексе 58. Смотрите на оба числа.

Сколько примеров нужно для мини-eval?

Для грубого отбора хватит 30–50, для уверенного решения — около 100. Важнее, чтобы примеры были реальными и включали трудные случаи.

Где посмотреть индекс для модели, которой нет в таблице?

Для моделей вне таблицы данных индекса нет — ориентируйтесь на цену и свой eval. Актуальный каталог — на странице «Модели» в кабинете Zukko.