Как выбрать шлюз к моделям: на что смотреть

Шлюзов к моделям много, и отличаются они не столько набором моделей, сколько тем, что происходит, когда что-то идёт не так. Ниже проверки, которые стоит сделать до переноса рабочего трафика. Все делаются за пару минут и не требуют оплаты.

Есть ли прайс до регистрации

Если цену показывают только после заведения аккаунта — это само по себе ответ. Нормальная практика: список моделей и цены доступны публично. В Zukko список идентификаторов отдаёт /v1/models, а цены и контекст — /v1/models/info (они же на странице «Модели» в кабинете).

curl https://api.zukko.pro/v1/models
curl https://api.zukko.pro/v1/models/info

Заодно посмотрите, что именно отдают эндпоинты: там должны быть идентификаторы, которые вы поставите в конфиг, и цены в понятных единицах.

Тариф симметричный или нет

У большинства провайдеров выходные токены дороже входных в три-пять раз. У посредника бывает иначе, и это меняет арифметику.

Правило простое: для агентских сценариев смотрите цену входа, для чатовых — выхода. Плоский тариф выгоден агентам, асимметричный — тем, у кого короткие запросы и длинные ответы.

Совпадает ли списание с usage

Самая важная проверка, и делается она на первом же запросе.

API возвращает точное число токенов в поле usage:

"usage": {"prompt_tokens": 6499, "completion_tokens": 214}

Сделайте запрос, запишите числа, откройте историю расходов. Если там другие цифры — дальше можно не смотреть. Если совпадают, проверьте ещё, тарифицируются ли неудачные запросы: ошибка провайдера не должна стоить денег.

Совместим ли протокол

Если API совместим с оригинальным, переезд обратно стоит правки двух строк. Это ваша страховка от того, что посредник поднимет цену или пропадёт.

Проверяется так: берёте свой существующий код, меняете базовый адрес и ключ, запускаете. Если понадобилось править что-то ещё — совместимость неполная, и зависимость выше, чем кажется.

Что происходит при сбое провайдера

Спросите напрямую или проверьте на практике: что вернётся, если модель недоступна. Хороший ответ — понятная ошибка с кодом, по которому ваш код может принять решение. Плохой — чужое сообщение с чужими контактами поддержки или, что хуже, код 200 с пустым телом.

Отдельно проверьте потоковые запросы: у части шлюзов ошибка в потоке приходит с кодом 200 внутри события, и наивный клиент считает такой ответ успешным.

Можно ли забрать деньги

Баланс, который нельзя вернуть, — это не баланс, а предоплата без обязательств. Уточните условия до того, как вносить сумму больше пробной.

И держите на счету столько, сколько не жалко: разумная практика с любым посредником — пополнять по мере расхода, а не класть годовой бюджет сразу.

Короткий чек-лист

Перенос стоит делать в два шага: сначала стейджинг и реальная задача целиком, потом продакшн. Короткий тестовый запрос не покажет проблем с длинным контекстом, инструментами и потоковой передачей.