Учёт расходов на ИИ-API: токены и группы моделей

Как цены моделей, расход токенов, коэффициенты групп и журналы запросов складываются в проверяемые записи о расходах на ИИ-API.

Учёт расходов на ИИ-API: токены и группы моделей

Учёт расходов на ИИ-API полезнее всего, когда каждое списание можно связать с одним запросом, одной моделью, одной группой моделей и одной измеренной единицей работы. Итог за месяц показывает, что расходы изменились, а запись по отдельному запросу объясняет почему.

Modelflare объединяет цены моделей, измеренное использование, политику групп и журналы запросов, поэтому стоимость можно проверить, а не оценивать по одному лишь видимому тексту.

Четыре уровня стоимости запроса

1. Цена модели

У каждой модели своя основа тарификации. Многие текстовые модели тарифицируются по входным и выходным токенам, а API для изображений, аудио, реранжирования и других задач могут использовать другие единицы учёта. Для некоторых моделей также действуют версионированные расширенные правила тарификации — для функций, которые нельзя выразить единой ценой за токен.

Сверяйтесь с разделом Модели и цены, где указаны актуальные модели и форматы API, а не копируйте цену в код приложения.

2. Измеренное использование запроса

Шлюз записывает использование, которое вернул провайдер или которое вычислено для завершённого запроса. Для текстовых моделей с ценой за токен ввод и вывод учитываются раздельно, потому что их цены могут отличаться.

Потоковый текст, видимый в терминале, — ненадёжный ориентир для расчёта стоимости. Элементы инструментов, рассуждения, кэшированный ввод, нормализованные токены и специфичные для провайдера поля использования могут влиять на итоговую сумму, даже если не отображаются как обычный текст ассистента.

3. Коэффициент группы моделей

Выбранная группа маршрутизации может применять коэффициент продаж к базовой стоимости использования. Например, при коэффициенте группы 0.9 за запрос списывается 90% базовой стоимости модели.

Коэффициент относится к тарификации использования. Он не меняет количество кредитов, которое зачисляется при пополнении.

4. Итоговая запись запроса

Журнал использования связывает рассчитанную сумму с моделью, группой, статусом, расходом токенов, временем и другими безопасными операционными метаданными запроса. Неудачные или отменённые запросы могут рассчитываться по-разному, поэтому сохранённый результат надёжнее оценки на стороне клиента.

Что сравнивать в журнале использования

Когда расходы меняются, сравнивайте запросы по следующим параметрам:

  • Модель: не перешёл ли трафик на модель с другой ценой ввода, вывода или функций?
  • Группа: не использовала ли выбранная или резервная группа другой коэффициент?
  • Протокол: не перешёл ли запрос между Chat Completions и Responses с другой структурой данных об использовании?
  • Объём ввода: не выросли ли промпты, извлечённый контекст, файлы или результаты инструментов?
  • Объём вывода: не стали ли лимиты на вывод или циклы агента давать больше вывода?
  • Статус и повторы: не привели ли сбои к дополнительным завершённым попыткам?
  • Время: связана ли более долгая генерация с большим выводом, а не просто с ожиданием в очереди?

Чтобы выделить конкретную нагрузку, используйте стабильный ID запроса или отдельный API-ключ приложения, а не сравнивайте несвязанный трафик всего аккаунта.

Задайте практические границы расходов

Разделяйте API-ключи по нагрузкам

Создайте разные ключи для рабочей среды, разработки, автоматизации и личных инструментов. Для каждого ключа можно задать собственное название, срок действия, политику групп и конечный лимит кредитов или работу без лимита.

Выбирайте группы осознанно

Не выбирайте группу только по названию. Проверьте актуальную доступность моделей, коэффициент группы, условия доступа, RPM и политику резервных групп. Более дешёвая основная группа с приемлемой резервной может оказаться предсказуемее неявного выбора маршрута, который трудно объяснить.

Сначала ограничивайте ввод, затем вывод

Большие системные промпты, повторяющаяся история диалога, найденные документы и результаты инструментов часто составляют основную часть ввода. Убирайте контекст, который больше не влияет на ответ, и не отправляйте неизменные данные повторно, если клиент может безопасно ссылаться на них или кэшировать их.

Анализируйте циклы агентов

Одно действие пользователя может породить несколько запросов к модели. Учитывайте каждый раунд инструментов и каждый повтор, а не считайте итоговый видимый ответ одним вызовом API.

Почему оценки на стороне клиента расходятся с фактом

Локальный токенизатор или подсчёт символов полезны для планирования, но результат может отличаться от тарифицированного использования, потому что:

  • провайдеры могут по-разному нормализовать и подсчитывать контент;
  • для кэшированного ввода, рассуждений, изображений, аудио и инструментов могут действовать отдельные ставки;
  • при расчёте шлюз использует фактически выбранные модель и группу;
  • списания за неудачные запросы и возвраты зависят от реального жизненного цикла запроса;
  • цены могут измениться, а у старых запросов сохраняется записанный результат.

Для финансовой проверки сверяйте сохранённые записи об использовании и реестр операций с кредитами, а не вычисляйте остаток кредитов по одному полю на экране.

Повторяемый процесс проверки

  1. Отфильтруйте журнал использования по одному API-ключу и периоду.
  2. Сгруппируйте запросы по модели и выбранной группе.
  3. Сравните ввод, вывод, статус и стоимость каждого запроса.
  4. Изучите выбросы: повторы, длинный контекст, циклы инструментов или переключения на резервную группу.
  5. Прежде чем менять маршрутизацию, проверьте актуальную цену и политику группы.
  6. Установите для ключа конечный лимит кредитов, если нагрузке нужна жёсткая граница расходов.
  7. После изменения снова проверьте те же метрики.

Понятный контроль расходов начинается с атрибуции. Когда модель, группа, использование и результат запроса связаны между собой, команда может оптимизировать реальный источник расходов, а не гадать по суммарным итогам.

Превратите такую проверку в обязательную границу для нагрузки с помощью лимита кредитов, срока действия, ограничений моделей, IP-правил, ротации и маршрутизации — подробнее в статье Безопасность ключей ИИ-API.