Rastreamento de custos de API de IA: tokens e grupos

Entenda como preços de modelos, uso de tokens, multiplicadores de grupo e registros de solicitações formam registros de custo de API de IA auditáveis.

Rastreamento de custos de API de IA: tokens e grupos

O rastreamento de custos de API de IA é mais útil quando cada cobrança pode ser associada a uma solicitação, um modelo, um grupo de modelos e uma unidade de trabalho medida. Um total mensal mostra que os gastos mudaram; um registro por solicitação explica o porquê.

O Modelflare combina preços de modelos, uso medido, política de grupos e registros de solicitações para que os usuários possam revisar os custos sem precisar estimá-los apenas pelo texto visível.

As quatro camadas do custo de uma solicitação

1. Preço do modelo

Cada modelo tem sua própria base de preço. Muitos modelos de texto cobram por tokens de entrada e de saída, enquanto APIs de imagem, áudio, rerank e outras podem usar unidades de medição diferentes. Alguns modelos também usam regras de preço avançadas e versionadas para recursos que não podem ser representados por uma única tarifa fixa por token.

Consulte Modelos e preços para ver o modelo atual e o contrato de formato de API, em vez de copiar um preço para o código da aplicação.

2. Uso medido da solicitação

O gateway registra o uso retornado ou derivado para a solicitação concluída. Em modelos de texto cobrados por token, entrada e saída ficam separadas, porque suas tarifas podem ser diferentes.

O texto em streaming visível em um terminal não é uma referência confiável de custo. Itens de ferramentas, raciocínio, entrada em cache, tokens normalizados ou campos de uso específicos do provedor podem afetar a cobrança, mesmo quando não aparecem como texto comum do assistente.

3. Multiplicador do grupo de modelos

O grupo de roteamento selecionado pode aplicar um multiplicador comercial à cobrança do uso base. Por exemplo, um multiplicador de grupo de 0.9 aplica 90% da cobrança base do modelo naquela solicitação.

O multiplicador faz parte da cobrança de uso. Ele não altera quantos créditos uma recarga adiciona.

4. O registro final da solicitação

O registro de uso associa o valor calculado ao modelo, ao grupo, ao status, ao uso de tokens, aos tempos e a outros metadados operacionais seguros da solicitação. Solicitações com falha ou canceladas podem seguir caminhos de liquidação diferentes; por isso, o resultado persistido tem mais autoridade do que uma estimativa feita no cliente.

O que comparar nos registros de uso

Quando os gastos mudarem, compare as solicitações nestas dimensões:

  • Modelo: o tráfego passou para um modelo com outro preço de entrada, de saída ou de recursos?
  • Grupo: o grupo selecionado ou o grupo de contingência usou outro multiplicador?
  • Protocolo: a solicitação passou do Chat Completions para o Responses (ou vice-versa), com outro formato de uso?
  • Tamanho da entrada: os prompts, o contexto recuperado, os arquivos ou os resultados de ferramentas aumentaram?
  • Tamanho da saída: limites de geração ou loops de agentes produziram mais saída?
  • Status e novas tentativas: as falhas geraram tentativas adicionais concluídas?
  • Tempos: uma geração mais longa coincidiu com mais saída, e não apenas com tempo de fila?

Use um ID de solicitação estável ou uma chave de API específica da aplicação para isolar uma carga de trabalho, em vez de comparar tráfegos da conta que não têm relação entre si.

Defina limites de custo práticos

Separe as chaves de API por carga de trabalho

Crie chaves diferentes para produção, desenvolvimento, automação e ferramentas pessoais. Cada chave pode ter seu próprio nome, expiração, política de grupos e cota limitada ou ilimitada.

Escolha os grupos de forma intencional

Não escolha um grupo apenas pelo nome. Verifique a disponibilidade atual dos modelos, o multiplicador do grupo, os requisitos de acesso, o RPM e a política de contingência. Um grupo principal mais barato, com uma contingência aceitável, pode ser mais previsível do que uma escolha de roteamento implícita e difícil de explicar.

Limite a entrada antes de limitar a saída

Prompts de sistema extensos, históricos de conversa repetidos, documentos recuperados e resultados de ferramentas costumam dominar o uso de entrada. Remova o contexto que não afeta mais a resposta e evite reenviar dados inalterados quando o cliente puder referenciá-los ou armazená-los em cache com segurança.

Revise os loops de agentes

Uma única ação do usuário pode gerar várias solicitações ao modelo. Acompanhe cada rodada de ferramentas e cada nova tentativa, em vez de tratar a resposta final visível como uma única chamada de API.

Por que as estimativas no cliente divergem

Um tokenizador local ou uma contagem de caracteres pode ajudar no planejamento, mas o resultado pode diferir do uso cobrado porque:

  • os provedores podem normalizar ou contar o conteúdo de formas diferentes;
  • unidades de cache, raciocínio, imagem, áudio ou ferramentas podem ter tarifas próprias;
  • a liquidação no gateway usa o modelo e o grupo efetivamente selecionados;
  • falhas e reembolsos dependem do ciclo de vida real da solicitação;
  • os preços podem mudar, enquanto solicitações antigas mantêm o resultado registrado.

Para uma análise financeira, concilie os registros persistidos de uso e de movimentação de créditos, em vez de calcular os créditos restantes a partir de um único campo exibido.

Um processo de revisão repetível

  1. Filtre os registros de uso por uma chave de API e um intervalo de tempo.
  2. Agrupe as solicitações por modelo e grupo selecionado.
  3. Compare entrada, saída, status e custo por solicitação.
  4. Investigue os valores atípicos em busca de novas tentativas, contexto longo, loops de ferramentas ou contingência.
  5. Confirme o preço atual e a política do grupo antes de alterar o roteamento.
  6. Defina uma cota limitada para a chave quando a carga de trabalho precisar de um teto rígido de gastos.
  7. Verifique as mesmas métricas novamente depois da mudança.

Um controle de custos claro começa pela atribuição. Quando modelo, grupo, uso e resultado da solicitação permanecem conectados, as equipes conseguem otimizar a verdadeira origem dos gastos em vez de fazer suposições a partir de totais agregados.

Transforme essa revisão em um limite aplicável a cada carga de trabalho com os controles de cota, expiração, modelos, IP, rotação e roteamento descritos em Segurança de chaves de API de IA.