AI API コスト追跡:トークンとモデルグループ

モデルの価格、トークン使用量、グループ倍率、リクエストログを組み合わせて、監査可能な AI API のコスト記録を作る仕組みを解説します。

AI API コスト追跡:トークンとモデルグループ

AI API のコスト追跡が最も役立つのは、すべての課金を 1 件のリクエスト、1 つのモデル、1 つのモデルグループ、計測された 1 単位の処理量に結び付けられる場合です。月次の合計からは支出が変化したことがわかりますが、その理由を説明できるのはリクエスト単位の記録です。

Modelflare は、モデルの価格、計測された使用量、グループのポリシー、リクエストログを組み合わせることで、表示されたテキストだけからコストを見積もらなくても、ユーザーがコストを確認できるようにしています。

リクエストコストを構成する 4 つの層

1. モデルの価格

モデルごとに価格の基準があります。多くのテキストモデルは入力トークンと出力トークンを基準にしていますが、画像、音声、リランクなどの API では、別の計測単位を使用することがあります。一部のモデルでは、1 つの固定トークン単価では表現できない機能に対して、バージョン管理された高度な価格ルールも適用されます。

価格をアプリケーションのコードにコピーするのではなく、モデルと料金で最新のモデルと API 形式の仕様を確認してください。

2. 計測されたリクエストの使用量

ゲートウェイは、完了したリクエストについて返された、または算出された使用量を記録します。トークン単位で価格が決まるテキストモデルでは、入力と出力の単価が異なる場合があるため、両者を分けて記録します。

ターミナルに表示されるストリーミングのテキストは、コストを判断する材料として信頼できません。ツールアイテム、推論、キャッシュ済み入力、正規化されたトークン、プロバイダー固有の使用量フィールドは、通常のアシスタントのテキストとして表示されなくても、請求額に影響することがあります。

3. モデルグループの倍率

選択されたルーティンググループでは、基本の使用量課金に販売倍率が適用されることがあります。たとえばグループ倍率が 0.9 の場合、そのリクエストにはモデルの基本料金の 90% が課金されます。

この倍率は使用量の課金にのみ適用されます。チャージで追加されるクレジットの額は変わりません。

4. 最終的なリクエスト記録

利用ログは、算出された金額を、そのリクエストのモデル、グループ、ステータス、トークン使用量、タイミング、その他の安全な運用メタデータに関連付けます。失敗したリクエストやキャンセルされたリクエストは異なる精算経路をたどることがあるため、クライアント側の見積もりよりも、保存された結果のほうが信頼できます。

利用ログで比較する観点

支出が変化したときは、次の観点でリクエストを比較します。

  • モデル: 入力、出力、機能の価格が異なるモデルにトラフィックが移っていないか
  • グループ: 選択されたグループやフォールバックグループで、異なる倍率が適用されていないか
  • プロトコル: リクエストが Chat Completions と Responses の間で移り、使用量の構造が変わっていないか
  • 入力サイズ: プロンプト、検索で取得したコンテキスト、ファイル、ツールの結果が増えていないか
  • 出力サイズ: 出力の上限設定やエージェントのループによって、出力が増えていないか
  • ステータスと再試行: 失敗によって、完了した試行が追加で発生していないか
  • タイミング: 生成時間が長くなったのは、単なる待ち時間ではなく出力量の増加によるものか

無関係なアカウント全体のトラフィックと比べるのではなく、固定のリクエスト ID やアプリケーション専用の API キーを使って、ワークロードを切り分けてください。

実用的なコストの境界を設定する

ワークロードごとに API キーを分ける

本番環境、開発環境、自動化、個人用ツールのそれぞれに別のキーを作成します。キーごとに、名前、有効期限、グループのポリシー、上限付きまたは無制限のクォータを設定できます。

グループを意図して選択する

表示名だけでグループを選ばないでください。最新のモデルの提供状況、グループ倍率、アクセス条件、RPM、フォールバックのポリシーを確認します。許容できるフォールバックを備えた低価格のプライマリグループのほうが、説明しにくい暗黙のルーティングよりも予測しやすい場合があります。

出力より先に入力を制限する

大きなシステムプロンプト、繰り返し送られる会話履歴、検索で取得したドキュメント、ツールの結果が、入力の使用量の大部分を占めることがよくあります。回答に影響しなくなったコンテキストは削り、クライアントが安全に参照またはキャッシュできる場合は、変更のないデータを再送しないようにします。

エージェントのループを見直す

ユーザーの 1 回の操作から、複数のモデルリクエストが発生することがあります。最終的に表示された回答を 1 回の API 呼び出しとして扱うのではなく、ツールのラウンドと再試行をそれぞれ追跡してください。

クライアント側の見積もりがずれる理由

ローカルのトークナイザーや文字数は計画には役立ちますが、次の理由から、実際に課金される使用量と異なることがあります。

  • プロバイダーによって、コンテンツの正規化やカウントの方法が異なる
  • キャッシュ、推論、画像、音声、ツールの単位に、別の料率が適用される場合がある
  • ゲートウェイの精算には、実際に選択されたモデルとグループが使われる
  • 失敗したリクエストや返金の扱いは、実際のリクエストのライフサイクルによって決まる
  • 価格が変更されても、過去のリクエストには記録済みの結果が保持される

財務上の確認では、1 つの表示フィールドから残りのクレジットを逆算するのではなく、保存された使用量とクレジット台帳の記録を照合してください。

繰り返し使える確認プロセス

  1. 利用ログを 1 つの API キーと期間で絞り込みます。
  2. リクエストを、モデルと選択されたグループごとにまとめます。
  3. リクエストごとの入力、出力、ステータス、コストを比較します。
  4. 外れ値について、再試行、長いコンテキスト、ツールのループ、フォールバックの有無を調べます。
  5. ルーティングを変更する前に、最新の価格とグループのポリシーを確認します。
  6. ワークロードに厳格な支出の上限が必要な場合は、キーに上限付きのクォータを設定します。
  7. 変更後に同じ指標を再確認します。

明確なコスト管理は、コストの帰属を明らかにすることから始まります。モデル、グループ、使用量、リクエストの結果が結び付いたままであれば、チームは合計値から推測するのではなく、実際の支出要因を最適化できます。

AI API キーのセキュリティで紹介しているクォータ、有効期限、モデル、IP、ローテーション、ルーティングの管理策を使って、この確認の結果を、実際に適用できるワークロードの境界に落とし込みましょう。