AI API 成本追蹤:Token 與模型群組

了解模型價格、Token 用量、群組倍率與請求日誌如何組成可稽核的 AI API 費用記錄。

AI API 成本追蹤:Token 與模型群組

當每一筆費用都能對應到一個請求、一個模型、一個模型群組與一個計量的工作單位時,AI API 成本追蹤才最有用。每月總額可以告訴您支出有了變化;請求層級的記錄則能說明原因。

Modelflare 結合模型價格、計量用量、群組政策與請求日誌,讓使用者不必只憑可見文字估算,也能檢視費用。

請求費用的四個層次

1. 模型價格

每個模型都有各自的計價基準。許多文字模型依輸入與輸出 Token 計費,而圖片、音訊、重新排序或其他 API 可能使用不同的計量單位。有些模型還會針對無法以單一固定 Token 費率表示的功能,採用有版本的進階計價規則。

請以模型與定價中目前的模型與 API 格式契約為準,不要把價格直接複製到應用程式程式碼中。

2. 計量的請求用量

閘道會記錄已完成請求所傳回或推算出的用量。對依 Token 計價的文字模型而言,輸入與輸出會分開記錄,因為兩者的費率可能不同。

終端機中串流顯示的文字,並不能準確推算費用。工具項目、推理、快取讀取、正規化後的 Token,或供應商專屬的用量欄位,即使不會以一般助理文字的形式顯示,也可能影響帳單。

3. 模型群組倍率

所選的路由群組可以對基本用量計費套用售價倍率。例如,群組倍率為 0.9 時,該請求會以基本模型費用的 90% 計費。

倍率屬於用量計費的一環,不會改變一次儲值所增加的額度。

4. 最終的請求記錄

使用日誌會將計算出的金額,與該請求的模型、群組、狀態、Token 用量、時間及其他可安全保留的營運中繼資料連結起來。失敗或已取消的請求可能採用不同的結算方式,因此系統保存的結果比用戶端的估算更具權威性。

在使用日誌中應比較哪些項目

當支出發生變化時,請從以下面向比較請求:

  • 模型:流量是否轉移到輸入、輸出或功能價格不同的模型?
  • 群組:所選群組或備援群組是否使用了不同的倍率?
  • 協定:請求是否在 Chat Completions 與 Responses 之間切換,導致用量結構不同?
  • 輸入大小:提示詞、檢索到的上下文、檔案或工具結果是否變多?
  • 輸出大小:輸出上限或 Agent 迴圈是否產生了更多輸出?
  • 狀態與重試:失敗是否導致額外完成的嘗試?
  • 時間:生成時間變長,是否與輸出增加有關,而不只是排隊等候?

請使用穩定的請求 ID 或應用程式專屬的 API 金鑰來隔離特定工作負載,而不是拿帳號中不相關的流量互相比較。

設定實際可行的成本邊界

依工作負載區分 API 金鑰

為正式環境、開發、自動化與個人工具分別建立金鑰。每把金鑰都可以有自己的名稱、到期時間、群組政策,以及有限或無限的額度。

審慎選擇群組

不要只看標籤選擇群組。請確認即時的模型可用性、群組倍率、存取條件、RPM 與備援政策。比起難以說明的隱含路由選擇,價格較低的主要群組搭配可接受的備援,往往更容易預測。

先限制輸入,再限制輸出

過長的系統提示詞、重複的對話記錄、檢索到的文件與工具結果,往往佔輸入用量的大宗。請刪減已不再影響答案的上下文;用戶端能安全參照或快取的資料,就不要一再重送未變更的內容。

檢查 Agent 迴圈

使用者的一個操作可能產生多個模型請求。請追蹤每一輪工具呼叫與每一次重試,不要把最後看到的答案當成只有一次 API 呼叫。

為什麼用戶端估算會出現落差

本機的 Tokenizer 或字元數對規劃很有幫助,但可能與計費用量不同,原因包括:

  • 供應商可能以不同方式正規化或計算內容;
  • 快取、推理、圖片、音訊或工具單位可能有各自的費率;
  • 閘道結算時使用實際選定的模型與群組;
  • 失敗請求與退款取決於實際的請求生命週期;
  • 價格可能調整,而舊請求仍保留當時記錄的結果。

進行財務核對時,請比對系統保存的用量與額度帳本記錄,而不是從單一顯示欄位推算剩餘額度。

可重複執行的檢查流程

  1. 在使用日誌中篩選單一 API 金鑰與時間範圍。
  2. 依模型與所選群組將請求歸類。
  3. 逐筆比較輸入、輸出、狀態與費用。
  4. 檢查異常值是否涉及重試、過長的上下文、工具迴圈或備援。
  5. 變更路由前,先確認即時價格與群組政策。
  6. 若工作負載需要嚴格的支出上限,請為金鑰設定有限額度。
  7. 變更後,再次檢查相同的指標。

清楚的成本控制始於歸因。只要模型、群組、用量與請求結果仍彼此連結,團隊就能針對支出的實際來源進行最佳化,而不是從彙總數字猜測。

請透過 AI API 金鑰安全中的額度、到期時間、模型、IP、輪替與路由控制,將這套檢查流程落實為可強制執行的工作負載邊界。