Pelacakan biaya API AI: token dan grup model
Pahami bagaimana harga model, penggunaan token, pengali grup, dan log permintaan membentuk catatan biaya API AI yang dapat diaudit.

Pelacakan biaya API AI paling berguna jika setiap biaya dapat dihubungkan ke satu permintaan, satu model, satu grup model, dan satu unit kerja yang terukur. Total bulanan dapat menunjukkan bahwa pengeluaran berubah; catatan per permintaan dapat menjelaskan penyebabnya.
Modelflare menggabungkan harga model, penggunaan terukur, kebijakan grup, dan log permintaan sehingga pengguna dapat meninjau biaya tanpa memperkirakannya hanya dari teks yang terlihat.
Empat lapisan biaya permintaan
1. Harga model
Setiap model memiliki dasar harga sendiri. Banyak model teks menggunakan token input dan output, sedangkan API gambar, audio, reranking, atau API lainnya dapat menggunakan unit ukur yang berbeda. Beberapa model juga menggunakan aturan harga lanjutan berversi untuk fitur yang tidak dapat dinyatakan dengan satu tarif token tetap.
Gunakan Model & Harga untuk kontrak model dan format API terkini, alih-alih menyalin harga ke dalam kode aplikasi.
2. Penggunaan permintaan yang terukur
Gateway mencatat penggunaan yang dikembalikan atau diturunkan untuk permintaan yang selesai. Untuk model teks yang dihargai per token, input dan output disimpan terpisah karena tarifnya dapat berbeda.
Teks streaming yang terlihat di terminal bukan acuan biaya yang andal. Item alat, penalaran, input dari cache, token yang dinormalisasi, atau kolom penggunaan khusus penyedia dapat memengaruhi tagihan meskipun tidak ditampilkan sebagai teks asisten biasa.
3. Pengali grup model
Grup perutean yang dipilih dapat menerapkan pengali penjualan pada penagihan penggunaan dasar. Misalnya, rasio grup 0.9 menerapkan 90% dari biaya model dasar untuk permintaan tersebut.
Pengali ini berlaku untuk penagihan penggunaan. Pengali tidak mengubah jumlah kredit yang ditambahkan oleh isi saldo.
4. Catatan akhir permintaan
Log penggunaan menghubungkan jumlah yang dihitung dengan model, grup, status, penggunaan token, waktu, dan metadata operasional aman lainnya dari permintaan tersebut. Permintaan yang gagal atau dibatalkan dapat mengikuti jalur penyelesaian tagihan yang berbeda, sehingga hasil yang tersimpan lebih otoritatif daripada perkiraan di sisi klien.
Hal yang perlu dibandingkan di log penggunaan
Saat pengeluaran berubah, bandingkan permintaan berdasarkan dimensi berikut:
- Model: Apakah traffic berpindah ke model dengan harga input, output, atau fitur yang berbeda?
- Grup: Apakah grup yang dipilih atau grup cadangan menggunakan pengali yang berbeda?
- Protokol: Apakah permintaan berpindah antara Chat Completions dan Responses dengan bentuk penggunaan yang berbeda?
- Ukuran input: Apakah prompt, konteks hasil pengambilan, file, atau hasil alat bertambah besar?
- Ukuran output: Apakah batas output atau loop agen menghasilkan lebih banyak output?
- Status dan percobaan ulang: Apakah kegagalan menyebabkan percobaan tambahan yang selesai diproses?
- Waktu: Apakah generasi yang lebih lama berkorelasi dengan output yang lebih banyak, bukan sekadar antrean?
Gunakan ID permintaan yang stabil atau kunci API khusus aplikasi untuk mengisolasi beban kerja, alih-alih membandingkan traffic akun yang tidak berkaitan.
Tetapkan batas biaya yang praktis
Pisahkan kunci API berdasarkan beban kerja
Buat kunci yang berbeda untuk produksi, pengembangan, otomatisasi, dan alat pribadi. Setiap kunci dapat memiliki nama, masa berlaku, kebijakan grup, serta kuota terbatas atau tanpa batas sendiri.
Pilih grup dengan sengaja
Jangan memilih grup hanya berdasarkan labelnya. Periksa ketersediaan model saat ini, pengali grup, syarat akses, RPM, dan kebijakan cadangan. Grup utama yang lebih murah dengan cadangan yang dapat diterima bisa lebih mudah diprediksi daripada pilihan perutean implisit yang sulit dijelaskan.
Batasi input sebelum membatasi output
Prompt sistem yang besar, riwayat percakapan yang berulang, dokumen hasil pengambilan, dan hasil alat sering mendominasi penggunaan input. Pangkas konteks yang tidak lagi memengaruhi jawaban, dan hindari mengirim ulang data yang tidak berubah jika klien dapat merujuknya atau menyimpannya di cache dengan aman.
Tinjau loop agen
Satu tindakan pengguna dapat menghasilkan beberapa permintaan model. Lacak setiap putaran alat dan percobaan ulang, alih-alih menganggap jawaban akhir yang terlihat sebagai satu panggilan API.
Mengapa perkiraan di sisi klien bisa meleset
Tokenizer lokal atau jumlah karakter dapat berguna untuk perencanaan, tetapi hasilnya bisa berbeda dari penggunaan yang ditagih karena:
- penyedia dapat menormalisasi atau menghitung konten secara berbeda;
- unit cache, penalaran, gambar, audio, atau alat dapat memiliki tarif terpisah;
- penyelesaian tagihan di gateway menggunakan model dan grup yang benar-benar dipilih;
- permintaan yang gagal dan pengembalian dana bergantung pada siklus permintaan yang sebenarnya;
- harga dapat berubah, sementara permintaan lama tetap mempertahankan hasil yang tercatat.
Untuk peninjauan keuangan, rekonsiliasikan catatan penggunaan dan buku besar kredit yang tersimpan, alih-alih menurunkan sisa kredit dari satu kolom tampilan.
Proses peninjauan yang dapat diulang
- Filter log penggunaan ke satu kunci API dan rentang waktu.
- Kelompokkan permintaan berdasarkan model dan grup yang dipilih.
- Bandingkan input, output, status, dan biaya per permintaan.
- Periksa pencilan untuk melihat percobaan ulang, konteks panjang, loop alat, atau cadangan.
- Konfirmasi harga dan kebijakan grup saat ini sebelum mengubah perutean.
- Tetapkan kuota kunci yang terbatas jika beban kerja memerlukan batas pengeluaran yang tegas.
- Periksa kembali metrik yang sama setelah perubahan.
Kontrol biaya yang jelas dimulai dari atribusi. Selama model, grup, penggunaan, dan hasil permintaan tetap terhubung, tim dapat mengoptimalkan sumber pengeluaran yang sebenarnya, bukan menebak dari total agregat.
Ubah peninjauan tersebut menjadi batas beban kerja yang dapat ditegakkan dengan kontrol kuota, masa berlaku, model, IP, rotasi, dan perutean dalam Keamanan kunci API AI.