Theo dõi chi phí API AI: token và nhóm mô hình
Hiểu cách giá mô hình, lượng token, hệ số nhóm và nhật ký yêu cầu kết hợp thành bản ghi chi phí API AI có thể kiểm tra và đối soát.

Theo dõi chi phí API AI hữu ích nhất khi mỗi khoản phí có thể gắn với một yêu cầu, một mô hình, một nhóm mô hình và một đơn vị công việc đã đo. Tổng chi theo tháng cho biết chi tiêu đã thay đổi; bản ghi từng yêu cầu giải thích vì sao.
Modelflare kết hợp giá mô hình, mức sử dụng thực đo, chính sách nhóm và nhật ký yêu cầu để người dùng có thể xem xét chi phí mà không phải ước tính chỉ từ văn bản hiển thị.
Bốn lớp tạo nên chi phí của một yêu cầu
1. Giá mô hình
Mỗi mô hình có cơ sở tính giá riêng. Nhiều mô hình văn bản tính theo token đầu vào và đầu ra, trong khi API hình ảnh, âm thanh, rerank hoặc các API khác có thể dùng đơn vị đo khác. Một số mô hình còn dùng quy tắc giá nâng cao theo phiên bản cho những tính năng không thể biểu diễn bằng một đơn giá token cố định.
Hãy dùng Mô hình & bảng giá để xem hợp đồng hiện tại về mô hình và định dạng API, thay vì chép giá vào mã ứng dụng.
2. Mức sử dụng thực đo của yêu cầu
Gateway ghi lại mức sử dụng được trả về hoặc suy ra cho yêu cầu đã hoàn tất. Với mô hình văn bản tính giá theo token, đầu vào và đầu ra được ghi riêng vì đơn giá có thể khác nhau.
Văn bản streaming hiển thị trong terminal không phải là căn cứ đáng tin cậy để tính chi phí. Item công cụ, suy luận, đầu vào đã cache, token đã chuẩn hóa hoặc các trường mức sử dụng riêng của nhà cung cấp có thể ảnh hưởng đến hóa đơn ngay cả khi chúng không hiển thị như văn bản trợ lý thông thường.
3. Hệ số nhóm mô hình
Nhóm định tuyến được chọn có thể áp dụng hệ số bán hàng lên mức tính phí sử dụng cơ bản. Ví dụ, hệ số nhóm 0.9 áp dụng 90% mức phí mô hình cơ bản cho yêu cầu đó.
Hệ số thuộc về phần tính phí sử dụng. Nó không thay đổi số tín dụng được cộng khi nạp tiền.
4. Bản ghi cuối cùng của yêu cầu
Nhật ký sử dụng liên kết số tiền đã tính với mô hình, nhóm, trạng thái, lượng token, thời gian và các metadata vận hành an toàn khác của yêu cầu. Yêu cầu không thành công hoặc bị hủy có thể đi theo cách quyết toán khác, vì vậy kết quả đã lưu có giá trị hơn ước tính phía ứng dụng khách.
Cần so sánh gì trong nhật ký sử dụng
Khi chi tiêu thay đổi, hãy so sánh các yêu cầu theo những khía cạnh sau:
- Mô hình: lưu lượng có chuyển sang mô hình có giá đầu vào, đầu ra hoặc tính năng khác không?
- Nhóm: nhóm đã chọn hoặc nhóm dự phòng có dùng hệ số khác không?
- Giao thức: yêu cầu có chuyển giữa Chat Completions và Responses với cấu trúc mức sử dụng khác không?
- Kích thước đầu vào: prompt, ngữ cảnh truy xuất, tệp hoặc kết quả công cụ có tăng lên không?
- Kích thước đầu ra: giới hạn đầu ra hoặc vòng lặp agent có tạo ra nhiều đầu ra hơn không?
- Trạng thái và thử lại: lỗi có dẫn đến thêm những lần thử đã hoàn tất không?
- Thời gian: thời gian tạo nội dung dài hơn có đi kèm nhiều đầu ra hơn, hay chỉ là thời gian xếp hàng?
Hãy dùng ID yêu cầu ổn định hoặc khóa API riêng của ứng dụng để tách riêng một tác vụ, thay vì so sánh với lưu lượng không liên quan của tài khoản.
Đặt ranh giới chi phí thực tế
Tách khóa API theo tác vụ
Tạo các khóa khác nhau cho production, phát triển, tự động hóa và công cụ cá nhân. Mỗi khóa có thể có tên, thời hạn, chính sách nhóm và hạn mức hữu hạn hoặc không giới hạn riêng.
Chọn nhóm có chủ đích
Đừng chọn nhóm chỉ dựa vào tên. Hãy kiểm tra khả năng cung cấp mô hình hiện tại, hệ số nhóm, điều kiện truy cập, RPM và chính sách dự phòng. Một nhóm chính rẻ hơn cùng nhóm dự phòng chấp nhận được có thể dễ dự đoán hơn một lựa chọn định tuyến ngầm khó giải thích.
Giới hạn đầu vào trước khi giới hạn đầu ra
Prompt hệ thống dài, lịch sử hội thoại lặp lại, tài liệu truy xuất và kết quả công cụ thường chiếm phần lớn mức sử dụng đầu vào. Hãy cắt bớt ngữ cảnh không còn ảnh hưởng đến câu trả lời và tránh gửi lại dữ liệu không đổi khi ứng dụng khách có thể tham chiếu hoặc cache an toàn.
Xem lại vòng lặp agent
Một thao tác của người dùng có thể tạo ra nhiều yêu cầu mô hình. Hãy theo dõi từng vòng gọi công cụ và từng lần thử lại thay vì coi câu trả lời hiển thị cuối cùng là một lệnh gọi API duy nhất.
Vì sao ước tính phía ứng dụng khách bị lệch
Tokenizer cục bộ hoặc số ký tự có thể hữu ích khi lập kế hoạch, nhưng có thể khác với mức sử dụng được tính phí vì:
- nhà cung cấp có thể chuẩn hóa hoặc đếm nội dung theo cách khác;
- đơn vị cache, suy luận, hình ảnh, âm thanh hoặc công cụ có thể dùng đơn giá riêng;
- quyết toán tại gateway dùng mô hình và nhóm thực tế đã chọn;
- yêu cầu không thành công và khoản hoàn tiền phụ thuộc vào vòng đời thực của yêu cầu;
- giá có thể thay đổi trong khi các yêu cầu cũ vẫn giữ kết quả đã ghi.
Khi đối soát tài chính, hãy đối chiếu bản ghi mức sử dụng và sổ cái tín dụng đã lưu thay vì suy ra tín dụng còn lại từ một trường hiển thị duy nhất.
Quy trình rà soát có thể lặp lại
- Lọc nhật ký sử dụng theo một khóa API và khoảng thời gian.
- Gom yêu cầu theo mô hình và nhóm đã chọn.
- So sánh đầu vào, đầu ra, trạng thái và chi phí của từng yêu cầu.
- Kiểm tra các yêu cầu bất thường để tìm lần thử lại, ngữ cảnh dài, vòng lặp công cụ hoặc chuyển sang dự phòng.
- Xác nhận giá hiện tại và chính sách nhóm trước khi thay đổi định tuyến.
- Đặt hạn mức hữu hạn cho khóa khi tác vụ cần giới hạn chi tiêu cứng.
- Kiểm tra lại cùng các số đo sau khi thay đổi.
Kiểm soát chi phí rõ ràng bắt đầu từ việc xác định đúng nguồn phát sinh. Khi mô hình, nhóm, mức sử dụng và kết quả yêu cầu vẫn được liên kết với nhau, đội ngũ có thể tối ưu đúng nguồn chi tiêu thực tế thay vì đoán từ số liệu tổng hợp.
Hãy biến kết quả rà soát đó thành ranh giới tác vụ có thể thực thi bằng các biện pháp kiểm soát hạn mức, thời hạn, mô hình, IP, xoay vòng khóa và định tuyến trong Bảo mật khóa API AI.