Định tuyến API AI ổn định và chẩn đoán yêu cầu

Thiết kế định tuyến API AI ổn định với thứ tự dự phòng rõ ràng, giới hạn RPM theo nhóm và bằng chứng thời gian theo từng yêu cầu để chẩn đoán lỗi.

Định tuyến API AI ổn định và chẩn đoán yêu cầu

Định tuyến API AI ổn định không phải là một vòng lặp thử lại. Đó là việc cấp cho mỗi khóa API một nhóm chính rõ ràng, các nhóm dự phòng, khả năng mô hình và giới hạn yêu cầu, đồng thời giữ lại đủ bằng chứng mà người dùng có thể xem khi một yêu cầu chậm đi hoặc không thành công.

Một thiết kế định tuyến tốt giúp kết quả có thể giải thích được và ngăn việc chuyển nhóm âm thầm thay đổi mô hình được yêu cầu hoặc chính sách tính phí.

Bắt đầu với chính sách khóa rõ ràng

Modelflare hỗ trợ hai cách định tuyến:

  • Khóa API thông thường dùng một nhóm chính được chỉ định rõ và danh sách nhóm dự phòng có thứ tự.
  • Khóa API thông minh đánh giá các nhóm mà tài khoản hiện có thể dùng và lần lượt thử các ứng viên đủ điều kiện theo chiến lược của nó.

Thứ tự dự phòng không phải là chia lưu lượng mà là một chuỗi ưu tiên. Khi nhóm chính không khả dụng, yêu cầu tiếp tục qua các nhóm phía sau theo thứ tự.

Hãy tạo khóa riêng cho từng ứng dụng hoặc môi trường. Cách này giúp quyền truy cập nhóm, hạn mức, thời hạn và bản ghi sử dụng dễ hiểu hơn nhiều so với một khóa dùng chung ở mọi nơi.

Nhóm dự phòng phải giữ nguyên hợp đồng yêu cầu

Trước khi thêm một nhóm vào danh sách dự phòng, hãy xác minh rằng nhóm đó:

  1. cung cấp mô hình được yêu cầu;
  2. hỗ trợ cùng endpoint và hành vi streaming;
  3. cho phép mọi Service Tier hoặc trường riêng của nhà cung cấp cần thiết;
  4. có hệ số sử dụng và giới hạn tốc độ yêu cầu chấp nhận được;
  5. thực sự đã được mở khóa cho tài khoản.

Nhóm dự phòng không cho phép thay thế bằng một mô hình tùy ý. Mô hình và giao thức được yêu cầu vẫn quyết định hợp đồng trên đường truyền.

Hiểu giới hạn yêu cầu của nhóm

Giới hạn tốc độ yêu cầu được áp dụng theo tài khoản và nhóm xử lý yêu cầu. Tách khóa API giúp phân tích mức sử dụng dễ hơn, nhưng không tự động vượt qua giới hạn của tài khoản hoặc nhóm.

Khi nhóm hiện tại đạt giới hạn, khóa API có nhóm dự phòng có thể chuyển sang nhóm khả dụng tiếp theo. Nếu không còn nhóm dự phòng nào, yêu cầu nhận về 429. Ứng dụng khách nên thử lại với backoff có giới hạn thay vì lập tức tạo ra một loạt yêu cầu mới.

Dùng số đo hiệu năng theo từng yêu cầu

Nhật ký sử dụng cung cấp các số đo ở cấp sản phẩm cần thiết để hiểu một yêu cầu:

Số đo Giúp giải thích điều gì
Tổng thời gian phản hồi Thời gian từ lúc gửi yêu cầu đến khi hoàn tất
Phản hồi đầu tiên Thời gian đến văn bản, suy luận hoặc event công cụ hữu ích đầu tiên
Văn bản hiển thị đầu tiên Thời gian đến khi văn bản xuất hiện, với yêu cầu dự kiến tạo văn bản
Tốc độ đầu ra hiển thị Tốc độ tạo nội dung sau khi đầu ra hiển thị bắt đầu
Token đầu ra Lượng đầu ra mà yêu cầu tạo ra

Phản hồi đầu tiên chậm thường có nghĩa là yêu cầu phải chờ lâu hơn trước khi bắt đầu tạo nội dung. Phản hồi đầu tiên bình thường nhưng tốc độ đầu ra thấp cho thấy vấn đề nghiêng về giai đoạn tạo nội dung. Hãy kết hợp các số đo này với trạng thái, mô hình, nhóm và khoảng thời gian để phân biệt độ trễ nhất thời với sự cố kéo dài.

Phản hồi chỉ có lệnh gọi công cụ có thể không chứa văn bản hiển thị, vì vậy với lưu lượng Responses, “phản hồi đầu tiên” là tín hiệu an toàn hơn để đo đầu ra hữu ích đầu tiên.

Dùng bằng chứng an toàn để lưu giữ

Metadata thời gian của Modelflare không bao gồm prompt, nội dung phản hồi, nội dung yêu cầu thô, khóa API, email hay địa chỉ IP dạng văn bản thuần. Nhờ vậy, bản ghi vận hành vẫn hữu ích mà việc chẩn đoán độ trễ không biến thành một kho nội dung thứ hai.

Khi xảy ra sự cố, hãy ghi lại:

  • ID yêu cầu và thời điểm;
  • mô hình được yêu cầu và nhóm đã chọn;
  • endpoint và chế độ streaming;
  • trạng thái trả về cho phía gọi;
  • trạng thái, tổng thời gian phản hồi và thời gian đến phản hồi đầu tiên;
  • ứng dụng khách có hủy trước khi yêu cầu hoàn tất hay không.

Những bằng chứng này cho phép bộ phận hỗ trợ xác minh việc chuyển nhóm, mô hình tạo nội dung chậm và việc ứng dụng khách hủy yêu cầu mà không làm lộ cấu trúc dịch vụ nội bộ trong nhật ký thông thường.

Danh sách kiểm tra độ ổn định production

  • Cấp cho mỗi ứng dụng một khóa API riêng.
  • Đặt nhóm chính và thứ tự dự phòng có chủ đích.
  • Xác minh khả năng hỗ trợ mô hình và giao thức ở mọi nhóm ứng viên.
  • Đặt thời gian chờ của ứng dụng khách đủ dài cho tác vụ thực tế.
  • Dùng số lần thử lại có giới hạn kèm jitter cho các lỗi có thể thử lại.
  • Không thử lại lỗi xác thực, hạn mức hoặc quyền truy cập mô hình như thể đó là lỗi tạm thời.
  • Kiểm tra cả yêu cầu không streaming và streaming.
  • Theo dõi 429, phản hồi đầu tiên, tốc độ đầu ra và các lần hủy.
  • Xem lại giá của nhóm trước khi coi một nhóm dự phòng là tương đương.

Độ ổn định đến từ việc giữ nguyên hợp đồng yêu cầu và lưu đủ bằng chứng khi yêu cầu không thành công. Nhóm dự phòng theo thứ tự giúp giảm phụ thuộc vào một nhóm duy nhất, còn bản ghi hiệu năng và mức sử dụng giúp giải thích những lỗi còn lại.

Dùng Hướng dẫn lỗi API AI để hiểu các lỗi xác thực, quyền truy cập, giới hạn tốc độ, hủy yêu cầu và 5xx. Áp dụng các biện pháp kiểm soát trong Bảo mật khóa API AI trước khi mở rộng quyền dự phòng.