VI ▾
Lấy khóa API
  1. Trang chủ
  2. Hướng dẫn

Các giải pháp thay thế OpenRouter rẻ hơn: Kiểm tra chi phí

Nếu bạn muốn tìm các giải pháp thay thế OpenRouter rẻ hơn bộ định tuyến đa mô hình, bước đầu tiên là định giá tải xử lý của bạn theo token, sau đó so sánh với một mô hình được lưu trữ. Trang này cung cấp các công thức, bốn ví dụ chi tiết và danh sách trung thực về khi nào bộ định tuyến vẫn là công cụ tốt hơn.

Cập nhật

Ngã ba đường ray phân nhánh bên cạnh một đường ray thẳng đơn dẫn đến một máy chủ, so sánh bộ định tuyến với một mô hình được lưu trữ

Điểm chính

  1. Bộ định tuyến bán quyền truy cập vào nhiều mô hình; một mô hình được lưu trữ bán một mô hình với một giá. Khoản tiết kiệm phụ thuộc vào mô hình mà ứng dụng của bạn thực sự cần.
  2. Endpoint này tính $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, không có phí đăng ký.
  3. Một chatbot với 100.000 yêu cầu mỗi tháng, với 2.000 token đầu vào và 300 token đầu ra, tốn $45 ở đây.
  4. Hãy tự kiểm tra giá hiện tại của mọi nhà cung cấp; bài viết này không trích dẫn giá của bất kỳ ai khác.

Router hay mô hình đơn lẻ: Bạn thực sự đang mua gì

Một router cung cấp cho bạn một khóa API và một danh mục các mô hình từ nhiều nhà cung cấp. Bạn chọn một mô hình cho mỗi yêu cầu, so sánh chất lượng và chuyển đổi khi có mô hình tốt hơn xuất hiện. Sự linh hoạt đó có giá trị, đặc biệt là khi bạn vẫn đang quyết định sản phẩm của mình cần gì.

Một mô hình được lưu trữ đơn hoạt động khác biệt. Bạn nhận được một mô hình, một ID và một giá. Nếu ứng dụng của bạn cần cùng một hành vi trong mọi lời gọi, chẳng hạn như bot nhập vai, bộ phân loại hoặc bộ tóm tắt, tính linh hoạt không còn quan trọng và giá trở thành biến số chính. Đó là trường hợp các giải pháp thay thế OpenRouter rẻ hơn danh mục có ý nghĩa.

Trang web này bán loại thứ hai: một API văn bản tương thích OpenAI với một mô hình trọng số mở được tinh chỉnh để trả lời mà không có các từ chối nội dung cho mục đích người lớn hợp pháp, do một nhà cung cấp độc lập vận hành. Nó không phải là một router giữa các nhà cung cấp và không phải là API chính thức của bất kỳ nhà cung cấp nào. Xem tổng quan nhà cung cấp để biết ý nghĩa thực tế của điều đó.

Bước một: đo lường token của bạn

Giá được tính trên mỗi triệu token, vì vậy bạn cần ba số liệu từ lưu lượng truy cập của chính mình: số yêu cầu mỗi tháng, số token đầu vào trung bình mỗi yêu cầu và số token đầu ra trung bình mỗi yêu cầu. Mọi phản hồi API đều bao gồm một khối sử dụng với các số liệu đếm, vì vậy một ngày ghi nhật ký sẽ cung cấp cho bạn các giá trị trung bình thực tế.

Công thức là:

monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000

với giá tính bằng đô la cho mỗi triệu token. Hãy cẩn thận với đầu vào. Các ứng dụng trò chuyện gửi lại lịch sử, và các tác nhân gửi lại kết quả công cụ, vì vậy lượng đầu vào trung bình thường lớn hơn nhiều so với kích thước của một tin nhắn người dùng đơn lẻ. Nếu bạn chưa đo lường nó, bạn đang đoán mò.

Bốn tải xử lý ở mức $0,15 và $0,50

Đây là chi phí của bốn tải xử lý điển hình trên endpoint này. Thay thế các đầu vào bằng dữ liệu của bạn.

Khối công việcKhối lượngToken mỗi yêu cầuChi phí hàng tháng
Chatbot100.000 yêu cầu2.000 đầu vào, 300 đầu ra$30 + $15 = $45
Bộ phân loại1.000.000 yêu cầu300 đầu vào, 20 đầu ra$45 + $10 = $55
Tóm tắt tài liệu10.000 tài liệu8.000 đầu vào, 400 đầu ra$12 + $2 = $14
Trình tạo truyện20.000 yêu cầu500 đầu vào, 2.000 đầu ra$1,50 + $20 = $21,50

Hãy kiểm tra một hàng. Đầu vào Chatbot: 100.000 x 2.000 = 200.000.000 token = 200 x $0,15 = $30. Đầu ra: 100.000 x 300 = 30.000.000 token = 30 x $0,50 = $15. Tổng cộng $45.

Hãy nhận ra quy luật. Trình tạo truyện bị chi phối bởi đầu ra, trong khi bộ phân loại và chatbot bị chi phối bởi đầu vào. Hãy so sánh từng nhà cung cấp dựa trên phần chi phối hóa đơn của bạn, không chỉ dựa trên con số tiêu đề.

So sánh mà không tin tưởng vào giá tiêu đề

Để so sánh công bằng với một router hoặc bất kỳ dịch vụ nào khác, hãy tra cứu giá hiện tại của nó cho đúng mô hình bạn sẽ sử dụng và đặt những câu hỏi sau:

  • Giá đầu vào và đầu ra cho mô hình đó là bao nhiêu? Đừng sử dụng giá trung bình trên toàn danh mục.
  • Có phí bổ sung khi nạp tiền hoặc khi sử dụng không? Hãy kiểm tra trang định giá hiện tại của họ.
  • Mô hình bạn cần có sẵn không, và nó có từ chối sinh ra nội dung bạn cần viết không?
  • Các yêu cầu bị lỗi hoặc bị từ chối có được tính phí không? Ở đây thì không.
  • Tín dụng có hết hạn không? Ở đây thì không bao giờ.

Sau đó, hãy chạy cùng công thức với các giá trị của họ. Trình trợ giúp bên dưới sẽ làm điều đó, đồng thời hiển thị cách giữ một đường dẫn mã duy nhất để bạn có thể chuyển đổi backend bằng một biến môi trường.

import os
from openai import OpenAI

# One client, two possible backends. Switch with environment variables.
client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
    api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")

def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
    """Prices are dollars per 1M tokens."""
    return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000

# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50))   # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))

Vì cả hai bên đều sử dụng định dạng OpenAI, việc thử nghiệm endpoint này có nghĩa là thay đổi base URL và một khóa. Các tài liệu liệt kê các đường dẫn: POST /v1/chat/completions, POST /v1/responses và GET /v1/models.

Khi nào router vẫn là lựa chọn tốt hơn

Rẻ hơn không phải lúc nào cũng tốt hơn. Một router phù hợp với bạn hơn nếu bạn:

  • cần thử nhiều mô hình từ các nhà cung cấp khác nhau, hoặc định tuyến theo tác vụ;
  • cần các endpoint ảnh, âm thanh hoặc embedding, dịch vụ này không cung cấp;
  • cần mô hình của một nhà cung cấp cụ thể theo tên vì lý do hợp đồng hoặc tuân thủ;
  • muốn tự động chuyển đổi giữa các nhà cung cấp khi một bên gặp sự cố.

Một mô hình được lưu trữ đơn lẻ phù hợp hơn nếu một mô hình bao phủ ứng dụng của bạn, bạn muốn giá mỗi token dự đoán được mà không cần điều hướng danh mục, và việc từ chối nội dung là một vấn đề trong sản phẩm của bạn. Nhiều nhóm sử dụng cả hai: một endpoint đơn lẻ cho đường dẫn văn bản không kiểm duyệt có lưu lượng cao, và một bộ định tuyến cho các thử nghiệm.

Chuyển một tác vụ trong một buổi chiều

Quá trình di chuyển thực tế có bốn bước. Đầu tiên, ghi lại việc sử dụng trên nhà cung cấp hiện tại của bạn trong một ngày để bạn biết các giá trị trung bình token thực tế của mình. Thứ hai, phát lại một mẫu gồm 200 prompt thực tế trên endpoint này và lưu các đầu ra bên cạnh các đầu ra cũ. Thứ ba, đọc cả hai bộ dữ liệu mà không biết cái nào là cái nào và đánh dấu cái nào bạn sẽ triển khai. Thứ tư, định tuyến một phần nhỏ lưu lượng truy cập trực tiếp, ví dụ 10 phần trăm, qua cờ tính năng và theo dõi các lần từ chối, độ trễ bạn có thể cảm nhận và chi phí cho mỗi yêu cầu. Hãy giữ nhà cung cấp cũ được cấu hình làm dự phòng cho đến khi bạn tin tưởng vào đường dẫn mới. Vì cả hai đều sử dụng định dạng OpenAI, nên không cần phải viết lại.

Giới hạn và chi tiết thực tế

Giá cả chỉ là một phần của tổng chi phí. Giới hạn tốc độ định hình cách bạn thiết kế ứng dụng. Một khóa đầy đủ ở đây cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Vượt quá giới hạn, bạn sẽ nhận được HTTP 429, với rate_limited cho số yêu cầu mỗi phút hoặc concurrency cho quá nhiều yêu cầu cùng lúc, và Retry-After: 5 khi quá tải tạm thời. Cửa sổ ngữ cảnh là 100.000 token, và max_tokens là tùy chọn.

Các khoản nạp tiền chạy từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200, bằng tiền mã hóa. Ví dụ, một khoản nạp $200 sẽ nhận được thêm 15% tín dụng, tức là $230 để chi tiêu. Tín dụng là trả trước và không bao giờ hết hạn. Xem giá cả.

Chạy một bài kiểm tra rẻ

Đừng chuyển đổi dựa trên niềm tin. Hãy lấy một ngày prompt thực tế, gửi chúng đến endpoint, đọc các đầu ra và tính toán chi phí từ các trường sử dụng. Người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột trên trang khóa API; nó kéo dài 7 ngày và không cần thẻ. Với 2.000 token đầu vào và 300 token đầu ra mỗi yêu cầu, $0,50 mua được khoảng 1.100 yêu cầu chat. Điều đó đủ để đánh giá cả chất lượng và giá: 2.000 x $0,15 / 1 triệu = $0,0003 cộng 300 x $0,50 / 1 triệu = $0,00015 là $0,00045 mỗi yêu cầu, và $0,50 / $0,00045 là khoảng 1.111.

Nếu bạn muốn các tùy chọn miễn phí trước khi trả bất kỳ khoản tiền nào, hãy đọc các tùy chọn LLM không kiểm duyệt miễn phí để biết các giới hạn của chúng.

Hỏi đáp

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Trong mã, chủ yếu là có, vì nó sử dụng định dạng OpenAI. Về phạm vi, không: nó cung cấp một mô hình, không phải danh mục các nhà cung cấp.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Tính hóa đơn của bạn bằng công thức ở đây và giá hiện tại của nhà cung cấp khác. Bài viết này không trích dẫn tỷ lệ của đối thủ.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Không. Bạn trả tiền theo mức sử dụng từ tín dụng trả trước, và tín dụng không bao giờ hết hạn.

Có LLM không kiểm duyệt nào hoàn toàn miễn phí không?

Không. Nó chỉ dành cho văn bản, không có endpoint cho hình ảnh, âm thanh, video hay embedding.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API