ประเด็นสำคัญ
- เราต์เตอร์ขายการเข้าถึงโมเดลหลายตัว; โมเดลที่โฮสต์แบบเดี่ยวขายโมเดลเดียวในราคาเดียว การประหยัดขึ้นอยู่กับว่าแอปของคุณต้องการโมเดลใดจริงๆ
- เอนด์พอยต์นี้คิดเงิน $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens โดยไม่มีค่าสมาชิก
- แชทบอทที่มี 100,000 requests ต่อเดือน ที่ 2,000 input และ 300 output tokens มีต้นทุน $45 ที่นี่
- ตรวจสอบราคาปัจจุบันของผู้ให้บริการทุกรายด้วยตนเอง; บทความนี้ไม่ได้อ้างอิงอัตราค่าบริการของใครอื่น
Router หรือโมเดลเดียว: สิ่งที่คุณกำลังซื้อจริงๆ
Router ให้คุณคีย์ API เดียวและแคตตาล็อกโมเดลจากผู้ขายหลายราย คุณเลือกโมเดลต่อคำขอ เปรียบเทียบคุณภาพ และเปลี่ยนเมื่อมีโมเดลที่ดีกว่า ความยืดหยุ่นนี้มีค่า โดยเฉพาะเมื่อคุณยังตัดสินใจว่าผลิตภัณฑ์ของคุณต้องการอะไร
โมเดลที่โฮสต์เดียวทำงานต่างกัน คุณได้โมเดลเดียว ID เดียว และราคาเดียว หากแอปของคุณต้องการพฤติกรรมเดียวกันในทุก call เช่นบอท roleplay ตัวจำแนกประเภท หรือตัวสรุป ความยืดหยุ่นไม่สำคัญอีกต่อไป และราคาเป็นตัวแปรหลัก นั่นคือกรณีที่เหมาะสมสำหรับทางเลือก OpenRouter ที่ถูกกว่าแคตตาล็อก
เว็บไซต์นี้ขายประเภทที่สอง: API ข้อความที่เข้ากันได้กับ OpenAI พร้อมโมเดล open-weight โมเดลเดียวที่ปรับให้ตอบโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ดำเนินการโดยผู้ให้บริการอิสระ ไม่ใช่เราต์เตอร์ข้ามผู้ขาย และไม่ใช่ API ทางการของผู้ขายรายใด ดู ภาพรวมผู้ให้บริการ เพื่อดูความหมายในทางปฏิบัติ
ขั้นตอนที่หนึ่ง: วัดจำนวนโทเคนของคุณ
ราคาต่อล้านโทเคน ดังนั้นคุณต้องการตัวเลขสามตัวจากปริมาณการใช้งานของคุณเอง: จำนวนคำขอต่อเดือน จำนวนโทเคนอินพุตเฉลี่ยต่อคำขอ และจำนวนโทเคนเอาต์พุตเฉลี่ยต่อคำขอ การตอบกลับ API ทุกครั้งจะมีบล็อกการใช้งานที่มีจำนวนนับ ดังนั้นการบันทึกข้อมูลเพียงหนึ่งวันก็ให้คุณค่าเฉลี่ยที่แท้จริง
สูตรคำนวณคือ:
monthly cost = requests x (input_tokens x input_price + output_tokens x output_price) / 1,000,000
โดยที่ราคาเป็นดอลลาร์ต่อล้านโทเคน ระวังเรื่องอินพุต แอปแชทส่งประวัติใหม่ และเอเจนต์ส่งผลลัพธ์ฟังก์ชันใหม่ ดังนั้นค่าเฉลี่ยของอินพุตจึงมักมีขนาดใหญ่กว่าข้อความผู้ใช้เพียงครั้งเดียวหลายเท่า หากคุณยังไม่ได้วัดค่า คุณกำลังเดาอยู่
งานสี่ประเภทที่ $0.15 และ $0.50
นี่คือต้นทุนของงานทั่วไปสี่ประเภทที่เอนด์พอยต์นี้ แทนที่ค่าอินพุตด้วยข้อมูลของคุณ
| ภาระงาน | ปริมาณ | โทเคนต่อคำขอ | ค่าใช้จ่ายรายเดือน |
|---|---|---|---|
| แชทบอท | 100,000 คำขอ | อินพุต 2,000 เอาต์พุต 300 | $30 + $15 = $45 |
| ตัวจำแนกประเภท | 1,000,000 คำขอ | อินพุต 300 เอาต์พุต 20 | $45 + $10 = $55 |
| สรุปเอกสาร | เอกสาร 10,000 รายการ | อินพุต 8,000 เอาต์พุต 400 | $12 + $2 = $14 |
| เครื่องสร้างเรื่องราว | 20,000 คำขอ | อินพุต 500 เอาต์พุต 2,000 | $1.50 + $20 = $21.50 |
ตรวจสอบหนึ่งแถว อินพุตแชทบอท: 100,000 x 2,000 = 200,000,000 โทเคน = 200 x $0.15 = $30 เอาต์พุต: 100,000 x 300 = 30,000,000 โทเคน = 30 x $0.50 = $15 รวม $45
สังเกตรูปแบบ เครื่องสร้างเรื่องราวถูกครอบงำโดยเอาต์พุต ส่วนตัวจำแนกและแชทบอทถูกครอบงำโดยอินพุต เปรียบเทียบผู้ให้บริการแต่ละรายในด้านที่ครอบงำบิลของคุณ ไม่ใช่แค่ตัวเลขพาดหัว เพียงอย่างเดียว
เปรียบเทียบโดยไม่ไว้วางใจราคาที่โฆษณา
เพื่อเปรียบเทียบอย่างยุติธรรมกับตัวกลางหรือบริการอื่น ให้ค้นหาราคาปัจจุบันสำหรับโมเดลที่คุณจะใช้ และถามคำถามเหล่านี้:
- ราคาอินพุตและเอาต์พุตสำหรับโมเดลนั้นคืออะไร? อย่าใช้ค่าเฉลี่ยทั่วทั้งแคตตาล็อก
- มีค่าธรรมเนียมเพิ่มเติมสำหรับการเติมเงินหรือการใช้งานหรือไม่? ตรวจสอบหน้าราคาปัจจุบันของพวกเขา
- โมเดลที่คุณต้องการมีให้บริการหรือไม่ และโมเดลนั้นปฏิเสธเนื้อหาที่คุณต้องการเขียนหรือไม่
- คำขอที่ล้มเหลวหรือถูกปฏิเสธมีการเรียกเก็บเงินหรือไม่? ที่นี่ไม่ใช่
- เครดิตหมดอายุหรือไม่? ที่นี่ไม่หมดอายุ
จากนั้นรันสูตรเดียวกันด้วยตัวเลขของพวกเขา ตัวช่วยด้านล่างนี้จะทำสิ่งนี้ และแสดงวิธีรักษาเส้นทางโค้ดเดียวไว้เพื่อให้คุณสามารถเปลี่ยน backend ได้ด้วยตัวแปรสภาพแวดล้อม
import os
from openai import OpenAI
# One client, two possible backends. Switch with environment variables.
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.bestuncensoredllm.com/v1"),
api_key=os.environ["LLM_API_KEY"],
)
MODEL = os.getenv("LLM_MODEL", "uncensored")
def monthly_cost(requests, in_tokens, out_tokens, in_price, out_price):
"""Prices are dollars per 1M tokens."""
return requests * (in_tokens * in_price + out_tokens * out_price) / 1_000_000
# this endpoint: $0.15 in, $0.50 out
print(monthly_cost(100_000, 2_000, 300, 0.15, 0.50)) # 45.0
# fill in another provider's current prices to compare
# print(monthly_cost(100_000, 2_000, 300, THEIR_IN, THEIR_OUT))เนื่องจากทั้งสองฝ่ายใช้รูปแบบ OpenAI การลองใช้เอนด์พอยต์นี้หมายถึงการเปลี่ยน base URL และ key เอกสาร ระบุเส้นทาง: POST /v1/chat/completions, POST /v1/responses และ GET /v1/models
เมื่อเราเตอร์ยังคงเป็นทางเลือกที่ดีกว่า
ราคาถูกกว่าไม่ได้หมายความว่าดีกว่าเสมอไป ตัวกระจายโหลด (router) เหมาะกับคุณมากกว่าหาก:
- ต้องการลองใช้โมเดลหลายตัวจากผู้ขายต่างกัน หรือต้องการจัดเส้นทางตามงาน;
- ต้องการเอนด์พอยต์สำหรับรูปภาพ เสียง หรือ embedding ซึ่งบริการนี้ไม่มี;
- ต้องการโมเดลเฉพาะจากผู้ขายรายใดรายหนึ่งตามชื่อเพื่อเหตุผลด้านสัญญาหรือการปฏิบัติตามกฎระเบียบ;
- ต้องการการเปลี่ยนผู้ให้บริการอัตโนมัติเมื่อผู้ให้บริการรายใดรายหนึ่งมีปัญหา
โมเดลแบบโฮสต์เดียวเหมาะกว่าหากโมเดลเดียวครอบคลุมแอปของคุณ คุณต้องการราคาต่อโทเคนที่คาดการณ์ได้โดยไม่มีแคตตาล็อกให้ต้องเลือก และปัญหาการปฏิเสธเนื้อหาเป็นปัญหาในผลิตภัณฑ์ของคุณ ทีมจำนวนมากใช้ทั้งสองแบบ: เอนด์พอยต์เดียวสำหรับเส้นทางข้อความแบบไม่เซ็นเซอร์ ที่มีปริมาณสูง และเราต์เตอร์สำหรับการทดลอง
ย้ายเวิร์กโหลดได้ในบ่ายวันเดียว
การย้ายระบบในทางปฏิบัติมีสี่ขั้นตอน ขั้นแรก บันทึกการใช้งานบนผู้ให้บริการปัจจุบันของคุณเป็นเวลาหนึ่งวัน เพื่อให้คุณทราบค่าเฉลี่ยโทเคนจริงของคุณ ขั้นที่สอง เล่นซ้ำตัวอย่างของ 200 พรอมต์จริง กับเอนด์พอยต์นี้และบันทึก output ข้างๆ เก่า ขั้นที่สาม อ่านทั้งสองชุดแบบไม่ระบุที่มา และระบุว่าชุดใดที่คุณจะส่งไป ขั้นที่สี่ จัดเส้นทางส่วนเล็กๆ ของ ทราฟฟิกจริง เช่น 10 เปอร์เซ็นต์ ผ่าน feature flag และดู การปฏิเสธ ความหน่วง ที่คุณรู้สึกได้ และต้นทุนต่อ request เก็บผู้ให้บริการเดิมไว้เป็น fallback จนกว่าคุณจะไว้วางใจเส้นทางใหม่ เนื่องจากทั้งสองใช้รูปแบบ OpenAI สิ่งเหล่านี้ไม่จำเป็นต้องมีการเขียนโค้ดใหม่
ขีดจำกัดและรายละเอียดการใช้งานจริง
ราคาเป็นเพียงส่วนหนึ่งของต้นทุนรวม ขีดจำกัดอัตรากำหนดวิธีการออกแบบแอป คีย์เต็มที่นี่อนุญาตให้ทำคำขอพร้อมกัน 8 รายการและ 300 ต่อนาที คีย์ทดลองอนุญาตให้ทำ 2 และ 60 เกินขีดจำกัดคุณจะได้รับ HTTP 429 พร้อม rate_limited สำหรับ requests ต่อนาที หรือ concurrency สำหรับจำนวนมากเกินไป และ Retry-After: 5 เมื่อ overload ชั่วคราว หน้าต่างบริบทคือ 100,000 tokens และ max_tokens เป็นตัวเลือก
Top-ups เริ่มต้นที่ $20 ถึง $500 พร้อม +5% จาก $50, +10% จาก $100 และ +15% จาก $200 โดยcrypto ตัวอย่างเช่น การเติมเงิน $200 ให้เครดิตมากขึ้น 15% ดังนั้น $230 สำหรับใช้จ่าย เครดิตเป็น prepaid และ ไม่มีวันหมดอายุ ดู ราคา
รันการทดสอบแบบต้นทุนต่ำ
อย่าเชื่อโดยยังไม่ทดสอบ นำพรอมต์จริง หนึ่งวัน ส่งไปยังเอนด์พอยต์ อ่าน output และคำนวณต้นทุนจาก fields usage ผู้ใช้ใหม่สามารถขอรับ $0.50 ของ เครดิตทดลองใช้ ได้ด้วยการคลิกเดียวบน หน้า API key; ใช้ได้ 7 วัน และไม่ต้องการบัตร ที่ 2,000 input และ 300 output tokens ต่อ request $0.50 ซื้อได้ประมาณ 1,100 chat requests เพียงพอที่จะตัดสินทั้งคุณภาพและราคา: 2,000 x $0.15 / 1M = $0.0003 บวก 300 x $0.50 / 1M = $0.00015 เป็น $0.00045 ต่อ request และ $0.50 / $0.00045 คือประมาณ 1,111
หากคุณต้องการตัวเลือกฟรีก่อนชำระเงิน อ่านตัวเลือก LLM แบบไม่เซ็นเซอร์ฟรี เพื่อดูขีดจำกัด
