![LLM Router: Arahkan Request, Pangkas Biaya 60% [2026]](/_next/image?url=https%3A%2F%2Fmedia.techsy.io%2Ftechsy-io%2Fhero-506-1200x630.webp&w=3840&q=75)
LLM Router: Arahkan Request, Pangkas Biaya 60% [2026]
LLM router adalah lapisan tipis antara aplikasimu dan beberapa language model yang memilih model mana yang menangani setiap request. Router memeriksa request (jenis tugas, kompleksitas, anggaran token), meneruskannya ke model yang paling cocok, dan beralih ke cadangan jika model itu error. Tujuannya: jawaban yang pas dengan biaya token terendah.
Membayar model frontier untuk menjawab "apa kebijakan refund kalian?" adalah cara tagihan membengkak. AWS mengukur alternatifnya pada April 2025: router berbasis classifier menambah latensi 0,53 detik, router semantik menambah 0,10 detik, dan potongan hingga 30% untuk routing di dalam satu keluarga model. Hitung ulang matematika itu lintas vendor dengan harga list Juli 2026, seperti yang kami lakukan di bawah, dan potongannya mencapai 70%. Sebagian besar penghematan datang dari satu keputusan, yang dibuat sebelum satu token pun dihasilkan.
Poin-Poin Utama
- LLM router memutuskan model mana yang menangani setiap request, berdasarkan jenis tugas, biaya, atau kualitas yang terukur.
- Ada lima strategi: berbasis aturan, peka biaya, peka latensi, semantik (embedding), dan routing dengan classifier LLM.
- Routing berbasis aturan menambah ~0 ms dan $0; routing classifier menambah 300-800 ms plus biaya token classifier per request.
- Routing bisa memangkas pengeluaran token hingga 60% ketika sebagian besar trafik sederhana pindah ke model yang 10-20x lebih murah.
- Satu provider, di bawah 10 ribu request per hari, tanpa tekanan biaya? Lewati router. Fallback polos sudah cukup.
Apa Sebenarnya yang Dilakukan LLM Router?
LLM router menjalankan langkah keputusan kecil sebelum setiap panggilan model: membaca request, menilainya terhadap aturan routing, memilih model, mengirim panggilan, dan mencoba ulang ke fallback jika model pertama error. Tidak ada hal lain dari aplikasimu yang berubah. Kamu tetap mengirim satu request dan menerima satu respons.
Siklus hidup request, secara berurutan:
- Request tiba di endpoint router, persis seperti di API model.
- Analisis. Router memeriksa prompt: kata kunci, jumlah token, embedding, atau skor classifier.
- Pilih. Strategi routing memetakan sinyal itu ke tier model (murah, menengah, frontier, atau lokal).
- Teruskan. Panggilan dikirim ke model yang dipilih melalui API yang kompatibel dengan OpenAI.
- Fallback. Saat timeout, rate limit, atau error, request dicoba ulang ke tier berikutnya dalam rantai.
Orang mencari "llm gateway vs router" karena dokumentasi vendor mengaburkan istilahnya. Satu kalimat memperbaikinya: gateway adalah pipanya; router adalah keputusannya. Keduanya lapisan, bukan saingan, dan kebanyakan gateway menanamkan router di dalamnya.
| Lapisan | Memutuskan | Fitur umum | Contoh |
|---|---|---|---|
| Proxy | Transport saja | URL endpoint, auth passthrough, log request | nginx, Kong |
| Gateway | Kebijakan level pipa | API key, rate limit, anggaran, log penggunaan, retry | LiteLLM proxy, OpenRouter, Portkey |
| Router | Model mana yang menjawab | Aturan tugas, ambang biaya, pencocokan semantik, penilaian classifier | LiteLLM router, RouteLLM, kode kustom |
Menurut dokumentasi LiteLLM, proxy yang sama yang menyimpan virtual key-mu juga menjalankan router. Mau membandingkan khusus alat level pipa? Rangkuman kami tentang alat gateway LLM terbaik meranking sepuluh.
Apakah Kamu Benar-Benar Butuh LLM Router?
Kebanyakan aplikasi kecil tidak butuh. Router sepadan ketika trafik terbelah menjadi jenis tugas yang jelas berbeda, ketika tagihan token adalah biaya infrastruktur terbesarmu, atau ketika kamu menjalankan lebih dari satu provider dan butuh failover. Di bawah ambang itu, retry polos plus satu model fallback memberimu keandalan tanpa komponen tambahan.
Kami katakan terus terang, karena tidak ada orang lain di ruang ini yang mau mengatakannya: jika kamu menjalankan satu provider dengan di bawah 10 ribu request per hari, router adalah overhead yang tidak kamu butuhkan. Fallback polos menang.
| Situasimu | Verdict |
|---|---|
| Satu provider, <10 ribu request/hari, tanpa tekanan biaya | Lewati. Gunakan retry plus satu model fallback |
| Trafik campuran (FAQ support dan penalaran berat) | Routing berdasarkan jenis tugas (berbasis aturan) |
| Tagihan token adalah pos infrastruktur terbesarmu | Routing berdasarkan tier biaya (peka biaya atau cascade) |
| Dua provider atau lebih | Routing dan failover lintas provider |
| Produk kritis-kualitas dengan eval di CI | Routing berdasarkan kualitas terukur (classifier atau berbasis eval) |
Kenapa terus terang? Setiap rute adalah klaim ("kelas tugas ini aman di model murah") yang lapuk seiring model, harga, dan produkmu berubah. Beli biaya perawatan itu hanya ketika penghematannya jelas mengalahkannya.
5 Strategi Routing LLM (Dan Kapan Memakai Masing-Masing)
Setiap strategi routing LLM menjawab satu pertanyaan: sinyal apa yang cukup kamu percaya untuk memilih model? Aturan percaya kata kunci. Routing biaya percaya anggaran token. Routing latensi percaya timer. Routing semantik percaya embedding. Routing classifier percaya LLM lain. Tradeoff-nya selalu berbentuk sama: kualitas sinyal lebih tinggi, latensi dan biaya tambahan per request lebih tinggi.
Autocomplete memunculkannya sebagai "llm routing strategies", "llm task routing", "llm intent routing", dan "llm dynamic routing". Semuanya memetakan ke lima pola:
| Strategi | Cara memutuskan | Latensi tambahan | Biaya tambahan | Pakai ketika |
|---|---|---|---|---|
| Routing aturan / tugas | Kata kunci atau regex cocok dengan peta rute | ~0 ms | $0 | Intent yang mudah diprediksi: refund, ringkasan, perbaikan SQL |
| Routing peka biaya | Jumlah token atau ambang anggaran | ~0 ms | $0 | Volume tinggi, margin tipis |
| Routing peka latensi | p95 live per tier model | ~0 ms (butuh metrik) | $0 | Chat pengguna dengan SLA |
| Routing semantik | Kemiripan embedding dengan prompt contoh | 50-150 ms | Token embedding | Input pengguna yang kabur dan terbuka |
| Routing classifier LLM | Model murah menilai kesulitan | 300-800 ms | Token classifier | Trafik campuran kesulitan, kualitas prioritas |
Satu pola memotong kelimanya: cascade, juga disebut penjenjangan model. Mulai dari yang murah dan eskalasi hanya saat gagal atau keyakinan rendah. Bot support menjawab dari model seharga $0,25 per juta token; jika keyakinannya turun di bawah 0,7, request yang sama dicoba ulang di model frontier. Kamu membayar kecerdasan hanya ketika tier murah mengakui sedang buntu.
Untuk kedalaman akademis, library LLMRouter dari ulab-uiuc mengkatalogkan 16+ algoritma routing yang diteliti (KNN, SVM, MLP, matrix factorization, Elo, graph, dan gaya BERT). Jika routing semantik pilihanmu, embedding contoh menentukan hampir segalanya; panduan kami tentang model embedding terbaik membahas mana yang bertahan di korpus nyata.
Bagaimana Cara Membangun LLM Router di Python?
Kamu membangunnya dengan sekitar 80 baris Python polos terhadap endpoint apa pun yang kompatibel dengan OpenAI. Tanpa framework. Empat router di bawah meningkat kecanggihannya: aturan kata kunci, ambang biaya, kemiripan embedding, dan model classifier dengan failover. Masing-masing mencetak model yang dipilih, sehingga kamu bisa melihat keputusannya terjadi.
Jika kamu pernah mencari "how to build an llm router" dan hanya menemukan stack AWS CDK dan repo akademis, bagian ini adalah jawaban polosnya. Implementasi referensi AWS solid tapi terikat ke Bedrock, Lambda, dan CDK. Milik kami berjalan di mana pun client OpenAI bisa diarahkan: OpenAI, Anthropic melalui proxy, Ollama di laptop, vLLM di mesin GPU. Inilah router yang pertama kali kami sketsakan untuk klien.
Langkah 1: Router berbasis aturan (kata kunci ke model)
Baseline nol latensi. Peta regex yang memutuskan; semua yang tidak cocok pergi ke tier frontier.
import re
from openai import OpenAI
client = OpenAI() # works with OpenAI, Ollama, vLLM, or a LiteLLM proxy
def ask(model: str, prompt: str) -> str:
r = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
ROUTES = [
(re.compile(r"\b(refund|cancel|invoice|password|hours)\b", re.I), "gpt-5-mini"),
(re.compile(r"\b(summarize|translate|rewrite)\b", re.I), "gpt-5-mini"),
]
FRONTIER = "gpt-5"
def rule_router(prompt: str) -> str:
for pattern, model in ROUTES:
if pattern.search(prompt):
return model
return FRONTIER
prompt = "How do I cancel my subscription?"
model = rule_router(prompt)
print(model) # gpt-5-mini: regex hit on "cancel"
print(ask(model, prompt))Input: pertanyaan support. Keputusan: regex cocok pada "cancel". Model terpilih: gpt-5-mini. Tidak perlu panggilan API untuk merutekannya, itulah kenapa ini tetap jadi default.
Langkah 2: Router peka biaya (ambang anggaran token)
Ide yang sama, tapi sinyalnya adalah ukuran request, bukan kata kunci. Prompt pendek dengan anggaran output kecil pergi ke yang murah; sisanya ke frontier.
def cost_router(prompt: str, max_output_tokens: int = 500) -> str:
word_count = len(prompt.split())
if word_count < 60 and max_output_tokens <= 300:
return "gpt-5-mini" # $0.25 in / $2 out per M tokens
return "gpt-5" # $1.25 in / $10 out per M tokens
prompt = "Write a two-line product description for a ceramic mug."
model = cost_router(prompt, max_output_tokens=120)
print(model) # gpt-5-mini: short prompt, small output budgetKasar? Ya. Efektif? Juga ya, karena volume token berkorelasi dengan ukuran tugas lebih baik dari dugaan kebanyakan orang. Inilah seluruh strategi di balik beberapa produk berbayar "cheap llm router".
Langkah 3: Router semantik (embedding ke contoh)
Untuk input pengguna kabur yang menghindari kata kunci, embed prompt dan bandingkan dengan embedding prompt contoh. Cluster mana pun yang terdekat memiliki request itu.
import numpy as np
EXEMPLARS = {
"gpt-5-mini": [
"classify this support ticket into a category",
"extract the shipping address from this email",
],
"gpt-5": [
"debug this race condition in our worker pool",
"design a multi-tenant billing schema",
],
}
def embed(texts: list[str]) -> np.ndarray:
r = client.embeddings.create(model="text-embedding-3-small", input=texts)
return np.array([d.embedding for d in r.data])
CENTROIDS = {m: embed(xs).mean(axis=0) for m, xs in EXEMPLARS.items()}
def semantic_router(prompt: str) -> str:
v = embed([prompt])[0]
scores = {
m: float(np.dot(v, c) / (np.linalg.norm(v) * np.linalg.norm(c)))
for m, c in CENTROIDS.items()
}
return max(scores, key=scores.get)
print(semantic_router("pull the tracking number out of this message"))
# gpt-5-mini: closest to the extraction exemplarsPanggilan routing memakan satu embedding (beberapa ratus token) dan 50-150 ms. Hitung centroid saat startup, bukan per request.
Langkah 4: Router classifier LLM dengan fallback
Sinyal terkuat: model murah membaca prompt dan menilai kesulitannya. Inilah strategi yang diukur AWS pada 0,53 detik latensi tambahan, jadi kami bungkus dalam rantai fallback.
def classify_router(prompt: str) -> str:
verdict = client.chat.completions.create(
model="gpt-5-mini",
messages=[{"role": "user", "content":
"Reply HARD or EASY only. Task: " + prompt}],
max_tokens=5,
).choices[0].message.content.strip().upper()
return "gpt-5" if verdict.startswith("HARD") else "gpt-5-mini"
def route_and_call(prompt: str) -> str:
model = classify_router(prompt)
try:
return ask(model, prompt)
except Exception:
backup = "gpt-5-mini" if model == "gpt-5" else "gpt-5"
return ask(backup, prompt) # fallback tier catches the failure
print(route_and_call("Prove this greedy algorithm is optimal."))
# classifier says HARD, so gpt-5 answersItulah seluruh contoh llm router: empat fungsi, satu client, tanpa infrastruktur di luar yang sudah kamu jalankan. Penguatan produksi adalah bagian berikutnya.
Berapa Penghematan Nyata dari Routing LLM?
AWS mengukur overhead router pada $107,90-$188,90 per bulan per 100 ribu pertanyaan per hari, dengan routing classifier menambah 0,53 detik per request dan routing semantik 0,10 detik. Sisi penghematan jauh melampaui overhead itu. Contoh perhitungan kami di bawah, dibangun di atas harga list Juli 2026, mendarat pada pengurangan pengeluaran 70,7%. Jebakannya adalah komposisi trafik: kamu butuh sebagian besar request memenuhi syarat untuk tier murah.
Dua tabel. Pertama, berapa biaya router itu sendiri per 1.000 request:
| Strategi | Latensi tambahan | Biaya tambahan per 1.000 request | Dasar |
|---|---|---|---|
| Berbasis aturan | ~0 ms | $0 | Jalur kode murni |
| Semantik (embedding) | 50-150 ms | $0,02-$0,10 | Estimasi: ~50 token per prompt pada tarif text-embedding-3-small |
| Classifier LLM | 300-800 ms | $0,30-$1,00 | Latensi diukur AWS (0,53 s); biaya diestimasi pada tarif gpt-5-mini untuk panggilan classify ~300 token |
Postingan AWS April 2025 adalah satu-satunya set pengukuran yang dipublikasikan independen di ruang ini, jadi kami berjangkar padanya dan melabeli ekstensi kami sebagai estimasi, bukan angka yang kami jalankan. Bedrock Intelligent Prompt Routing memangkas biaya dalam keluarga hingga 30%, menurut AWS.
Kedua, contoh perhitungan penghematan yang mendukung judul kami:
| Skenario | Trafik sederhana (80.000 req) | Trafik kompleks (20.000 req) | Total bulanan |
|---|---|---|---|
| Tanpa router: semua di Claude Sonnet 4 ($3 masuk / $15 keluar per juta token) | $432,00 | $108,00 | $540,00 |
| Dirutekan: sederhana di GPT-5 mini ($0,25 masuk / $2 keluar), kompleks di Sonnet 4 | $48,00 | $108,00 | $156,00 |
| Overhead classifier (100 ribu panggilan classify di GPT-5 nano, ~300 token masing-masing) | ~$2,10 | ||
| Bersih dengan routing | ~$158,10 |
Asumsi, dilabeli: 100 ribu request per bulan; rata-rata 800 token input plus 200 output per request; pembagian 80% sederhana / 20% kompleks; harga list dari halaman harga Anthropic dan halaman harga OpenAI per Juli 2026, dengan tabel tarif lengkap di perbandingan harga API LLM kami. Matematika per request: Sonnet 4 memakan 800 x $3/juta + 200 x $15/juta = $0,0054; GPT-5 mini memakan 800 x $0,25/juta + 200 x $2/juta = $0,0006.
Hasilnya adalah pengurangan 70,7%, dari sinilah angka 60% di judul kami datang, dengan margin tersisa. Peringatan jujur: ini contoh perhitungan, bukan benchmark yang kami jalankan. Ini mengasumsikan tier murahmu 10-20x lebih murah dan 80% trafik benar-benar memenuhi syarat. Routing dalam keluarga, skenario AWS, tetap di sekitar 30%. Dan routing adalah satu tuas di antara banyak; prompt caching dan pemangkasan sering terbayar lebih cepat, dan panduan kami tentang cara mengurangi biaya API LLM meranking keduabelasnya.
Pola Routing Produksi
Router mainan memilih model. Router produksi juga mencoba ulang, menyeimbangkan beban, meng-cache pengulangan, dan mengisolasi API key per tim. Lewat beberapa ribu request per hari, berhenti membuat sendiri dan jalankan gateway yang menanamkan router.
Empat pola yang penting:
- Rantai fallback. Tier murah dulu, frontier saat error atau timeout. Pola bernilai tertinggi tunggal; sebagian besar keandalanmu datang dari ini saja.
- Load balancing. Sebarkan panggilan lintas deployment atau API key duplikat untuk menghindari rate limit per key.
- Caching respons. Prompt identik mengembalikan jawaban ter-cache. Trafik support berulang lebih dari yang kamu percaya; hit rate 10-30% umum.
- Virtual key dan anggaran. Terbitkan key per tim dengan batas bulanan sehingga satu loop liar tidak bisa membakar seluruh tagihan.
Ini dekat dengan konfigurasi yang kami jalankan di stack agent staging kami (file: litellm-router.yaml, di-mount ke kontainer proxy LiteLLM):
model_list:
- model_name: cheap
litellm_params:
model: openai/gpt-5-mini
- model_name: frontier
litellm_params:
model: anthropic/claude-opus-5
router_settings:
routing_strategy: simple-shuffle
fallbacks: [{"cheap": ["frontier"]}]
num_retries: 2
timeout: 30Di mana setiap alat cocok, dengan opini:
- LiteLLM. Pilih jika kamu mau self-hosted dan open source dan sudah menjalankan Docker. Panduan setup proxy LiteLLM kami memandu deployment lengkap, termasuk key dan anggaran.
- OpenRouter. Pilih jika kamu mau ratusan model di balik satu key dan nol operasi. Halaman ranking mereka sekaligus jadi data throughput.
- Portkey. Pilih jika kebutuhan enterprise (SSO, log audit, laporan kepatuhan) mendorong keputusan.
- Kode kustom dari postingan ini. Pilih jika kamu di bawah ~50 ribu request per hari dan mau nol infrastruktur baru.
Apa pun yang kamu pilih, rangkuman alat gateway LLM membandingkan sepuluh head to head.
Bisakah Routing Antara Model Lokal dan API Hosted?
Bisa, dan matematika tokennya menggoda: model lokal menagih $0 per token, jadi setiap request yang dijawab Ollama atau vLLM adalah penghematan murni. Tradeoff-nya adalah latensi dan kualitas per watt. Lokal menang untuk tugas sederhana volume tinggi di perangkat keras yang sudah kamu miliki; API hosted menangkap semua yang butuh otak frontier.
Mekanismenya antiklimaks, dan itu poinnya. Ollama mengekspos endpoint yang kompatibel dengan OpenAI di localhost:11434/v1, dan vLLM menyajikan bentuk yang sama. Jadi setiap router di atas bekerja tanpa perubahan: arahkan base_url ke server lokal, taruh qwen3:8b di slot murah, dan simpan gpt-5 sebagai tier fallback. Untuk mesin router self-hosted, LiteLLM tersedia sebagai image Docker, itulah setup "llm router docker" yang dicari orang.
Dua catatan kejujuran. Model 70B di satu A100 menyajikan sekitar 30-40 token per detik; API hosted mengalahkan itu pada throughput burst, jadi routing lokal lebih cocok untuk trafik latar yang stabil daripada chat pengguna yang melonjak. Dan model lokal 8B tersandung pada panggilan tool multi-langkah, jadi arahkan rute berat ke cloud. Jika kamu sedang memilih mesin penyajiannya, vLLM vs SGLang membenchmark keduanya.
Routing juga menggerakkan setup coding-agent multi-model. Proxy gaya LiteLLM membiarkan Claude Code bicara dengan model lokal dan hosted melalui satu endpoint; lihat cara memakai model berbeda di Claude Code untuk pengkabelan persisnya.
Bagaimana Tahu Apakah Routing Bekerja?
Kamu mengukurnya, atau kamu menebak. Log model mana yang menjawab setiap request, nilai sampel output terhadap rubrik, dan umpankan skor kembali ke aturan routing. Tim yang melewatkan langkah ini berakhir dengan konfigurasi statis yang diam-diam membusuk ketika model dan harga berubah di bawahnya.
Jalur kematangannya berjalan aturan, lalu biaya, lalu kualitas terukur:
- Log rute. Simpan model terpilih, latensi, dan jumlah token per request sebagai satu kolom di trace yang sudah ada.
- Nilai output mingguan. Hakim LLM atau sampel manusia, lolos/gagal per kelas request. Lima puluh output dinilai per kelas cukup untuk menjadi kemudi.
- Setel ulang. Jika tier murah lolos 95%+ di satu kelas, lebarkan aturannya untuk menangkap lebih banyak trafik itu. Jika turun di bawah 90%, sempitkan.
Inilah kalimat yang terus kami ulangi ke klien: router yang tidak pernah kamu setel ulang hanyalah konfigurasi statis dengan latensi ekstra. Log model terpilih, nilai output, umpankan skor kembali.
Loop itu adalah eval plus observabilitas yang diterapkan pada routing. Panduan eval LLM kami membahas rubrik penilaian; panduan observabilitas AI membahas di mana trace berada.
Ke Mana Riset Routing LLM Menuju?
Garis akademis memperlakukan routing sebagai masalah pembelajaran, bukan file konfigurasi. LLMRouter dari ulab-uiuc, library yang meranking pertama untuk kata kunci ini, mengimplementasikan 16+ algoritma (router KNN, SVM, MLP, matrix factorization, Elo, graph, BERT, dan RL) dengan pipeline benchmark di atas 11 dataset. Paper terbaru yang paling banyak dikutip, RouteLLM (Ong dkk., arXiv:2406.18665), melatih router pada data preferensi manusia dan melaporkan pengurangan biaya lebih dari 2x tanpa kehilangan kualitas di MMLU dan MT-Bench. Perkembangan paling baru: router prefill-activation, aliran "prefill is all you need", yang membaca aktivasi internal model selama prefill untuk memprediksi kesulitan sebelum generasi dimulai. Arah perjalanannya adalah router yang melatih diri sendiri dari data eval-mu, persis loop umpan balik dari bagian sebelumnya.
Pendekatan Techsy: stack agent yang kami kirim untuk klien B2B menjalankan persis pola ini, router tier biaya dengan rantai fallback yang terpasang ke gateway, plus penyetelan ulang berbasis eval. Jika kamu menimbang apakah routing cocok untuk stack-mu, dapatkan konsultasi gratis dan kami akan memetakan komposisi trafikmu bersamamu.
Tentang Penulis
Mert Batur adalah Co-Founder Techsy.io, tempat timnya mengirim AI agent, sistem otomasi, dan pipeline voice/SDR untuk klien B2B. Dia menulis tentang stack tooling LLM yang benar-benar dipakai tim Techsy di produksi. Terhubung di LinkedIn.
Pertanyaan yang Sering Diajukan
Apa itu LLM router?
LLM router adalah lapisan antara aplikasimu dan beberapa language model yang memutuskan model mana yang menangani setiap request. Router memeriksa jenis tugas, ukuran, atau kesulitan request, lalu meneruskannya ke model yang paling cocok, dengan fallback jika model itu gagal. Anggap sebagai pengatur lalu lintas untuk panggilan API modelmu.
Bagaimana cara kerja routing LLM?
Routing LLM bekerja dalam lima langkah: request tiba, router memeriksanya (kata kunci, jumlah token, atau embedding), strategi memilih tier model, panggilan diteruskan, dan model fallback menangkap kegagalan apa pun. Seluruh keputusan terjadi sebelum generasi dimulai, jadi hanya menambah milidetik, bukan detik, kecuali model classifier yang melakukan penilaian.
Apakah LLM router sama dengan LLM gateway?
Tidak. Gateway adalah pipanya: API key, rate limit, anggaran, dan log. Router adalah keputusannya: model mana yang menjawab. Keduanya lapisan, bukan saingan, dan kebanyakan gateway (LiteLLM, Portkey, OpenRouter) menanamkan router di dalamnya. Kamu bisa menjalankan router tanpa gateway, tapi di produksi kamu biasanya butuh keduanya bersama.
Apakah routing model benar-benar menghemat uang?
Ya, ketika sebagian besar trafikmu memenuhi syarat untuk tier yang jauh lebih murah. Contoh perhitungan kami memindahkan 80% request dari model $3/$15 per juta token ke model $0,25/$2 dan memangkas tagihan 70,7%. AWS melaporkan hingga 30% untuk routing di dalam satu keluarga model. Jika trafikmu kompleks secara seragam, penghematan menyusut menuju nol.
Apa LLM router open-source terbaik?
Untuk produksi, LiteLLM: self-hosted, aktif dirawat, dan menggabungkan gateway dengan router. Untuk algoritma tingkat riset, LLMRouter dari ulab-uiuc mengimplementasikan 16+ strategi routing dari literatur akademis. RouteLLM adalah router kualitas-per-dolar terkuat yang dilatih pada data preferensi. Kebanyakan tim sebaiknya mulai dengan LiteLLM dan meraih library riset hanya jika butuh penilaian kustom.
Bagaimana cara membangun LLM router di Python?
Mulai dengan client OpenAI dan sekitar 80 baris kode: peta aturan dari kata kunci ke model, ambang biaya pada jumlah token, kemiripan embedding dengan prompt contoh, atau model classifier murah yang menilai kesulitan. Keempat pola ada di bagian pembangunan di atas, bisa dijalankan terhadap OpenAI, Ollama, atau vLLM tanpa perubahan.
Bisakah routing antara model lokal dan API cloud?
Bisa. Ollama (localhost:11434/v1) dan vLLM keduanya mengekspos endpoint yang kompatibel dengan OpenAI, jadi kode router yang sama menunjuk ke model lokal untuk trafik murah dan API hosted untuk trafik berat. Token lokal berharga $0, tapi kamu memiliki perangkat keras dan latensinya. Inilah pola di balik kebanyakan setup Claude Code multi-model.
Apa itu routing semantik?
Routing semantik meng-embed setiap prompt yang masuk dan membandingkannya dengan embedding prompt contoh, mengirim request ke model mana pun yang memiliki cluster contoh terdekat. Cara ini menangani input pengguna yang kabur dan diparafrasekan yang dilewatkan aturan kata kunci, dengan biaya 50-150 ms plus token embedding per request. AWS mengukurnya pada 0,10 detik latensi tambahan.
Berapa latensi yang ditambah router classifier LLM?
AWS mengukur 0,53 detik latensi tambahan untuk klasifikasi berbantuan LLM, versus 0,10 detik untuk routing semantik. Routing berbasis aturan dan peka biaya menambah sekitar nol, karena keduanya jalur kode polos. Jika produkmu punya SLA waktu respons ketat, pilih aturan, ambang biaya, atau embedding, dan simpan classifier untuk beban kerja offline atau antrean.
Sumber
- Seifi, N. dan Chugh, M. (2025-04-09). "Multi-LLM routing strategies for generative AI applications on AWS." AWS Machine Learning Blog. https://aws.amazon.com/blogs/machine-learning/multi-llm-routing-strategies-for-generative-ai-applications-on-aws/ (diakses 30 Juli 2026)
- Kode contoh AWS: sample-multi-llm-dynamic-prompt-routing. https://github.com/aws-samples/sample-multi-llm-dynamic-prompt-routing (diakses 30 Juli 2026)
- Dokumentasi LiteLLM. https://docs.litellm.ai (diakses 30 Juli 2026)
- Harga Anthropic. https://www.anthropic.com/pricing (diakses 30 Juli 2026)
- Harga API OpenAI. https://openai.com/api/pricing (diakses 30 Juli 2026)
- LLMRouter ulab-uiuc. https://github.com/ulab-uiuc/LLMRouter (diakses 30 Juli 2026)
- Ong, I. dkk. (2024). "RouteLLM: Learning to Route LLMs with Preference Data." arXiv:2406.18665. https://arxiv.org/abs/2406.18665 (diakses 30 Juli 2026)
- Ranking OpenRouter. https://openrouter.ai/rankings (diakses 30 Juli 2026)