Show HN: We built open OpenRouter that turns usage into a better model
Oleh Zai · Let's Make It Easy
Dipublikasikan 2026-08-28
## 1. Apa itu model gateway? Show HN: We built open OpenRouter that turns usage into a better model
1. Apa itu model gateway?
Model gateway adalah service perantara yang memberi aplikasi satu interface untuk memanggil beberapa model dan provider. Aplikasi tidak perlu menyimpan seluruh perbedaan format streaming, tool call, parameter, authentication, rate limit, dan error handling di banyak tempat. Experiential, sebuah repository open source di GitHub, memosisikan dirinya sebagai gateway dan router untuk agent workflow.
README repository tersebut menjelaskan mode gateway lokal yang kompatibel dengan API OpenAI, pilihan provider dan model, alias publik, identity, serta command budget. Ada juga opsi hosted platform. LiteLLM, sebagai referensi independen untuk kategori yang sama, mendokumentasikan gateway dengan unified interface, routing, spend tracking, virtual keys, dan budget controls. Dokumentasi itu membantu menjelaskan pola arsitekturnya, tetapi tidak membuktikan setiap fitur atau angka performa Experiential.
2. Mengapa perbedaan provider cepat menjadi masalah?
Satu agent dapat memanggil model untuk planning, coding, summarization, dan fallback. Setiap provider bisa memiliki bentuk streaming, dukungan tool, nama parameter, batas rate, serta respons error yang berbeda. Tanpa lapisan bersama, logika itu menyebar ke aplikasi, worker, dan script deployment. Perubahan kecil pada provider kemudian memerlukan perubahan di banyak tempat.
Gateway memindahkan sebagian keputusan tersebut ke satu service. Tim dapat memilih model berdasarkan alias, menerapkan routing atau fallback, mengatur key dan budget, lalu mengamati traffic dari satu lokasi. Ini juga memberi tempat untuk menambahkan policy sebelum request diteruskan ke provider.
3. Apa yang perlu diperiksa sebelum dipakai?
Mulai dari repository: baca README, lisensi, dokumentasi setup, workflow CI, dan issue terbuka. Jalankan gateway di lingkungan terisolasi, gunakan key dengan scope terbatas, dan ukur latency dari aplikasi Anda sendiri. Jangan menyamakan API-compatible dengan behavior-compatible; tool call dan streaming tetap perlu dites pada model yang benar-benar dipakai.
Tambahkan failure test sebelum memasukkannya ke jalur produksi. Coba provider timeout, rate limit, malformed streaming chunk, tool call yang gagal, dan key yang kedaluwarsa. Pastikan log tidak membocorkan prompt atau credential, dan pastikan aplikasi masih punya jalur pemulihan ketika gateway berhenti. Abstraksi yang mengurangi duplikasi konfigurasi tetap harus punya observability yang jelas.
Experiential menarik sebagai bahan oprek karena kode dan setup-nya tersedia publik. Namun klaim latency, coverage provider, dan kesiapan produksi tetap perlu benchmark mandiri. Untuk tim kecil, pertanyaan paling penting bukan apakah gateway terlihat lengkap, melainkan apakah ia mengurangi konfigurasi yang berulang tanpa menambah satu titik kegagalan yang sulit dipantau.
Checklist praktisnya: pisahkan data dari instruksi, batasi permission, dan anggap output agent sebagai hasil yang tetap harus diuji.