intermediatePart 1
Un endpoint, muchos modelos: despliega un gateway LLM en una instancia WEC
· 16 min de lectura
+
+
+0/4
🎯 Skill path0/4 earned
Self-hosting an LLM gateway
- 1One endpoint, scoped keys
- 2Route work to the right model
- 3Mask PII at the gateway
- 🏆Budgets and real cost
Así es como suele ir. Una aplicación necesita un modelo, así que pegas la clave API en
su .env. Luego, una segunda aplicación necesita una. Luego un script. Seis meses después, la misma
clave está en cinco lugares, nadie recuerda cuál de ellas sigue funcionando, y no
puedes rotarla sin romper algo que solo descubrirás cuando se rompa.
Un gateway es la solución aburrida. Un endpoint frente a cada modelo, un lugar que mantiene la verdadera credencial, y una clave específica por aplicación que puedes revocar por sí sola. Esta publicación despliega uno en una instancia WEC y lo apunta a la API de Inferencia WEC.