Plataforma · 2026
Una «OpenAI» privada per a un equip extern
Un equip extern fa servir els models del laboratori amb la seva pròpia clau, com si fos l’API d’OpenAI, amb límits, traçabilitat i sense pagar per token.
- tokens consumits per un sol usuari
- ≈2.240 M
- tokens en mitja hora en un pic
- 14,7 M
- rols de model estables
- 8
- per token
- 0 €
El plantejament
Diversos amics i col·laboradors volien fer servir models potents amb els seus propis agents, però sense dependre d’una API de pagament ni enviar les seves dades fora. La solució va ser obrir-los el laboratori de manera controlada.
Com funciona
- Un endpoint compatible amb OpenAI, publicat amb TLS. Qualsevol eina que parli amb OpenAI funciona canviant només l’URL i la clau.
- Vuit rols estables (
spark,coder,embeds,tts…). Quan canvio el model del darrere, ningú no ha de tocar la seva configuració. - Comptes, equips i pressupostos, amb la llista de models permesos per a cada equip.
- Panell de consum per persona i model, quadrat amb els registres del gateway.
- Encadenament per a un client amb el seu propi servidor: el seu gateway fa servir el meu com un proveïdor més, amb una clau limitada.
Les xifres
Un dels usuaris, amb el seu propi agent Hermes, va consumir uns 2.240 milions de tokens, amb pics de 14,7 milions en mitja hora i prompts de fins a 180.000 tokens. Amb una API comercial hauria estat una factura important; aquí el cost és la llum.
El que vaig aprendre
- Els timeouts es dissenyen. Un prompt de 200.000 tokens triga a processar-se, i tallar als 30 segons només provoca reintents.
- Les IP reals es veuen al perímetre, no al gateway. Cal mirar-les on toca.
- Res de fallbacks amagats. Si el local falla, l’usuari ho sap.