AI-kosten verlagen met modelroutering
Het meeste AI-verkeer in productie is makkelijk. Het allemaal naar uw grootste model sturen is de meestgemaakte en duurste fout die wij zien.
Wanneer een functie van prototype naar productie gaat, komt de factuur ongeveer een maand later. De gebruikelijke reactie is over prijzen onderhandelen. De gebruikelijke oplossing is stoppen met triviaal werk naar een duur model sturen.
Kijkt u naar echt verkeer, dan is de verdeling scheef. Een groot deel van de aanvragen is classificatie, routering, extractie of kort herschrijven — taken die een klein snel model gelijkwaardig aankan. Het werkelijk lastige redeneren is een minderheid van de aanroepen maar het grootste deel van de ervaren kwaliteit.
Routeren betekent de aanvraag eerst classificeren en het model bewust kiezen. De classificatie kan zelf een klein model zijn, of vaak gewoon regels over metadata die u al heeft. Wat telt is dat het besluit expliciet en meetbaar is in plaats van een standaardwaarde.
Veilig kan dit niet zonder evaluatiesuite, en dat is de echte reden dat de meeste teams het niet doen. Kunt u het kleine model niet op uw eigen verkeer scoren tegen het grote, dan is overstappen een gok. Met een gecontroleerde dataset is het een meting van een middag.
Promptcaching en batching zijn de andere helft. Lange systeemprompts die bij elke aanroep opnieuw worden meegestuurd zijn pure verspilling, en leeszware agentworkloads laten zich goed bundelen. Samen met routering zien we de kosten per taak doorgaans met circa veertig procent dalen zonder meetbaar kwaliteitsverschil.
De regel die wij hanteren: optimaliseer kosten pas nadat kwaliteit is gemeten, nooit ervoor. Goedkoop en fout is geen besparing, het is een serviceticket met vertraging.