KI-Kosten senken durch Modell-Routing
Der meiste produktive KI-Verkehr ist einfach. Ihn vollständig an das grösste Modell zu schicken, ist der häufigste und teuerste Fehler, den wir sehen.
Wenn eine Funktion vom Prototyp in den Betrieb wechselt, kommt die Rechnung etwa einen Monat später. Die übliche Reaktion ist, über Preise zu verhandeln. Die übliche Lösung ist, triviale Arbeit nicht mehr an ein teures Modell zu schicken.
Schaut man auf echten Verkehr, ist die Verteilung schief. Ein grosser Anteil der Anfragen ist Klassifizierung, Zuordnung, Extraktion oder kurzes Umschreiben — Aufgaben, die ein kleines schnelles Modell gleichwertig erledigt. Das wirklich schwierige Schlussfolgern ist eine Minderheit der Aufrufe, aber der Grossteil der wahrgenommenen Qualität.
Routing heisst, die Anfrage zuerst zu klassifizieren und das Modell bewusst zu wählen. Der Klassifikator kann selbst ein kleines Modell sein oder oft einfach eine Regel über Metadaten, die Sie ohnehin haben. Entscheidend ist, dass die Wahl ausdrücklich und messbar ist statt ein Standardwert.
Sicher geht das nicht ohne Evaluationssuite, und genau deshalb tun es die meisten Teams nicht. Wenn Sie das kleine Modell nicht auf Ihrem eigenen Verkehr gegen das grosse bewerten können, ist der Wechsel ein Glücksspiel. Mit einem geprüften Datensatz ist er eine Messung, die einen Nachmittag dauert.
Prompt-Caching und Bündelung sind die andere Hälfte. Lange Systemprompts, die bei jedem Aufruf erneut gesendet werden, sind reine Verschwendung, und leselastige Agenten-Workloads lassen sich gut bündeln. Zusammen mit Routing sehen wir die Kosten je Aufgabe typischerweise um rund vierzig Prozent fallen, ohne messbare Qualitätsänderung.
Die Regel, die wir anwenden: Kosten erst optimieren, wenn Qualität gemessen ist, niemals vorher. Billig und falsch ist keine Ersparnis, sondern ein Serviceticket mit Verzögerung.