Router LLM intelligente taglia i costi al volo

ParetoBandit è un sistema di routing adattivo per ambienti di produzione con portafogli multi-modello che coprono un range di costo di circa 530x. Il problema centrale è decidere in tempo reale quale LLM usare, bilanciando qualità della risposta e costo della chiamata — e farlo in condizioni non stazionarie, dove le prestazioni dei modelli cambiano nel tempo. L'algoritmo usa un approccio bandit multi-armed con pacing del budget: impara continuamente dalla distribuzione delle richieste e aggiusta il routing per restare dentro i vincoli di costo ottimizzando il fronte di Pareto qualità/prezzo. Il risultato è un sistema che si adatta dinamicamente senza richiedere riaddestramenti costosi o regole manuali.