Il pricing nella generazione di testo è quasi sempre per token, suddiviso in una tariffa di input più economica e in una di output più cara. Un milione di token in input equivale a circa 750.000 parole in inglese, quindi anche prompt verbosi superano raramente i pochi centesimi per chiamata. È nell'output che le bollette crescono: loop agentici che si ri-promptano, report lunghi ed esempi few-shot non in cache si accumulano rapidamente. Mettere in cache il prompt di sistema, ridurre aggressivamente la cronologia e preferire la modalità JSON per i task strutturati aiuta a contenere i token.
Il triangolo di compromessi è qualità, latenza e costo. I modelli di punta (GPT-5, Claude 4.6, Gemini 2.5) costano da dieci a cinquanta volte più dei tier economici (Haiku, Flash, Mini) e rispondono da due a quattro volte più lentamente, ma ragionano più in profondità, seguono le istruzioni in modo più affidabile e allucinano meno. Per classificazione o estrazione su larga scala, un modello economico è quasi sempre la scelta giusta. Per analisi long-form, code review o qualsiasi cosa rivolta all'utente, il flagship di solito si ripaga da solo.
Attenzione alla diluizione del contesto: quando si infilano 200K token nella finestra, l'attenzione del modello si distribuisce troppo e inizia a ignorare la parte centrale del prompt — anche sui flagship a contesto lungo. Recuperate i 8-16K token rilevanti con embeddings invece di incollare l'intero documento.