Cennik w generowaniu tekstu jest niemal zawsze za token i dzieli się na tańszą stawkę za input i droższą za output. Milion tokenów wejściowych odpowiada mniej więcej 750 000 słów po angielsku, więc nawet rozbudowane prompty rzadko podnoszą koszt jednego wywołania powyżej kilku centów. To w outpucie rosną rachunki: pętle agentowe, które same się reprompują, długie raporty i niezcachowane przykłady few-shot szybko się sumują. Cache prompt systemowy, agresywnie przycinaj historię i preferuj tryb JSON dla zadań ustrukturyzowanych, aby utrzymać liczbę tokenów na niskim poziomie.
Trójkąt kompromisu to jakość, opóźnienie i koszt. Modele flagship (GPT-5, Claude 4.6, Gemini 2.5) kosztują od dziesięciu do pięćdziesięciu razy więcej niż tańsze tiery (Haiku, Flash, Mini) i odpowiadają dwa do czterech razy wolniej, ale rozumują głębiej, dokładniej trzymają się instrukcji i mniej halucynują. Dla wielkoskalowej klasyfikacji albo ekstrakcji niemal zawsze właściwym wyborem jest model budżetowy. Dla analizy długoformatowej, code review i wszystkiego, co trafia do użytkownika końcowego, flagship zwykle zwraca koszt.
Uwaga na rozmycie kontekstu: gdy upchasz 200 tys. tokenów do okna, uwaga modelu rozprasza się i zaczyna ignorować środkową część promptu — nawet we flagshipach z długim kontekstem. Pobieraj istotne 8-16 tys. tokenów za pomocą embeddingów zamiast wklejać cały dokument.