Ce e de fapt un token și de ce plătești pe el
Un token e o bucată de text — de obicei o parte dintr-un cuvânt. În engleză, un token înseamnă în medie ~4 caractere sau ~0,75 cuvinte; în română, din cauza cuvintelor mai lungi și a diacriticelor, un token acoperă mai puțin text. Modelele AI procesează și facturează pe tokeni pentru că așa „văd” ele textul, nu în cuvinte.
Ce este un token
Un token este o bucată de text pe care modelul o tratează ca pe o unitate. De cele mai multe ori e o parte dintr-un cuvânt: «automatizare» poate fi împărțit în «auto», «mat» și «izare». Cuvintele scurte și frecvente («și», «de», «the») sunt de obicei un singur token; cuvintele rare sau lungi se sparg în mai multe.
Modelul nu vede litere și nici cuvinte întregi — vede un șir de tokeni, fiecare cu un număr. Tot ce face (citit, gândit, scris) se întâmplă la nivel de token.
Token vs cuvânt vs caracter
- Caracter = o literă, o cifră, un semn. Ușor de numărat, dar nu spune nimic despre cât «muncește» modelul.
- Cuvânt = cum împărțim noi textul. Modelul nu lucrează așa.
- Token = cum împarte modelul textul. Undeva între caracter și cuvânt.
Aproximări utile (pentru engleză): 1 token ≈ 4 caractere ≈ 0,75 cuvinte. O pagină de text (~500 de cuvinte) ≈ 650–700 de tokeni.
Pentru română, raportul e mai puțin favorabil: cuvintele sunt mai lungi, iar diacriticele se codează adesea pe mai mulți tokeni. Un text românesc de 500 de cuvinte poate ajunge la 900–1.100 de tokeni. Nu există o cifră fixă — depinde de model și de text.
De ce se facturează pe tokeni
Trei motive:
- Așa lucrează modelul. Costul de calcul e proporțional cu numărul de tokeni procesați, la input și la output. Facturarea pe token reflectă direct resursa consumată.
- E corect între limbi și formate. Un tabel, un fragment de cod și un paragraf de proză «costă» după cât efort cer, nu după cât de lung pare.
- E previzibil pentru furnizor. Poate calcula prețul înainte, fără să ghicească ce înseamnă «un mesaj».
De aici vine și diferența dintre cele trei sisteme de tarifare — tokeni, credite și limite de mesaje — explicată în articolul despre tokeni, credite și limite.
Cum estimezi costul unui text
- Numără caracterele (orice editor o face).
- Împarte la ~3,3 pentru text cu diacritice, la ~4 fără. Ai numărul aproximativ de tokeni.
- Înmulțește cu tariful pe 1.000 de tokeni de la furnizor (separat pentru input și output).
Sau folosește calculatorul de mai jos: lipești textul și vezi estimarea pe loc. Pentru facturare reală, verifică întotdeauna cu tokenizerul oficial al furnizorului — estimările pot greși cu 10–20%.
Digest săptămânal
Ce s-a schimbat în uneltele pe care le folosești
Vineri dimineața, sub 400 de cuvinte. Prețuri noi, unelte retrase, ce merită testat.
Întrebări frecvente
- Câți tokeni are un cuvânt în română?
- În medie mai mult de unul. Regula «1 token ≈ 0,75 cuvinte» e calibrată pe engleză. În română, cuvintele sunt mai lungi și diacriticele (ă, â, î, ș, ț) sunt adesea împărțite în mai mulți tokeni, așa că un cuvânt românesc înseamnă frecvent 2–3 tokeni. Tratează orice conversie ca pe o estimare.
- Tokenii se numără doar la ce scriu eu?
- Nu. Se numără atât textul pe care îl trimiți (input), cât și răspunsul modelului (output), de obicei la tarife diferite. O conversație lungă costă mai mult și pentru că modelul «recitește» tot istoricul la fiecare mesaj.
- De ce contează dacă folosesc doar aplicația, nu API-ul?
- În aplicațiile de tip abonament (ChatGPT Plus, Claude Pro) nu plătești pe token, ci ai limite de utilizare. Dar acele limite sunt calculate tot în tokeni în spate, așa că un prompt uriaș te apropie mai repede de plafon.
