O'zbek tili SI uchun ingliz tilidan ikki baravar qimmatga tushmoqda

Tokenizatsiya xususiyatlari sababli o'zbek tilidagi bir xil mazmunni qayta ishlash ingliz tilidagiga qaraganda 2,17 baravargacha ko'proq token talab qiladi.

O'zbek tilidagi matnlarni sun'iy intellekt yordamida qayta ishlash ingliz tilidagiga qaraganda 1,55–2,17 baravar qimmatga tushadi. Gorgona AI kompaniyasi tahlilchilari "Bir xil ma'no, har xil narx. O'zbek tili SI uchun qanchaga tushadi?" nomli tadqiqotida shunday xulosaga kelishdi. Mutaxassislar beshta yirik provayderni taqqosladilar: OpenAI, Anthropic, Google, Qwen va DeepSeek. Tahlil uchun turli tillarda bir xil mazmunga ega bo'lgan 1337 ta parallel matndan foydalanilib, ular 15 ta tokenizator va modellarning real javoblari yordamida tekshirildi.

Buning sababi tokenizatsiya — matnni til modellari ishlaydigan bo'laklarga ajratish xususiyatlaridadir. O'rgatuvchi ma'lumotlar tarkibida ingliz tili sezilarli darajada ko'p bo'lgani sababli, keng tarqalgan inglizcha so'zlar ko'pincha bitta token bilan kodlanadi. Ko'p sonli affikslarga ega bo'lgan o'zbekcha so'zlar esa o'rtacha deyarli uchta tokenga bo'linadi. Provayderlar tildan qat'i nazar, tokenlar soni uchun haq olgani sababli, so'rovlarni qayta ishlash xarajatlari oshadi. Bundan tashqari, kontekst oynasiga kamroq ma'lumot sig'adi, javoblarni yaratish esa ko'proq vaqt oladi.

Rasm manbasi: uzdaily

Farq modelga va matn turiga bog'liq. Dastlab o'zbek tilida yozilgan materiallar odatda diapazonning quyi chegarasiga, ingliz tilidan tarjimalar esa yuqori chegarasiga yaqinroq bo'ladi. Yangiliklar, ensiklopedik maqolalar va yo'lko'rsatkichlarni o'z ichiga olgan FLORES korpusida farq OpenAI'da 1,78 baravardan DeepSeek'da 2,13 baravargacha tashkil etdi. Rus tili ham ingliz tiliga qaraganda qimmatroqqa tushadi — 1,35–1,60 baravar. Shu bilan birga, o'zbek tili rus tilidan 1,24–1,54 baravar qimmatroq. Janrning ta'siri kam bo'lib chiqdi: nisbat 8% dan ko'p bo'lmagan darajada o'zgaradi.