Обработка текстов на узбекском языке с помощью искусственного интеллекта обходится в 1,55–2,17 раза дороже, чем на английском. К такому выводу пришли аналитики компании Gorgona AI в исследовании «Один смысл, разная цена. Сколько стоит узбекский язык для ИИ?». Специалисты сравнили пять крупных провайдеров: OpenAI, Anthropic, Google, Qwen и DeepSeek. Для анализа использовали 1337 параллельных текстов с одинаковым содержанием на разных языках, проверив их с помощью 15 токенизаторов и реальных ответов моделей.
Причина заключается в особенностях токенизации — разделения текста на фрагменты, с которыми работают языковые модели. Поскольку обучающие данные содержат значительно больше английского языка, распространённые английские слова часто кодируются одним токеном. Узбекские слова с многочисленными аффиксами в среднем разбиваются почти на три токена. Поскольку провайдеры взимают плату за количество токенов независимо от языка, увеличиваются расходы на обработку запросов. Кроме того, в контекстное окно помещается меньше информации, а генерация ответов занимает больше времени.
Разница зависит от модели и типа текста. Материалы, изначально написанные на узбекском, обычно оказываются ближе к нижней границе диапазона, а переводы с английского — к верхней. На корпусе FLORES, включающем новости, энциклопедические статьи и путеводители, разница составила от 1,78 раза у OpenAI до 2,13 раза у DeepSeek. Русский язык также обходится дороже английского — в 1,35–1,60 раза. При этом узбекский дороже русского в 1,24–1,54 раза. Влияние жанра оказалось небольшим: соотношение меняется не более чем на 8%.