Ташкент, Узбекистан (UzDaily.uz) — Один и тот же текст на узбекской латинице занимает у пяти крупнейших ИИ-провайдеров в 1,55–2,17 раза больше токенов, чем на английском, и поэтому стоит дороже. Об этом говорится в исследовании компании Gorgona AI «Один смысл, разная цена. Сколько стоит узбекский язык для ИИ?».
Авторы сравнили OpenAI, Anthropic, Google, Qwen и DeepSeek. Для расчетов они взяли 1337 параллельных текстов, то есть переводов одного и того же содержания, и прогнали их через 15 токенизаторов. Результаты затем проверили на реальных ответах моделей.
Языковые модели работают не с буквами и не со словами, а с токенами. Так называются фрагменты, на которые текст разрезает токенизатор. Его словарь собирают по обучающим данным, а в них больше всего английского. Поэтому английское слово часто занимает один токен, а узбекское вместе с аффиксами в среднем распадается почти на три.
Провайдеры берут за токен одинаковую плату для всех языков. Объем контекстного окна тоже считают в токенах, и ответ модель генерирует по одному токену за шаг. Если тот же смысл на узбекском требует вдвое больше токенов, вдвое вырастает счет. Документов в контекстное окно помещается вдвое меньше, а ответа при той же скорости генерации приходится ждать вдвое дольше.
Надбавка зависит от модели и от текста. Тексты, изначально написанные по-узбекски, оказываются ближе к нижней границе диапазона, переводы с английского — ближе к верхней. На корпусе FLORES, куда входят новости, энциклопедические статьи и путеводители, разброс составил от 1,78 раза у OpenAI до 2,13 раза у DeepSeek.
Русский на тех же текстах обходится дороже английского в 1,35–1,60 раза. Узбекский по сравнению с русским дороже в 1,24–1,54 раза. По данным авторов, жанр почти не влияет на это соотношение: у каждой модели оно меняется не больше чем на 8%.
Проблему не объясняет одна морфология. Исследование ссылается на работу 2026 года, где 30 одинаковых предложений проверили на токенизаторе GPT-4o. Английский текст занял 348 токенов, русский — 551, турецкий — 609, узбекская латиница — 763, кириллица — 814. Турецкий тоже агглютинативный и тоже пишется латиницей, но ему понадобилось на пятую часть меньше токенов. Турецкий оказался дешевле узбекского у 13 из 15 токенизаторов. Исключения — GigaChat 3 и NeuronAI-Uzbek.
По мнению авторов, надбавку определяет не число носителей языка, а количество узбекских текстов, которые модели видели при обучении, и место, отведенное узбекскому в словаре токенизатора.
Сильнее всего итоговая сумма зависит от выбора модели. У Claude Opus 5.5 и GPT-5.6 Sol одинаковый прайс. Однако узбекский перевод текста, который на английском занимает 1 млн слов, на входе обойдется в $14,78 у Claude и в $8,70 у GPT, то есть в 1,7 раза дороже. Токенизатор Claude уже на английском тратит в 1,57 раза больше токенов, чем токенизатор OpenAI, а на узбекской латинице — в 1,70 раза больше.
Цены в исследовании взяты по официальным прайсам на 14 октября 2026 года, без кэширования. Стоимость того же узбекского текста разнится от $0,37 у Claude Haiku 5.5 до $14,78 у Claude Opus 5.5. Поэтому авторы советуют сравнивать модели по цене собственного текста, а не по цене за миллион токенов. При этом они уточняют, что это вывод только о стоимости: качество ответов не измеряли.
Ответы на узбекском дорожают так же, как запросы. GPT-5.6 Luna и Claude Haiku 5.5 получили по 3904 запроса: пересказать абзац и развернуто ответить на вопрос по нему на четырех вариантах языка. Видимый ответ на узбекском оказался в 1,7–1,8 раза дороже английского, хотя по числу символов ответы почти не различались.
Claude Haiku 5.5 без специальных настроек сама решала, рассуждать ли перед ответом. На узбекском она делала это чаще: в 28% пересказов против 10% на английском и в 95% ответов на вопросы против 63%. Пользователь этих рассуждений не видит, но платит за них как за выходные токены. С учетом рассуждений оплачиваемый ответ на узбекском обходился в 2,1–2,3 раза дороже английского. Авторы предупреждают, что это наблюдение сделано на одной модели и двух задачах.
Разница между кириллицей и латиницей тоже зависит от модели. У Claude оба алфавита стоят одинаково. У остальных провайдеров кириллица дороже на 7–23%, больше всего у DeepSeek. По оценке авторов, дело не в устройстве кириллицы, а в том, сколько текстов в каждом алфавите модель видела при обучении.
Деньги стоит и апостроф в буквах oʻ и gʻ. Сейчас его набирают четырьмя разными символами, и для токенизатора это разные знаки. Новостной корпус NTREX в исходном написании оказался дороже того же текста с прямым апострофом на 0,6% у OpenAI, на 1,9% у Claude и на 4,2% у Qwen. Gemini приводит апострофы к одному виду, поэтому разницы не заметил.
Отдельно авторы оценили, как скажется переход на новый алфавит. Закон о нем подписали 21 октября 2026 года, а в силу он вступает 22 апреля 2027 года. Буквы oʻ и gʻ заменят на ö и ğ, sh и ch — на ş и ç. Сочетание ng перестанет быть отдельной буквой.
В новой записи текст становится короче на 4% по числу символов. У Claude, Gemini и Qwen число токенов сокращается на 2–4%, у OpenAI и DeepSeek почти не меняется. Поэтому, по выводу исследования, пересматривать бюджеты на ИИ компаниям не придется. Главное преимущество авторы видят в том, что у каждого слова будет одно написание. Это упростит поиск по документам, удаление дублей и работу ИИ-ассистентов с базами знаний.
К похожим выводам по алфавиту пришел независимый автор Дусмамат Каримов. В октябре он проверил около 460 тыс. символов из узбекской Википедии и новостей gazeta.uz на семи токенизаторах.
Открытые модели показывают, что надбавку определяет словарь. У GigaChat 3 тот же узбекский текст занимает на 25% меньше токенов, чем у токенизатора OpenAI. У NeuronAI-Uzbek разница всего 2%. YandexGPT экономно обрабатывает русский, но узбекский у него вдвое дороже русского.
Со временем узбекский дешевеет медленнее крупных языков. Когда OpenAI перешла с токенизатора GPT-4 на токенизатор GPT-4o, надбавка на текстах FLORES снизилась с 2,19 до 1,78, примерно на пятую часть. У Qwen при переходе с третьей версии на 3.5 узбекская латиница подешевела лишь на 6%, а русский — на 23%.
Авторы считают открытые узбекские корпуса цифровой инфраструктурой: чем их больше, тем дешевле будут ИИ-сервисы на узбекском для всех, от стартапов до госорганов. К апрелю 2027 года они предлагают подготовить параллельные корпуса в двух алфавитах, открытые конвертеры и единые правила набора текста.
Создать корпуса, морфологические словари, токенизаторы и тесты качества на узбекском, по оценке исследования, смогут только компании, университеты и государство вместе и в диалоге с разработчиками моделей.
