Технологии

Узбекистан опубликовал корпус из 6 млрд слов для ИИ

Узбекистан опубликовал корпус из 6 млрд слов для ИИ
Узбекистан опубликовал корпус из 6 млрд слов для ИИ / Фото: Минцифра.

Ташкент, Узбекистан (UzDaily.uz) — Министерство цифровых технологий Узбекистана опубликовало на платформе Hugging Face открытый текстовый корпус узбекского языка, включающий 5,6 млн документов и около 6 млрд слов. Об этом сообщает пресс-служба ведомства.

Корпус содержит материалы на узбекском языке в латинской и кириллической графике. В его состав вошли оцифрованные книги, газетные публикации, архивные материалы, законодательные документы, статьи Википедии, веб-страницы и открытые публикации в Telegram.

Собранные тексты прошли специальную обработку и отбор по качеству. Материалы также классифицировали по отраслям и тематическим направлениям. Персональные данные заменили специальными обозначениями, в том числе [PHONE] и [NAME].

Разработка корпуса стала частью исполнения поручения президента Шавката Мирзиёева, данного 21 октября 2025 года на видеоселекторном совещании по ускоренному внедрению технологий искусственного интеллекта в государственное управление, отрасли экономики и регионы.

Тогда глава государства подчеркнул необходимость того, чтобы системы искусственного интеллекта полноценно понимали узбекский язык.

Проект направлен на расширение цифровой базы данных узбекского языка и улучшение возможностей моделей искусственного интеллекта по обработке текстов, пониманию языка и созданию качественного контента на узбекском.

В настоящее время министерство работает над предоставлением корпуса разработчикам ведущих больших языковых моделей (LLM). Ведомство сообщило о начале сотрудничества с моделью Qwen.

Открытый корпус доступен на платформе Hugging Face: https://huggingface.co/datasets/Digitaluz/uzbek-language-corpus

Анвар Умаров
Анвар Умаров

Анвар Умаров — основатель и главный редактор издания UzDaily, ведущего делового и новостного портала, освещающего события в Узбекистане и Центральной Азии. Имеет более чем 20-летний опыт работы в журналистике, а также опыт работы PR-менеджером в государственных и частных организациях, что придаёт его редакционной работе широкий взгляд на медиа, коммуникации и общественные связи.