Ташкент, Узбекистан (UzDaily.uz) — Министерство цифровых технологий Узбекистана опубликовало на платформе Hugging Face открытый текстовый корпус узбекского языка, включающий 5,6 млн документов и около 6 млрд слов. Об этом сообщает пресс-служба ведомства.
Корпус содержит материалы на узбекском языке в латинской и кириллической графике. В его состав вошли оцифрованные книги, газетные публикации, архивные материалы, законодательные документы, статьи Википедии, веб-страницы и открытые публикации в Telegram.
Собранные тексты прошли специальную обработку и отбор по качеству. Материалы также классифицировали по отраслям и тематическим направлениям. Персональные данные заменили специальными обозначениями, в том числе [PHONE] и [NAME].
Разработка корпуса стала частью исполнения поручения президента Шавката Мирзиёева, данного 21 октября 2025 года на видеоселекторном совещании по ускоренному внедрению технологий искусственного интеллекта в государственное управление, отрасли экономики и регионы.
Тогда глава государства подчеркнул необходимость того, чтобы системы искусственного интеллекта полноценно понимали узбекский язык.
Проект направлен на расширение цифровой базы данных узбекского языка и улучшение возможностей моделей искусственного интеллекта по обработке текстов, пониманию языка и созданию качественного контента на узбекском.
В настоящее время министерство работает над предоставлением корпуса разработчикам ведущих больших языковых моделей (LLM). Ведомство сообщило о начале сотрудничества с моделью Qwen.
Открытый корпус доступен на платформе Hugging Face: https://huggingface.co/datasets/Digitaluz/uzbek-language-corpus