Тошкент, Ўзбекистон (UzDaily.uz) — Ўзбекистон Рақамли технологиялар вазирлиги Hugging Face платформасида ўзбек тилининг очиқ матнли корпусини эълон қилди. У 5,6 миллионта ҳужжат ва қарийб 6 миллиардта сўзни ўз ичига олади. Бу ҳақда вазирлик матбуот хизмати хабар берди.
Корпусга ўзбек тилида лотин ва кирилл ёзувларидаги материаллар киритилган. Унинг таркибидан рақамлаштирилган китоблар, газета нашрлари, архив материаллари, қонунчилик ҳужжатлари, Википедия мақолалари, веб-саҳифалар ҳамда Telegram тармоғидаги очиқ нашрлар ўрин олган.
Тўпланган матнлар махсус қайта ишлаш ва сифат саралаш жараёнидан ўтказилган. Материаллар, шунингдек, соҳа ва мавзулар бўйича таснифланган. Шахсий маълумотлар [PHONE] ва [NAME] каби махсус белгилар билан алмаштирилган.
Корпусни ишлаб чиқиш 2025 йил 21 октябрь куни президент Шавкат Мирзиёев раислигида давлат бошқаруви, иқтисодиёт тармоқлари ва ҳудудларда сунъий интеллект технологияларини жадал жорий этиш масалалари бўйича ўтказилган видеоселектор йиғилишида берилган топшириқ ижросининг бир қисми бўлди.
Ўшанда давлат раҳбари сунъий интеллект тизимлари ўзбек тилини тўлиқ тушуниши зарурлигини таъкидлаган эди.
Лойиҳа ўзбек тилининг рақамли маълумотлар базасини кенгайтириш, шунингдек, сунъий интеллект моделларининг матнларни қайта ишлаш, тилни тушуниш ва ўзбек тилида сифатли контент яратиш имкониятларини яхшилашга қаратилган.
Айни пайтда вазирлик корпусни етакчи катта тил моделлари (LLM) ишлаб чиқувчиларига тақдим этиш устида ишламоқда. Вазирлик Qwen модели билан ҳамкорлик бошланганини маълум қилди.
Очиқ корпусдан Hugging Face платформаси орқали фойдаланиш мумкин: https://huggingface.co/datasets/Digitaluz/uzbek-language-corpus