Azərbaycan dili üçün LLM hazırlamaq niyə çətindir?

Azərbaycan dili aqqlütinativ dillərdəndir: söz kökünə ardıcıl şəkilçilər əlavə olunaraq çoxsaylı məna və qrammatik formalar yaranır. “Kitab” kökündən “kitablarımızdan”, “kitablaşdırılacaq” və ya “kitablarındakılardan” kimi uzun formalar düzələ bilər. İnsan üçün bu sistem tanışdır, amma model üçün hər forma məlumatda eyni sıxlıqla görünməyə bilər. Tokenləşdirici sözü səmərəli hissələrə ayırmırsa, model nadir şəkilçi kombinasiyalarını parçalanmış və zəif təmsil olunmuş şəkildə görür. Bu, xüsusilə rəsmi sənədlər, hüquqi mətnlər və mürəkkəb sorğularda dil axıcılığına və mənanın qorunmasına təsir edə bilər.

Həll yalnız daha çox mətn toplamaq deyil. Tokenizasiya dizaynı, morfoloji müxtəlifliyi əhatə edən məlumat seçimi və test nümunələri birlikdə düşünülməlidir. Təlim korpusunda fərqli zamanlar, hallanma formaları, əmr və sual konstruksiyaları, eləcə də sahə terminləri balanslı yer almalıdır. Daha sonra modelə “bu cümlə düzgündürmü?” tipli sadə yoxlama ilə yanaşı, uzun formalarda məna fərqini ayıran tapşırıqlar verilməlidir. Belə yanaşma dilin quruluşunu problem kimi deyil, sistemli optimizasiya tələbi kimi qəbul edir.

Real istifadəçilər hər zaman normativ yazmır. “ə”, “ş”, “ğ”, “ı”, “ö”, “ü” hərfləri bəzən latın klaviaturası və ya sürətli yazı səbəbilə sadələşdirilir; sözlər bitişik və ya ayrı yazılır; rus, türk və ingilis terminləri qarışıq formada işlədilir. Məsələn, istifadəçi “hesabim blok olub”, “krediti odemek isteyirem” və ya “login olmur” kimi yazanda niyyətin anlaşılması vacibdir. Model yalnız ideal redaktə olunmuş mətnlə təlim görərsə, canlı mühitdə daha zəif nəticə verə bilər. Əksinə, hər qeyri-standart formanın filtrlənmədən qəbul edilməsi də səhv dil nümunələrini gücləndirər.

Bu balans üçün məlumatın etiketlənməsi və normallaşdırma qaydaları faydalıdır. Məhsul səviyyəsində daxil olan sorğu əvvəlcə zərərsiz yazılış düzəlişindən keçə, sonra əsas modelə ötürülə bilər. Lakin düzəliş istifadəçinin niyyətini dəyişməməlidir; şəxs adları, ünvanlar, məbləğlər və kodlar xüsusi diqqət tələb edir. Qiymətləndirmə dəstində klaviatura səhvləri, danışıq dili, kod qarışıqlığı və qısaltmalar ayrıca kateqoriya kimi saxlanmalıdır. Məqsəd istifadəçini “düzgün yazmağa məcbur etmək” yox, sistemin insan dilinin real müxtəlifliyini təhlükəsiz idarə etməsidir.

Azərbaycanca internet məzmununun həcmi bəzi böyük dillərdən azdır, amma bu fakt təkbaşına keyfiyyəti müəyyən etmir. Eyni məzmunun çoxlu surəti, xəbər yönümlü korpus, az sayda texniki mətn və ya bir sahənin həddindən artıq üstünlüyü modeldə balanssızlıq yarada bilər. Nəticədə model gündəlik dialoqda təbii, lakin ixtisaslaşmış mövzuda qeyri-dəqiq; yaxud rəsmi mətndə güclü, amma sadə istifadəçi sualında sərt görünə bilər. Korpusun həcmini artırmaqla yanaşı, onun janr, mövzu, zaman və keyfiyyət bölgüsünü izləmək lazımdır. Məlumat kartı belə qərarları görünən edir.

Məlumatın qurulması üçün redaktə edilmiş kitablar, qanuni açıq lisenziyalı mənbələr, rəsmi sənədlər, tədris materialları və razılıqla toplanmış dialoq nümunələri müxtəlif dəyər daşıyır. Hər mənbə eyni məqsədə xidmət etmir. Məsələn, ensiklopediya fakt üslubu üçün faydalı ola bilər, lakin müştəri dialoqunun nəzakətli ritmini öyrətmək üçün yetərli deyil. Komanda hansı qabiliyyəti qurmaq istədiyini əvvəlcədən müəyyənləşdirib həmin qabiliyyətə uyğun məlumat boşluqlarını doldurmalıdır. Bu yanaşma “daha çox data” şüarını “daha məqsədli, daha izlənə bilən data” ilə əvəz edir.

Azərbaycan dilinin regional danışıq formaları, ailə və peşə çevrələrində işlənən ifadələr, həmçinin tarixi və mədəni istinadlar real istifadə təcrübəsinin hissəsidir. Model bütün dialektləri eyni səviyyədə mənimsəməyə bilər və bu iddianı ölçmədən vermək düzgün deyil. Amma sistem ən azı danışıq forması ilə yazılmış sorğunun niyyətini tanımağa, sərt və ya istehzalı tonla qarışdırmamağa, aydınlaşdırıcı sual verməyə çalışmalıdır. Burada dilçilər və regional istifadəçilərlə qurulmuş qiymətləndirmə prosesi xüsusilə dəyərlidir. Sadəcə standart dil üzrə yüksək bal alan model real dialoqda gözlənilməz boşluqlar göstərə bilər.

Yerli kontekst həm də təşkilat və məkan adları, milli bayramlar, təhsil sistemi, hüquqi terminlər və gündəlik davranış qaydaları deməkdir. Modellər bu məlumatı köhnəlmiş, yarımçıq və ya səhv öyrənə bilər. Ona görə dəyişən faktlar üçün RAG və rəsmi mənbəyə istinad daha etibarlıdır. Modelə “hamısını yadda saxlamaq” tapşırığı vermək əvəzinə, sorğu zamanı aktuallığı yoxlanmış məlumata çıxış yaratmaq daha sağlam arxitekturadır. Bu həm hallüsinasiyanı, həm də yerli kontekstlə bağlı həssas səhvləri azalda bilər.

Modelin Azərbaycan dilində keyfiyyəti hazır benchmark tərcüməsi ilə tam ölçülmür. Test dəstində sadə suallarla yanaşı, uzun şəkilçili sözlər, qeyri-standart yazılış, rəsmi müraciət, çoxmənalı söz, nitq etiketi, terminoloji uyğunluq və mənbədən cavab ssenariləri olmalıdır. Qiymətləndirmə forması da tapşırığa uyğun seçilməlidir: mətn xülasəsində məna qorunması, chatbotda niyyət dəqiqliyi, sənəd sual-cavabında isə mənbəyə uyğunluq əsas meyar ola bilər. Hər nəticənin yanında səhvlərin növünü qeyd etmək gələcək təkmilləşdirməni sürətləndirir.

Peşəkar qiymətləndirmə bir dəfə aparılan təqdimat deyil. Yeni model versiyası, tokenizasiya dəyişikliyi, RAG bazası yenilənməsi və ya təhlükəsizlik qaydası nəticəni dəyişə bilər. Buna görə testlər versiyalanmalı, təkrar icra olunmalı və əsas nəticələr şəffaf izah edilməlidir. Khazri kimi Azərbaycan dili mərkəzli təşəbbüs üçün bu proses model yaratmaq qədər stratejidir. Çünki məqsəd sadəcə Azərbaycan dilində cümlə qurmaq yox, real istifadəçinin niyyətini, ehtiyacını və kontekstini etibarlı şəkildə dəstəkləməkdir.

“Azərbaycan dili üçün LLM hazırlamaq niyə çətindir?” mövzusunda növbəti addımı texnologiyadan deyil, konkret istifadəçi problemindən başlayaraq seçin. Hədəf auditoriyanı, cavabın təsir etdiyi qərarı, istifadə olunacaq məlumatı və qəbul edilən risk səviyyəsini bir səhifəlik sənəddə aydınlaşdırın. Sonra həmin ssenaridə bu gün nə qədər vaxt sərf olunduğunu, hansı səhvlərin baş verdiyini və istifadəçinin hansı çətinliklə üzləşdiyini ölçün. Bu ilkin göstərici olmadan AI həllinin həqiqi faydasını və ya yan təsirini qiymətləndirmək mümkün deyil.

Kiçik pilotda nəticəni Azərbaycan dili, fakt və ya mənbə dəqiqliyi, istifadəçi təcrübəsi, gecikmə və təhlükəsizlik baxımından birgə yoxlayın. Yalnız ideal sorğunu deyil, qısa, səhv yazılmış, qeyri-müəyyən və riskli müraciətləri də sınayın. Cavabın modeldən, məlumatdan, axtarışdan və ya proses qaydasından hansı səbəblə yarandığını izləmək üçün versiyaları qeyd edin. Bu yanaşma problemi tez tapmağa, məhsulu təhlükəsiz təkmilləşdirməyə və komandanın qərarını fikrə yox, dəlilə əsaslandırmağa kömək edir.

Ən sonda insanın rolunu açıq saxlayın. Aşağı riskli işdə AI qaralama və axtarış köməkçisi ola bilər, yüksək təsirli qərarda isə səlahiyyətli ekspertin yoxlaması, rəsmi mənbə və eskalasiya yolu qorunmalıdır. Modelin və ya məlumat bazasının imkanları dəyişdikcə eyni qiymətləndirmə dövrünü yenidən işə salın. Qərar jurnalında istifadə olunan məlumat versiyasını, model konfiqurasiyasını, cavabın harada istifadə edildiyini və kimin təsdiqlədiyini qeyd edin. Bu məlumat sonradan keyfiyyət araşdırması, audit və komanda təlimi üçün praktik sübuta çevrilir. Beləliklə, bu mövzudakı AI təşəbbüsü bir dəfəlik demo deyil, istifadəçiyə real fayda verən və məsuliyyətlə idarə olunan məhsul imkanına çevrilir.