Khazri 2 ailəsi ilk modeldən fərqli olaraq müasir dil modeli yanaşmaları və komandamızın hazırladığı SYNAPSE arxitekturası üzərində qurulur.
Niyə yeni arxitektura?
Khazri 1 Azərbaycan dili üçün mühüm başlanğıc idi, lakin GPT-2 əsaslı ilk nəsil quruluş daha mürəkkəb anlama, sabit cavab və səmərəli miqyaslama ehtiyacları üçün məhdud idi.
Khazri 2-də məqsəd yalnız parametr sayını artırmaq deyil; attention, aktivasiya və məlumat axınına daha müasir yanaşma ilə keyfiyyət və səmərəlilik arasında daha yaxşı balans qurmaqdır.
SYNAPSE nəyi ifadə edir?
SYNAPSE Khazri 2 ailəsi üçün hazırlanmış arxitektura istiqamətinin adıdır. Hazırkı mərhələdə texniki detalların hamısı açıq yayımlanmır, lakin onun əsas məqsədi Azərbaycan dili və yerli istifadə ssenariləri üçün daha uyğun model bazası yaratmaqdır.
İki ölçü, bir ailə
250M parametrli Khazri 2 flaqman imkanlara, 100M parametrli Khazri 2 Mini isə daha məhdud hesablama mühitlərinə fokuslanır. Hər iki modelin açıq çəkiləri Hugging Face-də mövcuddur; inteqrasiya üçün komandamızla əlaqə saxlaya bilərsiniz.