В отличие от первой модели, семейство Khazri 2 строится на современных подходах к языковым моделям и собственной архитектуре SYNAPSE.
Зачем новая архитектура?
Khazri 1 стала важной отправной точкой для азербайджанского языка, но её GPT-2-based архитектура первого поколения была ограничена в сложном понимании, стабильных ответах и эффективном масштабировании.
Khazri 2 — не только увеличение числа параметров. Цель — улучшить баланс качества и эффективности с помощью современных подходов к attention, активации и потоку информации.
Что означает SYNAPSE?
SYNAPSE — название архитектурного направления, разработанного для семейства Khazri 2. На текущем этапе публикуются не все технические детали; главная цель — создать более сильную модельную базу для азербайджанского языка и локальных сценариев.
Два размера, одно семейство
Khazri 2 на 250 млн параметров ориентирована на флагманские возможности, а Khazri 2 Mini на 100 млн — на среды с ограниченными ресурсами. Открытые веса обеих моделей доступны на Hugging Face; по вопросам интеграции свяжитесь с нашей командой.