УДК 004.896
АНАЛИЗ СТРАТЕГИЙ ДЕКОДИРОВАНИЯ ОТВЕТОВ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ В ЗАДАЧАХ МАТЕМАТИЧЕСКОГО КОНСУЛЬТИРОВАНИЯ ПРИ ОГРАНИЧЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСАХ
Ф. И. Башкин, аспирант РГРТУ, Рязань, Россия;
orcid.org/0009-0001-9574-8761, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
С. В. Скворцов, д.т.н., профессор РГРТУ, Рязань, Россия;
orcid.org/0000-0001-9495-4953, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
Рассматривается задача повышения качества генерации текста большими языковыми моделями в условиях ограниченных вычислительных ресурсов. Целью работы являются разработка и оценка эффективности системы итеративного контроля качества, реализующей комплекс стратегий декодирования. В связи с высокой вычислительной сложностью прямого получения оптимальных ответов предложена архитектура, интегрирующая прямое декодирование, итеративное улучшение с нейросетевой оценкой, документно-ориентированное декодирование и комбинированный подход. Для агрегации метрик качества используется математический аппарат, включающий BLEU, ROUGE, косинусное сходство и перплексию. Проведено экспериментальное исследование влияния различных стратегий на качество генерируемых ответов. Показано, что предложенная система обеспечивает значительное повышение точности и полноты ответов при автономной работе на локальных ресурсах, демонстрируя преимущество за счёт возможности дообучения на специализированных корпусах и сохранения конфиденциальности данных, что перспективно для развёртывания в защищённых образовательных средах.
Ключевые слова: большие языковые модели (LLM), стратегии декодирования, метрики качества текста, автономные системы, нейронные сети, образовательные технологии, машинное обучение.