Точне налаштування LLM для обраних предметних областей
Loading...
Date
2025
Authors
Остролуцький, Андрій
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Кваліфікаційну роботу присвячено точному налаштуванню LLM для обраних предметних областей: науково-теоретична медицина, клінічна медицина та фінанси. В роботі проведено аналіз сучасних методів точного налаштування та огляд архітектури трансформерних моделей. Для практичної частини було використано метод низькорангового адаптування та модель Gemma 2 2B. Запропоновано двоетапний підхід до налаштування для теоретичної медицини, що забезпечив приріст точності на 9,19% (категорія «Professional medicine» MMLU) і покращення на 9,75% (MedQA). У клінічній медицині досягнуто зростання BERTScore Precision на 9,44%. Модель для фінансового аналізу показала 95,38% збігу з анотаціями експертів. Додатково було створено демонстраційні застосунки для клінічної і фінансової сфер як приклад практичного використання моделей.
Description
Keywords
великі мовні моделі, точне налаштування, LoRA, медицина, фінанси, бакалаврська робота