Глибоке навчання з підкріпленням як метод абстрактивного реферування текстів українською мовою
Loading...
Date
2025
Authors
Стефанюк, Євген
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Метою дослідження є порівняльний аналіз алгоритмів навчання з підкріпленням для автоматичного реферування текстів та розробка власної метрики оцінювання результатів. Об’єкт дослідження: процес автоматичного абстрактивного реферування текстів. Методи дослідження: методи глибокого навчання, зокрема трансформерні моделі (mT5), алгоритми навчання з підкріпленням (REINFORCE, PPO), автоматичні метрики оцінювання (ROUGE, BERTScore) та кастомна метрика. Результати роботи: розроблено програму для порівняльного аналізу алгоритмів REINFORCE та PPO у задачі генерації рефератів українською мовою. Проведено експерименти з реальними науковими текстами та оцінено якість результатів за стандартними та власною метрикою. Показано, що PPO забезпечує стабільніше покращення якости порівняно з REINFORCE. Наукова новизна одержаних результатів: дістали подальший розвиток методи навчання з підкріпленням для абстрактивного реферування українських текстів. Запропоновано нову власну метрику, що враховує специфіку української мови. Практичне значення одержаних результатів: розроблено програмне застосування, яке здатне досліджувати ефективність алгоритмів REINFORCE і PPO для навчання supervised fine-tuned mT5 моделі з використанням різноманітних метрик, включно з власною. Достовірність результатів оцінюється шляхом порівняння на вручну підготовленому датасеті.
Description
Keywords
абстрактивне реферування, навчання з підкріпленням, PPO, REINFORCE, BERT, українська мова, NLP, метрика, трансформер