Дослідження можливостей Generative AI для створення контенту
Loading...
Date
2026
Authors
Столяров, Владислав
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
роботі запропоновано методику кількісного оцінювання якості згенерованого великими мовними моделями навчального тексту. Розроблено композитну метрику, що поєднує чотири компоненти: семантичну близькість до референсу, покриття ключових понять, внутрішню когерентність та фактологічну узгодженість на основі кросмодельної верифікації двома різними LLM. Сформульовано рубрику людської оцінки з педагогічним критерієм дидактичної цінності. Експериментально перевірено методику на корпусі з 60 фрагментів за темами курсу "Алгоритми і структури даних" НаУКМА, згенерованих моделями Claude Sonnet 4.6 та GPT-5.4. Розраховано інтеррейтерну узгодженість за коефіцієнтом Cohen's κ та виявлено ефект 'стелі" у людській оцінці на сучасних топ-моделях. Програмна реалізація методики виконана у вигляді Python-пакета content_eval.
Description
Keywords
великі мовні моделі, генеративний штучний інтелект, оцінювання якості тексту, навчальний контент, композитна метрика, рубрика, LLM-as-a-judge, Cohen's κ, магістерська робота