113 Прикладна математика
Permanent URI for this collection
Освітньо-наукова програма: Прикладна математика
Browse
Browsing 113 Прикладна математика by Subject "classic retrieval approach. BM-25"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
Item Семантичний пошук на основі представлень, отриманих за допомогою нейронних мереж(2022) Крошин, Олександр; Швай, НадіяМагістерська робота присвячена задачі семантичного пошуку, зокрема, задачі ранжування документів за запитами користувачів. В роботі розглядається розв’язок задачі ранжування за допомогою нейронних мереж архітектури GPT-3. В роботі пропонується розв’язувати цю задачу за допомогою імплементації GPT-3 під назвою OPT. Розглядаються різні варіанти розв’язку задачі без додаткового тренування, зокрема, використання різних форматів вхідних текстів. В роботі пропонується модель Cross-Encoder на основі OPT, що демонструє кращі результати роботи на прийнятих в індустрії тестах в порівнянні з існуючими рішеннями, що вважаються стандартами. Розглядаються експерименти з дистиляцією моделей OPT задля подальшого покращення їхніх результатів в задачах семантичного пошуку. Робота складається з трьох розділів. Перший, теоретичний розділ присвячений постановці задачі ранжування, огляду існуючих метрик та класичних підходів. Другий розділ описує використання нейронних мереж в задачі ранжування а також демонструє рішення, побудовані на базі моделей архітектури GPT-3. Третій, практичний розділ присвячений побудові та тренуванню Cross-Encoder на основі моделей OPT, експериментам з дистиляцією моделей та обробці результатів. Результати експериментів демонструються у висновку.