Створення ML системи генерування стилізованих описів до зображень у Swift Package Manager
Loading...
Date
2026
Authors
Сидорова, Єлізавєта
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Проблема автоматичного генерування стилізованих підписів до зображень залишається актуальною через питання стилістичної, контекстної й семантичної гнучкості, оскільки важливо відокремити змістову та жанрову компоненти для узагальненого застосування стилів через інструменти памʼяті. Важливою тенденцією розробляння є придатний і відкритий фреймворк через питання інтеграції комплексів у мобільне середовище та дочірні обмеження через обчислювальні затрати пристроїв. Актуальність дослідження зумовлена стрімким розвитком соціальних мереж, цифрового контенту та потребою в автоматизації створення текстових описів для фотографій, що здатні адаптуватися до різних стилів подання інформації. Кваліфікаційну працю присвячено дослідженню завдання автоматизованого генерування та стилізації текстових підписів до зображень із застосуванням сучасних методів компʼютерного зору та оброблення природної мови. Уперше реалізовано інтегровану систему автоматичного генерування стилізованих текстових підписів до зображень, яка поєднує мультимодальну трансформерну модель створення описів із послідовною структурою стилізації тексту, розроблення комбінованої збірки синтетичних знань й інтегрування програмної архітектури з підтриманням API та SPM-модуля. У тексті кваліфікаційного дослідження описано реалізацію комплексного інструмента з користувацьким інтерфейсом, який дає змогу отримувати стилізовані підписи до вхідних фото за застосування SPM та розробленого конвеєра. Окрім цього, розглянуто докладну реалізацію мультимодальної програми автоматичного генерування підписів до зображень на підставі попередньо навченої трансформерної архітектури BLIP. Додатково для завдання стилізації тексту застосовано модель T5 типу "послідовність‐у‐послідовність". Для навчання програмної структури стилізації сформовано власний синтетичний набір даних, що докладно описано під час дослідження. Так само реалізовано API підтримку для доступу до серверної підтримки конвеєра та Swift Package для інтеграції в iOS-проєкти. Проведено та описано докладний огляд сучасних підходів до завдання створення підписів до зображень та стилізації, обґрунтовано вибір архітектур програмних засобів, сформовано власний набір жанрових підписів, реалізовано програмний концепт та виконано його експериментальне дослідження. Наголошено на значущості створення інструментарію для автоматизованого одержання стилізованих підписів до фото. Під час експериментальних досліджень проведено тестування комплексів із послугуванням метрик, які підтвердили здатність інструменту формувати семантично коректні, синтаксично узгоджені та стилістично адаптовані текстові підписи. Практичне значення роботи полягає в створенні готового програмного рішення, що охоплює серверну архітектуру для оброблення запитів, API для взаємодії з клієнтськими застосунками та Swift Package модуля для інтеграції реалізації в мобільні застосунки на платформі iOS. Розроблена структура впроваджується в галузі соціальних мережах, повʼязаних із генеруванням текстового супроводу до зображень. Далі описано структуру кваліфікаційної роботи. У розділі 1 проведено експертизу релевантних інструментів, методів й архітектур, що охоплює поточний стан реалізованих відкритих рішень, які наявні до моменту написання кваліфікаційної праці. Огляд та висвітлення переваг дали змогу реалізувати створену комбіновану систему. У розділі 2 описано поступову реалізацію компонентів конвеєра, а саме модель завдання створення описів до фото, модель стилізації та поєднання їхнього виконання в один комбінований інструмент. Додатково описано створення власного набору синтетичних даних, налаштування ґостинг‐рішення та архітектуру Swift модуля. У розділі 3 описано результати проведених досліджень та протестовано створений механізм за обраними метриками. Додатково порівняно результати тренування підсистем на різних параметрах.
Description
Keywords
генерування підписів до зображень, стилізація тексту, мультимодальні моделі, трансформери, оброблення природної мови, мобільні застосунки, магістерська робота