122 Комп’ютерні науки

Permanent URI for this collection

https://ekmair.ukma.edu.ua/handle/123456789/35525
Освітньо-наукова програма: Комп’ютерні науки

Browse

Browsing 122 Комп’ютерні науки by Subject "artificial intelligence"

Now showing 1 - 2 of 2
  • Thumbnail Image
    Item
    Resource-Aware Embodied Intelligence through the Optimization of Data, Compute, and Trust : dissertation to obtain the degree of Doctor of Philosophy
    (2026) Kuzmenko, Dmytro; Shvai, Nadiia
    PhD thesis to obtain the degree of Doctor of Philosophy in the Programme Subject Area 122 "Computer Science" (12 – Information Technologies). – National University of Kyiv-Mohyla Academy, Kyiv, 2026. Modern robotic systems must learn and act under hard constraints of wall-clock time, onboard compute and memory, and energy, while remaining safe, reliable, and understandable in interaction with people. State-of-the-art perception, decisionmaking, and vision-language models often assume large training budgets or cloud resources, which limits real-world deployment. This dissertation is aimed specifically at solving these problems. It develops a set of algorithms and system designs that reduce temporal and computational cost without degrading task performance, and extends the notion of efficiency to human-robot interaction in terms of trust, safety, and cooperation. In the dissertation, methods are proposed and experimentally studied for efficient perception from egocentric video, resource-aware object-goal navigation with visionlanguage components, time-efficient model-based reinforcement learning with policy distillation for multi-task deployment, and a manager-level mixture-of-experts for vision-language models that selects among experts at inference time according to memory and latency budgets. The work also introduces an experimental benchmark for Empathic Ethical Disobedience (EED Gym), which formalizes efficiency in humanrobot interaction as maintaining safety and cooperation while minimizing unnecessary risk and interaction overhead. The research applies methods of machine learning and control, including semisupervised learning with pseudo-labels, architectural selection and ablation of visionlanguage stacks, model-based reinforcement learning with trajectory optimization, policy and ensemble distillation, mixture-of-experts routing with budget-aware expert selection, and simulation-based human-robot evaluation with safety-aware reward shaping and trust metrics. The experimental program covers large-scale egocentric perception datasets for walking environments, embodied navigation in scanned 3D scenes, multi-task control domains, and scripted human-agent interaction scenarios. Scientific results obtained in the dissertation: – A methodology for label- and compute-efficient visual perception based on semisupervised learning for egocentric locomotion scenes. – Resource-aware configurations for vision-language object-goal navigation that trade off success and path efficiency against GPU memory and latency. – Algorithms for time-efficient model-based reinforcement learning and a distillation pipeline that compresses multi-task agents into compact deployable policies. – An energy-efficient RL extension with a fuel-consumption penalty that reduces operational energy use with minimal impact on lap-time performance. – A manager-level mixture-of-experts (MoIRA) for vision-language models that provides budget-adaptive routing over heterogeneous experts. – A benchmark and methodology for efficiency in human-robot interaction (EED Gym), formalizing trust, safety, and cooperation under constraints. Conducted experimental research: An experimental study was performed across four strands. For perception, semi-supervised pipelines on egocentric datasets were evaluated with accuracy and label-efficiency metrics and analyzed with confusion matrices and deployment footprints. For object-goal navigation, vision-language stacks were profiled on HM3D-based splits with success, SPL, and module-wise time/VRAM measurements, producing deployable configurations under limited memory. For model-based reinforcement learning, training recipes and distillation procedures were evaluated by wall-clock, reward, and policy size across multiple tasks, including generalization and ablations. For human-robot interaction, EED Gym scenarios were used to measure safety risk, trust dynamics, and cooperative payoff for baseline policies and learned agents, with interventions such as clarification and refusal. Practical significance: The proposed methods form a software and experimental suite for building robotic systems that operate within realistic budgets. Semi- supervised perception reduces annotation and training cost and is suitable for mobile or embedded devices. Resource-aware navigation stacks enable zero- or low-shot object-goal navigation under modest GPU memory. Time-efficient RL with distillation shortens training cycles and allows multi-task deployment on limited hardware. The MoIRA manager permits a single agent to adapt its expert usage to changing latency or memory budgets without retraining. EED Gym provides an evaluation environment for developers and researchers to quantify safety-aware efficiency in interaction with people. The first chapter of the dissertation is dedicated to the analysis of existing research in label-efficient perception, object-centric navigation with vision-language models, time-efficient reinforcement learning and policy distillation, mixture-of-experts for large vision-language models, and efficiency in human-robot interaction. It outlines the main problems and challenges, including the dependence on large annotation budgets, instability under memory limits, and the need to optimize not only compute but also interaction safety and trust. The second chapter is dedicated to the methodology and experiments for efficient perception in robotics. The chapter presents a class of semi-supervised pipelines for egocentric walking environments, describes pseudo-label mining and augmentation strategies, and shows how coarse-to-fine training schedules and compact backbones yield accurate recognition with reduced labeled data and practical deployment footprints. The third chapter is dedicated to vision-language frontier maps for object-goal navigation. The chapter analyzes alternative vision-language backbones and detectors, introduces a resource-aware composition of components, and studies how success and path efficiency change with memory and latency budgets. A set of recommended configurations is provided for machines with limited VRAM. The fourth chapter presents the main algorithms for time-efficient model-based reinforcement learning and policy distillation. Training and planning schedules are introduced to reduce wall-clock time without degrading reward, multi-task distillation is used to compress ensembles and controllers into compact policies, and a joint energyefficient RL study augments the reward with a fuel-consumption term, reducing fuel per lap of the race car with minimal impact on lap time. The chapter includes ablations, generalization studies, and deployment considerations. The fifth chapter introduces MoIRA, a manager-level mixture-of-experts for visionlanguage-action agents. It proposes two zero-shot routing strategies – embeddingbased cosine similarity and prompt-driven language model inference – and three model serving configurations, then validates the framework on GR1 and LIBERO benchmarks, demonstrating that specialist routing matches or outperforms generalist baselines with explicit control over memory and latency trade-offs. The sixth chapter focuses on human-robot interaction and the Empathic Ethical Disobedience Gym. The chapter defines tasks, metrics for trust, safety, and cooperation, and intervention policies, and shows experimental results that quantify efficiency in interaction beyond compute alone, including when a robotic agent should clarify, comply, or refuse. In the general conclusions, the main findings of the dissertation are summarized, including the development of sample-efficient learning and inference methods across perception, navigation, control, and interaction, and the confirmation that efficiency can be optimized jointly with performance and safety for deployment-ready robotic systems.
  • Thumbnail Image
    Item
    Автоматизований аналіз та візуалізація в доповненій реальності архітектури програмних модулів для виявлення антипатернів : дисертація на здобуття наукового ступеня доктора філософії
    (2026) Франків, Олександр; Глибовець, Микола
    Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 122 "Комп’ютерні науки" (12 — Інформаційні технології). — Національний університет "Києво-Могилянська академія", Київ, 2026. Дисертаційна робота присвячена розв’язанню актуальної науково-прикладної задачі аналізу архітектури програмного забезпечення на основі автоматизованої побудови графової моделі програмного модуля та її подальшої візуалізації. Основною метою роботи є розроблення підходу, який дозволяє формалізувати структуру програмної системи, виконувати аналіз її архітектури та виявляти потенційні проблеми проєктування виключно на основі вихідного коду без необхідності використання додаткової документації, UML-діаграм або ручного опису архітектури. На сьогодні одним із важливих викликів у галузі розроблення програмного забезпечення є забезпечення належної якості програмних систем та підтримка їх архітектурної цілісності в процесі розвитку проєкту. Незважаючи на значну кількість наявних засобів автоматизованого аналізу програмного коду, більшість із них зосереджені переважно на виявленні локальних синтаксичних або семантичних помилок. Водночас аналіз загальної структури програмної системи, взаємодії її компонентів та оцінювання архітектурних рішень часто залишаються складними задачами, що потребують значних ручних зусиль з боку розробників. Додатковою проблемою є обмежені можливості наявних інструментів щодо представлення результатів аналізу у формі, зручній для сприйняття людиною. У складних програмних системах текстові звіти або набори окремих метрик нерідко є недостатніми для формування цілісного уявлення про структуру архітектури та локалізацію потенційних проблем. У дисертації проведено аналіз сучасних підходів до оцінювання архітектури програмного забезпечення, зокрема методів статичного аналізу коду, використання програмних метрик, засобів виявлення архітектурних вад, а також методів візуального представлення програмних систем. Показано, що існуючі підходи часто розглядають окремі характеристики програмного забезпечення ізольовано та недостатньо враховують глобальну структуру залежностей між компонентами системи. Встановлено, що традиційні метрики зв’язності, згуртованості або складності є корисними для оцінювання окремих фрагментів програмного коду, однак не забезпечують достатнього рівня наочності для аналізу складних архітектурних взаємозв’язків. Запропоновано підхід до представлення архітектури програмного забезпечення у вигляді орієнтованого зваженого графа. У межах запропонованої моделі вершини графа відповідають структурним елементам програмної системи, зокрема типам даних, полям та методам, а ребра — різним видам залежностей між ними. Модель враховує як декларативні зв’язки, такі як належність або наслідування, так і поведінкові взаємодії, зокрема виклики методів, використання типів та доступ до полів. Використання ваг ребер дозволяє відобразити інтенсивність взаємодій між компонентами системи та забезпечує можливість подальшого аналізу структури програмного забезпечення. Показано, що використання графової моделі дозволяє перейти від текстового представлення вихідного коду до формалізованої структури, придатної для алгоритмічної обробки, аналізу та візуалізації. На відміну від спрощених моделей залежностей, запропонований підхід враховує напрям взаємодії між компонентами та дозволяє аналізувати структуру системи на різних рівнях деталізації. Запропонована модель є достатньо універсальною для адаптації до різних мов програмування. У роботі розроблено методи автоматизованого аналізу архітектури програмного забезпечення на основі дослідження структури графа. Зокрема, запропоновано підходи до виявлення потенційних архітектурних вад, пов’язаних із порушенням зв’язності, згуртованості компонентів та наявністю циклічних залежностей. Аналіз виконується без використання додаткової інформації про програмну систему та базується виключно на структурі побудованої графової моделі. У роботі обґрунтовано використання просторового розміщення вузлів графа та особливості локальної структури залежностей для визначення потенційних проблем архітектури програмного забезпечення. Зокрема, надмірна концентрація зв’язків, ізольовані групи компонентів або аномально велика кількість взаємодій між окремими елементами можуть свідчити про порушення принципів проєктування. Запропонований підхід дозволяє локалізувати проблемні області програмного коду та спростити подальший процес аналізу й рефакторингу програмної системи. Окрему увагу приділено задачі візуалізації графової моделі архітектури програмного забезпечення. У дисертації розглянуто використання просторового представлення графа як засобу підвищення наочності та зменшення когнітивного навантаження під час аналізу складних залежностей між компонентами програмної системи. Для побудови візуального представлення використано силовий алгоритм розміщення графа, що моделює вершини як систему взаємодіючих частинок. Такий підхід дозволяє автоматично формувати естетично прийнятні конфігурації графа, придатні для подальшого аналізу користувачем. У роботі ґрунтовно досліджена можливість застосування методів машинного навчання для оптимізації процесу побудови візуального представлення графової моделі. Зокрема, розглянуто використання графових нейронних мереж як допоміжного інструменту покращення початкового розміщення вузлів графа та зменшення обчислювальної складності класичних силових алгоритмів. Запропонований комбінований підхід дозволяє підвищити швидкодію побудови візуалізації без суттєвого погіршення її естетичних характеристик та читабельності. Показано, що використання методів машинного навчання не може повністю замінити класичні алгоритми візуалізації, а виконує роль допоміжного інструменту оптимізації. Поєднання графових нейронних мереж із силовими алгоритмами дозволяє враховувати структурні особливості графа та забезпечує адаптивність підходу до різних типів програмних систем. Практичним результатом дисертаційної роботи є розроблення програмного комплексу A.D.A.R. (Architecture Displayer in Augmented Reality), призначеного для автоматизованої генерації, аналізу та візуалізації архітектури програмного забезпечення. Розроблена система виконує побудову графової моделі програмного модуля, підтримує аналіз архітектурних залежностей та дозволяє відображати структуру програмної системи у тривимірному просторі. Використання просторової візуалізації та засобів доповненої реальності дозволяє спростити сприйняття складних залежностей між компонентами програмного забезпечення на інтуїтивному рівні. Запропонований підхід може бути використаний у задачах аналізу якості програмного забезпечення, виявлення архітектурних проблем, підтримки процесу супроводу програмних систем, рефакторингу та дослідження структури великих програмних проєктів. Окрім практичного застосування у процесі розроблення програмного забезпечення, результати роботи можуть бути використані у навчальному процесі під час вивчення дисциплін, пов’язаних із архітектурою програмного забезпечення, статичним аналізом коду та методами візуалізації даних. У результаті проведеного дослідження отримано комплексний підхід до аналізу архітектури програмного забезпечення, який поєднує графове представлення структури програмної системи, автоматизований аналіз залежностей, методи візуалізації та елементи машинного навчання. Запропонований підхід забезпечує можливість більш наочного та ефективного дослідження структури програмних систем і може бути основою для подальшого розвитку засобів автоматизованого аналізу програмного забезпечення. Дисертаційна робота складається з п'яти розділів. У першому розділі проведено аналітичний огляд підходів до контролю якості та аналізу архітектури програмного забезпечення, методів візуалізації програмних систем та існуючих інструментів. Виявлено, що жоден із наявних засобів не забезпечує одночасно статичного аналізу вихідного коду, зваженого графа залежностей, адаптивного виявлення аномалій та тривимірної просторової візуалізації, що обґрунтовує задачу дослідження. У другому розділі розроблено графову модель архітектури програмного модуля у вигляді орієнтованого зваженого графа з трьома категоріями вузлів і шістьма класами ребер, що охоплюють як декларативні, так і поведінкові залежності між компонентами. Описано метод автоматизованої побудови моделі для мови Swift на основі графа символів SymbolKit та продемонстровано її придатність для виявлення конкретних проблем проєктування. У третьому розділі розроблено підхід до автоматизованого виявлення архітектурних аномалій на основі статистичного аналізу характеристик графа залежностей. Детектор визначає відхилення відносно типових значень конкретної системи, що забезпечує адаптивність без жорстко заданих порогів. Підхід апробовано на реальному Swift-застосунку із підтвердженням виявлених аномалій аналізом вихідного коду. У четвертому розділі досліджено метрики якості візуалізації графів та встановлено їхні обмеження з точки зору когнітивного сприйняття. Запропоновано використання графових нейронних мереж як евристики для формування початкового розміщення вершин у силових алгоритмах. На вибірці з 44 Swift-проєктів підтверджено повну стабілізацію результатів та скорочення часу побудови layout до 58 % для графів середнього розміру. Розглянуто інтеграцію графової моделі у середовище доповненої реальності як засіб просторової візуалізації. У п'ятому розділі описано програмний комплекс A.D.A.R., реалізований як набір модулів Swift Package Manager із рівнем покриття тестами 95 %. Наведено деталі інтеграції в інструментарій розробника через SPM-плагіни та описано застосунок-переглядач з підтримкою багатокористувацьких AR-сесій і механізмами зменшення когнітивного навантаження. Дослідження проводилося в рамках виконання наукових тем кафедри інформатики Національного університету «Києво-Могилянська академія»: «Моделі та методи машинного навчання в прикладних задачах» (УДК: 004.85, 004.49; 004.056.57, № держреєстрації 0123U102430) та «Аналіз великих об'ємів даних в реальному режимі часу» (УДК: 004.4:061.68, 004.67.775, № держреєстрації 0118U000647).