Resource-Aware Embodied Intelligence through the Optimization of Data, Compute, and Trust : dissertation to obtain the degree of Doctor of Philosophy
Loading...
Date
2026
Authors
Kuzmenko, Dmytro
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
PhD thesis to obtain the degree of Doctor of Philosophy in the Programme Subject Area 122 "Computer Science" (12 – Information Technologies). – National University of Kyiv-Mohyla Academy, Kyiv, 2026. Modern robotic systems must learn and act under hard constraints of wall-clock time, onboard compute and memory, and energy, while remaining safe, reliable, and understandable in interaction with people. State-of-the-art perception, decisionmaking, and vision-language models often assume large training budgets or cloud resources, which limits real-world deployment. This dissertation is aimed specifically at solving these problems. It develops a set of algorithms and system designs that reduce temporal and computational cost without degrading task performance, and extends the notion of efficiency to human-robot interaction in terms of trust, safety, and cooperation. In the dissertation, methods are proposed and experimentally studied for efficient
perception from egocentric video, resource-aware object-goal navigation with visionlanguage components, time-efficient model-based reinforcement learning with policy distillation for multi-task deployment, and a manager-level mixture-of-experts for vision-language models that selects among experts at inference time according to memory and latency budgets. The work also introduces an experimental benchmark for Empathic Ethical Disobedience (EED Gym), which formalizes efficiency in humanrobot interaction as maintaining safety and cooperation while minimizing unnecessary risk and interaction overhead. The research applies methods of machine learning and control, including semisupervised learning with pseudo-labels, architectural selection and ablation of visionlanguage stacks, model-based reinforcement learning with trajectory optimization, policy and ensemble distillation, mixture-of-experts routing with budget-aware expert selection, and simulation-based human-robot evaluation with safety-aware reward shaping and trust metrics. The experimental program covers large-scale egocentric
perception datasets for walking environments, embodied navigation in scanned 3D scenes, multi-task control domains, and scripted human-agent interaction scenarios. Scientific results obtained in the dissertation: – A methodology for label- and compute-efficient visual perception based on semisupervised learning for egocentric locomotion scenes. – Resource-aware configurations for vision-language object-goal navigation that trade off success and path efficiency against GPU memory and latency. – Algorithms for time-efficient model-based reinforcement learning and a distillation pipeline that compresses multi-task agents into compact deployable policies. – An energy-efficient RL extension with a fuel-consumption penalty that reduces
operational energy use with minimal impact on lap-time performance. – A manager-level mixture-of-experts (MoIRA) for vision-language models that provides budget-adaptive routing over heterogeneous experts. – A benchmark and methodology for efficiency in human-robot interaction (EED Gym), formalizing trust, safety, and cooperation under constraints. Conducted experimental research: An experimental study was performed across
four strands. For perception, semi-supervised pipelines on egocentric datasets were evaluated with accuracy and label-efficiency metrics and analyzed with confusion matrices and deployment footprints. For object-goal navigation, vision-language stacks were profiled on HM3D-based splits with success, SPL, and module-wise time/VRAM measurements, producing deployable configurations under limited memory. For model-based reinforcement learning, training recipes and distillation procedures were evaluated by wall-clock, reward, and policy size across multiple tasks, including generalization
and ablations. For human-robot interaction, EED Gym scenarios were used
to measure safety risk, trust dynamics, and cooperative payoff for baseline policies and learned agents, with interventions such as clarification and refusal. Practical significance: The proposed methods form a software and experimental suite for building robotic systems that operate within realistic budgets. Semi- supervised perception reduces annotation and training cost and is suitable for mobile or embedded devices. Resource-aware navigation stacks enable zero- or low-shot object-goal navigation under modest GPU memory. Time-efficient RL with distillation shortens training cycles and allows multi-task deployment on limited hardware. The MoIRA manager permits a single agent to adapt its expert usage to changing latency or memory budgets without retraining. EED Gym provides an evaluation environment for developers and researchers to quantify safety-aware efficiency in interaction with people. The first chapter of the dissertation is dedicated to the analysis of existing research in label-efficient perception, object-centric navigation with vision-language models, time-efficient reinforcement learning and policy distillation, mixture-of-experts for large vision-language models, and efficiency in human-robot interaction. It outlines the main problems and challenges, including the dependence on large annotation budgets, instability under memory limits, and the need to optimize not only compute but also interaction safety and trust. The second chapter is dedicated to the methodology and experiments for efficient perception in robotics. The chapter presents a class of semi-supervised pipelines for egocentric walking environments, describes pseudo-label mining and augmentation strategies, and shows how coarse-to-fine training schedules and compact backbones
yield accurate recognition with reduced labeled data and practical deployment footprints. The third chapter is dedicated to vision-language frontier maps for object-goal navigation. The chapter analyzes alternative vision-language backbones and detectors, introduces a resource-aware composition of components, and studies how success and path efficiency change with memory and latency budgets. A set of recommended configurations is provided for machines with limited VRAM. The fourth chapter presents the main algorithms for time-efficient model-based reinforcement learning and policy distillation. Training and planning schedules are introduced to reduce wall-clock time without degrading reward, multi-task distillation is used to compress ensembles and controllers into compact policies, and a joint energyefficient RL study augments the reward with a fuel-consumption term, reducing fuel per lap of the race car with minimal impact on lap time. The chapter includes ablations, generalization studies, and deployment considerations. The fifth chapter introduces MoIRA, a manager-level mixture-of-experts for visionlanguage-action agents. It proposes two zero-shot routing strategies – embeddingbased cosine similarity and prompt-driven language model inference – and three model serving configurations, then validates the framework on GR1 and LIBERO benchmarks, demonstrating that specialist routing matches or outperforms generalist baselines with explicit control over memory and latency trade-offs. The sixth chapter focuses on human-robot interaction and the Empathic Ethical Disobedience Gym. The chapter defines tasks, metrics for trust, safety, and cooperation, and intervention policies, and shows experimental results that quantify efficiency
in interaction beyond compute alone, including when a robotic agent should clarify, comply, or refuse. In the general conclusions, the main findings of the dissertation are summarized, including the development of sample-efficient learning and inference methods across perception, navigation, control, and interaction, and the confirmation that efficiency can be optimized jointly with performance and safety for deployment-ready robotic systems.
Description
Дисертація на здобуття ступеня доктора філософії за галуззю знань 12 "Інформаційні технології", спеціальністю 122 "Комп’ютерні науки". – Національний університет "Києво-Могилянська академія", Київ, 2026. Сучасні робототехнічні системи повинні навчатися та діяти в умовах жорстких обмежень реального часу, обчислювальних ресурсів, пам’яті й енергоспоживання, зберігаючи при цьому безпеку, надійність і зрозумілість під час взаємодії з людьми. Багато сучасних підходів у задачах розпізнавання образів, прийняття рішень і побудови зорово-мовних агентів спираються на велику кількість дорогих обчислювальних ресурсів, що ускладнює їх практичне застосування. Ця дисертаційна робота присвячена розв’язанню зазначених проблем. У ній запропоновано методи та системні рішення, які зменшують часові й обчислювальні витрати без втрати якості виконання завдань, а також поширюють поняття ефективності на взаємодію людини й робота з урахуванням довіри, безпеки та співпраці. У дисертації запропоновано й експериментально досліджено методи ефективного розпізнавання навколишніх образів на основі егоцентричного відеопотоку, ресурсно-обмежену навігацію за об’єктом із використанням зорово-мовних компонентів, ефективне в часі модельно-орієнтоване навчання з підкріпленням із дистиляцією стратегій для багатозадачного розгортання, а також розглянутий запропонований підхід суміші експертів для зорово-мовних агентів, який адаптується до обмежень пам’яті та затримки в реальному часі. Окремо запропоновано експериментальне симуляційне середовище Empathic Ethical Disobedience (EED) Gym, що формалізує ефективність у взаємодії людини і робота як здатність підтримувати безпеку й співпрацю за мінімізації зайвого ризику та комунікаційних витрат. У роботі застосовано методи машинного навчання та керування, зокрема часткове навчання з вчителем, пошук оптимальних архітектур і абляційні дослідження зорово-мовних систем, модельно-орієнтоване навчання з підкріпленням із плануванням траєкторій, дистиляцію стратегій та ансамблів, маршрутизацію
в системах суміші експертів із децентралізованим вибором, а також симуляційне оцінювання взаємодії людини й робота з урахуванням безпеки та метрик довіри. Експерименти охоплюють великомасштабні егоцентричні набори даних для середовищ ходьби, навігацію у відсканованих тривимірних сценах, багатозадачні середовища керування та сценарії взаємодії людини з агентом. Наукові результати, отримані в дисертації: – Розроблено методологію обчислювально-ефективного та ефективного з точки зору анотації даних візуального сприйняття на основі часткового навчання з вчителем для пересування егоцентричними сценами. – Запропоновано ресурсно-обмежені конфігурації зорово-мовної навігації і пошуку об’єкту, що забезпечують узгодження успішності та ефективності маршруту з бюджетами пам’яті та затримки. – Розроблено алгоритми ефективного в часі модельно-орієнтованого навчання з підкріпленням і дистиляційний підхід, що стискає агентів у компактні стратегії, придатні до практичного розгортання. – Запропоновано метод енергоефективного навчання з підкріпленням зі штрафом за споживання пального, що дозволяє зменшити витрату енергії без суттєвого зменшення швидкості проходження кола. – Запропоновано підхід суміші експертів для зорово-мовних агентів із адаптивною маршрутизацією між гетерогенними експертами з урахуванням ресурсних обмежень. – Розроблено симуляційне середовище і методологію оцінювання ефективності у взаємодії людина і робота, що формалізують довіру, безпеку та кооперацію за наявності обмежень ресурсів. Проведені експериментальні дослідження: Експериментальні дослідження виконано за чотирма основними напрямами. У задачах розпізнавання образів з частковим навчанням з вчителем моделі оцінено на егоцентричних даних за показниками точності та ефективності використання анотації, із аналізом матриць помилок і вимог до розгортання. Для навігації за об’єктом проведено профілювання зорово-мовних систем на вибірках HM3D із використанням метрик відсотку успішності і зваженого ефективного шляху виконання та вимірюванням часу й використання відеопам’яті на рівні компонентів. У задачах модельно-орієнтованого навчання з підкріпленням проаналізовано тренувальні конфігурації та процедури дистиляції за реальним часом навчання, винагородою та розміром стратегії з урахуванням узагальнюваності й абляцій. Для взаємодії
людини та робота застосовано сценарії середовища EED Gym для оцінювання ризику, динаміки довіри та кооперативного виграшу для базових і навчених агентів із такими можливими діями, як уточнення або відмова. Практичне значення: - Запропоновані методи формують програмний та експериментальний інструментарій для створення робототехнічних систем, здатних працювати в реальних часових, обчислювальних і енергетичних обмеженнях. Часткове навчання з вчителем зменшує витрати на анотацію і придатне для мобільних та вбудованих платформ. Ресурсно-обмежені навігаційні системи
забезпечують навігацію за об’єктом із мінімальними тренувальними витратами на графічних процесорах з помірною кількістю відеопам’яті. Ефективне в часі навчання з підкріпленням із дистиляцією скорочує цикли навчання та підтримує багатозадачне розгортання на обмеженому апаратному забезпеченні. Менеджер MoIRA дає змогу одному агенту адаптувати використання експертів до змін умов без повторного навчання. Симуляційний простір EED Gym забезпечує відтворюване середовище для кількісної оцінки ефективності взаємодії з урахуванням безпеки та соціальних чинників.
Keywords
vision-language-action models, reinforcement learning, optimization methods, computer vision, neural networks, human-robot interaction, Markov decision process, model "state-probability of action", artificial intelligence, decision making, machine learning, RMSE, control, numerical solution, inverse problems, dissertation, зорово-мовно-дійові моделі, навчання з підкріпленням, методи оптимізації, комп’ютерний зір, нейронні мережі, взаємодія людини з роботом, марковський процес прийняття рішень, модель "стан-імовірність дії", штучний інтелект, прийняття рішень, машинне навчання, RMSE, управління, чисельний розв’язок, обернені задачі
Citation
Kuzmenko D. Resource-Aware Embodied Intelligence through the Optimization of Data, Compute, and Trust : dissertation to obtain the degree of Doctor of Philosophy / Kuzmenko Dmytro Oleksandrovych ; superv. Shvai Nadiia Oleksandrivna ; National University of Kyiv-Mohyla Academy, Ministry of Education and Science of Ukraine. - Kyiv : [s. n.], 2026. - 170 p. : ill., schemes, tables, graphs, diagrs. - Includes appendix.