Energy conservation for autonomous agents using reinforcement learning

Simple item page
dc.contributor.authorBeimuk, Volodymyren_US
dc.contributor.authorKuzmenko, Dmytroen_US
dc.date.accessioned2026-02-04T06:14:14Z
dc.date.available2026-02-04T06:14:14Z
dc.date.issued2025
dc.descriptionМетою роботи є дослідження можливостей алгоритмів навчання з підкріпленням для формування стратегій автономного водіння з урахуванням компромісу між енергоефективністю та швидкістю. Робота реалізована з використанням алгоритму Soft Actor-Critic у середовищі Assetto Corsa шляхом додавання штрафу за витрату пального у функцію винагороди. Досліджено вплив різних рівнів штрафу на витрати пального та швидкість руху. Також проаналізовано ключові поведінкові зміни, зокрема прискорення, оберти двигуна, передачі та амплітуди кермового кута.uk_UA
dc.description.abstractReinforcement learning (RL) has shown strong potential in autonomous racing for its adaptability to complex and dynamic driving environments. However, most research prioritizes performance metrics such as speed and lap time. Limited consideration is given to improving energy efficiency, despite its increasing importance in sustainable autonomous systems. This work investigates the capacity of RL agents to develop multi-objective driving strategies that balance lap time and fuel consumption by incorporating a fuel usage penalty into the reward function. To simulate realistic uncertainty, fuel usage is excluded from the observation space, forcing the agent to infer fuel consumption indirectly. Experiments are conducted using the Soft Actor-Critic algorithm in a high-fidelity racing simulator, Assetto Corsa, across multiple configurations of vehicles and tracks. We compare various penalty strengths against the non-penalized agent and evaluate fuel consumption, lap time, acceleration and braking profiles, gear usage, engine RPM, and steering behavior. Results show that mild to moderate penalties lead to significant fuel savings with minimal or no loss in lap time. Our findings highlight the viability of reward shaping for multi-objective optimization in autonomous racing and contribute to broader efforts in energy-aware RL for control tasks. Results and supplementary material are available on our project website.en_US
dc.identifier.citation111en_US
dc.identifier.issn2617-3808
dc.identifier.issn2617-7323
dc.identifier.urihttps://doi.org/10.18523/2617-3808.2025.8.68-75
dc.identifier.urihttps://ekmair.ukma.edu.ua/handle/123456789/38249
dc.language.isoenen_US
dc.relation.sourceНаукові записки НаУКМА. Комп'ютерні наукиuk_UA
dc.statusfirst publisheden_US
dc.subjectreinforcement learningen_US
dc.subjectautonomous drivingen_US
dc.subjectenergy efficiencyen_US
dc.subjectmulti-objective optimizationen_US
dc.subjectSoft Actor-Criticen_US
dc.subjectracing simulationen_US
dc.subjectarticleen_US
dc.subjectавтономне водінняuk_UA
dc.subjectнавчання з підкріпленнямuk_UA
dc.subjectкомпроміс швидкість-ефективністьuk_UA
dc.subjectенергоефективністьuk_UA
dc.subjectсимуляція перегонівuk_UA
dc.titleEnergy conservation for autonomous agents using reinforcement learningen_US
dc.title.alternativeЗбереження енергії для автономних агентів із використанням навчання з підкріпленнямuk_UA
dc.typeArticleen_US
Files
Original bundle
Now showing 1 - 1 of 1
Thumbnail Image
Name:
Beimuk_Kuzmenko_Energy_conservation_for_autonomous_agents_using_reinforcement_learning.pdf
Size:
2.88 MB
Format:
Adobe Portable Document Format
Download
License bundle
Now showing 1 - 1 of 1
No Thumbnail Available
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:
Download
Collections
Том 8