Energy conservation for autonomous agents using reinforcement learning
Loading...
Date
2025
Authors
Beimuk, Volodymyr
Kuzmenko, Dmytro
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Reinforcement learning (RL) has shown strong potential in autonomous racing for its adaptability to complex and dynamic driving environments. However, most research prioritizes performance metrics such as speed and lap time. Limited consideration is given to improving energy efficiency, despite its increasing importance in sustainable autonomous systems. This work investigates the capacity of RL agents to develop multi-objective driving strategies that balance lap time and fuel consumption by incorporating a fuel usage penalty into the reward function. To simulate realistic uncertainty, fuel usage is excluded from the observation space, forcing the agent to infer fuel consumption indirectly. Experiments are conducted using the Soft Actor-Critic algorithm in a high-fidelity racing simulator, Assetto Corsa, across multiple configurations of vehicles and tracks. We compare various penalty strengths against the non-penalized agent and evaluate fuel consumption, lap time, acceleration and braking profiles, gear usage, engine RPM, and steering behavior. Results show that mild to moderate penalties lead to significant fuel savings with minimal or no loss in lap time. Our findings highlight the viability of reward shaping for multi-objective optimization in autonomous racing and
contribute to broader efforts in energy-aware RL for control tasks. Results and supplementary material are available on our project website.
Description
Метою роботи є дослідження можливостей алгоритмів навчання з підкріпленням для формування стратегій автономного водіння з урахуванням компромісу між енергоефективністю та швидкістю. Робота реалізована з використанням алгоритму Soft Actor-Critic у середовищі Assetto Corsa шляхом додавання штрафу за витрату пального у функцію винагороди. Досліджено вплив різних рівнів штрафу на витрати пального та швидкість руху. Також проаналізовано ключові поведінкові зміни, зокрема прискорення, оберти двигуна, передачі та амплітуди кермового кута.
Keywords
reinforcement learning, autonomous driving, energy efficiency, multi-objective optimization, Soft Actor-Critic, racing simulation, article, автономне водіння, навчання з підкріпленням, компроміс швидкість-ефективність, енергоефективність, симуляція перегонів
Citation
111