Energy Conservation in Autonomous Agents using Reinforcement Learning
Loading...
Date
2025
Authors
Беймук, Володимир
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Метою кваліфікаційної роботи є дослідження можливостей алгоритмів навчання з підкріпленням для формування стратегій автономного водіння з урахуванням компромісу між енергоефективністю та швидкістю проходження траси. Основну увагу приділено модифікації функції винагороди шляхом додавання штрафу за витрату пального. Проведено аналіз сучасних підходів у сфері автономного водіння та перегонів, а також визначено основні труднощі, пов’язані з багатокритеріальною оптимізацією у реалістичних середовищах для перегонів. Описано реалізацію завдання з використанням алгоритму Soft Actor-Critic у середовищі Assetto Corsa. Розглянуто вплив різних рівнів штрафу за витрату пального на навчання агента, а також досліджено, як змінюються стратегія водіння, витрата пального та час проходження кола залежно від обраних параметрів винагороди. Окрему увагу приділено аналізу основних факторів, що впливають на витрату пального в симуляторі, таких як прискорення, оберти двигуна, передача та амплітуда кермового кута.
Description
Our work aims to address this gap by exploring the intersection of autonomous racing, reinforcement learning, and energy conservation. Specifically, we investigate how incorporating a fuel consumption penalty into the reward function affects the resulting strategies of a reinforcement learning agent in a high-fidelity racing environment. Our goal is to incentivize the agent to find a balance between speed and energy efficiency, thereby forcing it to learn nontrivial trade-offs. Our key hypothesis is that by shaping the reward function to penalize fuel use in conjunction with lap time performance, the agent can be encouraged to adopt energy-efficient driving strategies without significantly compromising lap time.
Keywords
автономне водіння, навчання з підкріпленням, компроміс швидкість-ефективнсть, Soft Actor-Critic, Reinforcement Learning, енергоефективність, симуляція перегонів, бакалаврська робота