Метод Монте-Карло та штучний інтелект: використання методу Монте-Карло в навчанні з підкріпленням

Abstract

Навчання з підкріпленням - технологія, що найбільш швидко розвивається, застосовується при створенні штучних інтелектуальних систем. На даний момент ця галузь досить швидко розвивається і є надзвичайно затребуваною.. Багато дослідників по всьому світу активно працюють з навчанням з підкріпленням у різноманітних сферах: нейробіології, теорії управління, психології та багатьох інших. Метою даної роботи є обґрунтування можливості застосування методу Монте-Карло в навчанні з підкріпленням. Відомо, що основним у такому навчанні є фіксація аспектів реальної проблеми при взаємодії того, хто навчається з навколишнім світом для досягнення своєї мети. Тобто агент навчання повинен мати мету, пов’язану зі станом навколишнього середовища. Також необхідно мати можливість відчувати середовище та вчиняти дії, що впливають на нього. Формулювання завдання навчання з підкріпленням має враховувати все три аспекти – відчуття, дію та мету – у їх найпростіших формах. В статті показано, що методи Монте-Карло здатні вирішити проблеми навчання із підкріпленням, ґрунтуючись на усередненні результатів вибірки. Не можна використовувати лише перевірені дії або лише шукати нові - в цьому і полягає проблема, бо у стохастичній задачі кожна дія має бути випробувана багато разів, щоб отримати надійну оцінку очікуваної винагороди. Щоб забезпечити доступність чітко визначених результатів, у статті розглядаються методи Монте-Карло лише епізодичних завдань. При цьому показане застосування нестандартного підходу до навчання із заздалегідь невідомими навчальними прикладами, які підбиралися автоматично, у процесі оптимізації. Таким чином, методи Монте-Карло можуть бути успішно інкрементними лише на рівні епізодів.

Reinforcement learning is the fastest growing technology used in the creation of artificial intelligence systems. At the moment, this field is developing quite rapidly and is extremely in demand. Many researchers around the world are actively working with reinforcement learning in various fields: neurobiology, control theory, psychology and many others. The purpose of this work is to substantiate the possibility of using the Monte Carlo method in reinforcement learning. It is known that the main thing in such learning is to fix aspects of a real problem during the interaction of the learner with the surrounding world to achieve his goal. That is, the learning agent must have a goal related to the state of the environment. It is also necessary to be able to feel the environment and take actions that affect it. The formulation of the reinforcement learning task should take into account all three aspects - sensation, action and goal - in their simplest forms. The article shows that Monte Carlo methods are able to solve reinforcement learning problems based on averaging the results of the sample. It is not possible to use only proven actions or only search for new ones - this is the problem, because in a stochastic problem each action must be tried many times to get a reliable estimate of the expected reward. To ensure the availability of well-defined results, the article considers Monte Carlo methods only for episodic tasks. In doing so, it shows the use of a non-standard approach to training with previously unknown training examples.