Module 6. 강화학습 (Reinforcement Learning) (고려대학교 이병준 교수)

Part 1. MDP and Planning

: Markov Decision Process의 약자
- Sequential Decision Making under Uncertainty를 위한 기법
- 강화학습(Reinforcement Learning, RL)을 위한 기본 기법
- 알고리즘(transition probability, reward function)을 알고 있을 때는 MDP(stocasitc control 기법)을 이용
- 알고리즘을 모르고 simulation 결과(reward 값)를 활용할 때는 강화학습을 이용

https://velog.io/@recoder/MDP%EC%9D%98%EA%B0%9C%EB%85%90

S : set of states(state space)
- state s t∈S : the status of the system, environment
- discrete인 경우, S={1,2,...,n}, continuous인 경우, S=ℜn
 
A : set of actions(action space)

- action a t∈A : input to the system
- discrete인 경우, A={1,2,...,n}, continuous인 경우, A=ℜn
- the decision maker observes the system state and choose an action either randomly or deterministically

 

p : state transition probability
- p(s ′∣s,a):=Prob(s t+1=s ′∣s t=s,a t=a)

- 현재 state가 s, action은 a 일 때, 다음 state가 s'이 올 확률
- deterministc의 경우, 하나의 state(s')에 대해서만 1, 나머지는 0으로 한다.

 

reward function rt
​- rt =r(st,at) : 현재 상태 st에서 action at를 수행할 시의 결과

- 현재(t) step에 agent가 얼마나 잘 하고 있는가
- long term effect을 측정할 순 없다. 즉각적인 것만 방영한다.
- 장기적인 영향은 이후 이를 누적해서 판단한다.

 

discount factor γ
- γ∈(0,1]
- 미래에 대한 discount 정도
- 0에 가까울 수록, 미래에 대한 가중치를 크게 감소시키는 것이고
- 1에 가까울 수록, 미래와 현재의 가중치를 거의 동일하게 주는 것이다.