1. Markov Decision Process 기본 구조
강화학습 문제를 state, action, reward, transition probability, policy 관점에서 정리한다.
0. MDP의 전체 그림
강화학습은 agent와 environment가 반복해서 상호작용하는 문제다. agent는 현재 상태를 보고 행동을 선택하고, environment는 그 행동의 결과로 다음 상태와 보상을 돌려준다.
- agent가 현재 상태를 관찰한다.
- 정책에 따라 행동을 선택한다.
- environment가 보상과 다음 상태를 반환한다.
- agent는 더 큰 장기 보상을 얻도록 정책을 개선한다.
이 순차적 의사결정 과정을 수학적으로 다루는 기본 틀이 MDP다.
1. Markov Property
현재 상태가 주어졌을 때 다음 상태의 확률은 과거 이력이 아니라 현재 상태에만 의존한다는 성질이다.
즉 미래를 예측하는 데 필요한 정보가 현재 상태 안에 충분히 담겨 있다고 보는 가정이다. 체스판의 현재 말 배치를 알면 다음 수를 판단할 수 있고, 모든 이전 수순을 따로 들고 있을 필요는 없다는 예로 이해할 수 있다.
\[P(S_{t+1} \mid S_t) = P(S_{t+1} \mid S_1, S_2, ..., S_t)\]
2. MDP의 구성 요소
MDP는 Markov Property를 만족하는 환경에 agent의 행동 선택과 reward를 더한 모델이다.
2.1 State
상태는 agent가 구분해야 하는 상황의 집합이다. Grid World에서는 agent가 위치할 수 있는 각 칸이 하나의 state가 된다.
2.2 Action
행동은 각 상태에서 agent가 선택할 수 있는 움직임이다. 행동 결과는 항상 의도한 대로 일어날 수도 있고, 바람이나 미끄러짐처럼 확률적으로 달라질 수도 있다.
2.3 Reward Function
보상 함수는 agent에게 무엇이 좋은 결과인지 알려주는 즉각적인 피드백이다. 목표 지점에는 양의 보상, 함정에는 음의 보상, 매 step에는 작은 시간 penalty를 둘 수 있다.
2.4 Transition Probability
전이 확률은 상태 s에서 행동 a를 했을 때 다음 상태 s'로 이동할 확률이다. 환경의 불확실성이 이 항에 들어간다.
3. MDP의 목표
MDP를 정의하는 이유는 누적 보상을 최대화하는 최적 정책을 찾기 위해서다. 즉각적인 reward 하나보다 앞으로 받을 reward의 할인합인 return이 더 중요하다.
정책은 상태에서 행동을 선택하는 규칙이고, 가치 함수는 그 정책을 따랐을 때 상태나 행동이 장기적으로 얼마나 좋은지 나타낸다.
4. 다음 단계
- Markov Property는 현재 상태만으로 다음 상태를 설명할 수 있다는 가정이다.
- MDP는 state, action, reward, transition probability로 순차적 의사결정 문제를 정의한다.
- agent의 목표는 장기 return을 최대화하는 optimal policy를 찾는 것이다.
최적 정책을 실제로 계산하려면 가치 사이의 관계가 필요하다. 다음 글에서는 이 관계를 표현하는 Bellman Equation을 다룬다.
