2. Bellman Equation과 가치 함수

0. 벨만 방정식이 필요한 이유

강화학습의 목표는 장기 return을 크게 만드는 정책을 찾는 것이다. 하지만 모든 미래 상태와 행동을 끝까지 펼쳐 계산하는 것은 현실적으로 어렵다.

벨만 방정식은 이 문제를 현재 보상과 다음 상태 가치의 관계로 바꾼다. 긴 미래를 한 번에 보지 않고, 한 단계 뒤의 가치로 현재 가치를 재귀적으로 표현하는 방식이다.

1. 가치 함수

가치 함수는 특정 정책을 따를 때 현재 상태나 행동이 장기적으로 얼마나 좋은지 나타낸다. 같은 상태라도 어떤 정책을 따르느냐에 따라 이후 return이 달라지므로, 가치 함수는 항상 정책을 기준으로 정의된다.

1.1 State-Value Function

상태 가치 함수는 상태 s에서 시작해 정책을 계속 따를 때 기대되는 미래 return을 의미한다.

1.2 Action-Value Function

행동 가치 함수는 상태 s에서 특정 행동 a를 먼저 선택한 뒤, 이후 정책을 따를 때 기대되는 return을 나타낸다.

환경 모델이 없는 상황에서는 현재 상태에서 어떤 행동이 좋은지 바로 비교해야 하므로, q 함수가 특히 중요하다.

2. Bellman Expectation Equation

벨만 기대 방정식은 현재 정책을 따른다는 가정 아래, 현재 가치가 즉시 보상과 다음 상태 가치의 기대값으로 표현된다는 관계를 보여준다.

3. 최적 가치 함수와 최적 정책

최적 가치 함수는 가능한 모든 정책 중 가장 큰 기대 return을 주는 가치 함수다.

3.1 최적 정책을 찾는 방법

최적 action-value 함수 q*를 알고 있다면 정책은 간단하다. 각 상태에서 q*가 가장 큰 행동을 고르면 된다.

3.2 Bellman Optimality Equation

벨만 최적 방정식은 평균을 내는 대신 가능한 행동 중 최댓값을 사용한다. 이 방정식의 해가 최적 가치 함수다.

3.3 v*와 q*의 차이

v*만 알고 있으면 현재 상태가 좋은지는 알 수 있지만, 어떤 행동을 해야 그 좋은 상태로 갈 수 있는지는 환경 모델이 있어야 계산할 수 있다. q*는 상태와 행동의 가치를 직접 알려주므로 모델 없이도 greedy action을 고를 수 있다.

4. Known MDP와 Unknown MDP

• Known MDP: 전이 확률과 보상 함수를 알고 있으므로 벨만 방정식을 계산으로 풀 수 있다. DP가 여기에 속한다.
• Unknown MDP: 환경 모델이 없으므로 실제 경험으로 가치 함수나 정책을 추정한다. 대부분의 강화학습 문제가 여기에 가깝다.

따라서 벨만 방정식은 모델이 있을 때는 계산의 도구이고, 모델이 없을 때는 학습해야 할 목표의 기준이 된다.