aistudy 메인
Q-러닝에서 'Q'는 특정 상태(State, s)에서 취한 행동(Action, a)의 '품질(Quality)' 혹은 '행동-가치(Action-Value)'를 뜻합니다. 즉, 현재 상태 s 에서 행동 a 를 취한 뒤, 그 이후로는 언제나 최적의 행동만을 선택한다고 가정했을 때 최종적으로 얻을 수 있는 장기적 기대 누적 보상(Expected Cumulative Reward)을 나타냅니다. ... 환경의 확률적 전이 모델(P)이나 보상 함수(R)에 대한 사전 지식 없이도, 에이전트가 환경과의 시행착오(Trial-and-Error) 상호작용만으로 최적의 행동-가치 함수 Q*(s, a)를 직접 점근적으로 수렴해내는 오프-폴리시(Off-Policy) 시간차 제어 알고리즘이자 현대 심층 강화학습(Deep RL)의 결정적 도약대
Q-러닝(Q-Learning)은 1989년 크리스 와킨스(Christopher Watkins)가 자신의 박사학위 논문 "Learning from Delayed Rewards"에서 최초로 제안하고, 1992년 피터 다얀(Peter Dayan)과 함께 수학적 수렴성을 완벽히 증명한 강화학습 역사상 가장 위대한 알고리즘 중 하나입니다.
고전적인 마르코프 결정 과정(MDP)을 동적 계획법(Dynamic Programming)으로 풀기 위해서는 환경의 모든 상태 전이 확률 P(s' | s, a) 와 보상 함수 R(s, a) 를 사전에 완벽히 알고 있어야 했습니다. 그러나 현실 세계의 로봇 제어, 비디오 게임, 자율주행, 체스 등에서는 이러한 환경 수식을 미리 완벽히 알아내는 것이 불가능합니다.
환경이 어떻게 돌아가는지(물리 법칙, 전이 확률) 사전에 알 필요가 없습니다. 오직 직접 행동해보고 얻은 경험 튜플 (s, a, r, s') 만으로 학습합니다.
현재 데이터를 수집하고 있는 행동 정책(Behavior Policy)과 상관없이, 언제나 독립적으로 최적 목표 정책(Target Policy)의 가치 함수를 직접 추정합니다.
에피소드가 끝날 때까지 기다리지 않고, 단 1단계(One-Step) 진행 후 다음 상태의 추정 가치를 이용해 즉각 현재의 Q값을 업데이트합니다.
Q-러닝은 벨만 최적 방정식(Bellman Optimality Equation)을 샘플링 기반의 반복 연산(Stochastic Approximation)으로 풀어내는 알고리즘입니다.
상태 s 에서 행동 a 를 취했을 때 얻을 것으로 지금 시점에 알고 있는 기대 가치입니다.
새로 관측된 정보(TD 오차)를 기존 Q값에 얼마나 강하게 반영할지를 조절하는 가중치입니다.
실제로 환경으로부터 얻은 즉각 보상 r 과, 다음 상태 s' 에서 선택할 수 있는 모든 가능한 행동 a' 들 중 가장 높은 Q값(max)에 할인율 γ 를 곱한 값의 합입니다.
"실제 관측된 보상 + 다음 상태의 최선 가치"와 "현재 예측한 가치" 사이의 불일치(Surprise)를 나타내며, 이 오차를 0으로 수렴시키는 방향으로 학습이 진행됩니다.
Q-러닝이 '오프-폴리시(Off-Policy)'라고 불리는 이유는 데이터를 수집하는 정책(Behavior Policy)과 학습 목표가 되는 정책(Target Policy)이 서로 다르기 때문입니다.
에이전트가 실제로 환경에서 행동을 선택할 때는 다양한 상태를 경험하기 위해 확률 ε 으로 무작위 탐험(Exploration)을 하고, 확률 1-ε 으로 현재 가장 좋은 행동을 선택(Exploitation)합니다.
가치를 갱신할 때는 다음 상태 s' 에서 실제로 어떤 행동을 취하든 전혀 신경 쓰지 않고, 오직 가장 가치가 높은 최고의 행동 max_(a') Q(s', a') 만을 기준으로 목표값을 계산합니다.
강화학습에서 시간차(TD) 제어 알고리즘의 양대 산맥은 Q-러닝과 SARSA(State-Action-Reward-State-Action)입니다. 두 알고리즘의 차이를 이해하는 것은 강화학습의 정책 이론을 파악하는 핵심 열쇠입니다.
| 비교 항목 | Q-러닝 (Q-Learning) | SARSA (State-Action-Reward-State-Action) |
|---|---|---|
| 학습 패러다임 | 오프-폴리시 (Off-Policy) | 온-폴리시 (On-Policy) |
| 갱신 수식 | Q(s, a) ← Q + α [ r + γ max_(a') Q(s', a') - Q ] | Q(s, a) ← Q + α [ r + γ Q(s', a') - Q ] |
| 다음 행동의 기준 | 실제 취할 행동과 무관하게 수학적 최댓값 (max) 사용 | 현재 정책(ε-greedy)에 의해 실제로 선택된 행동 a' 사용 |
| 성향 및 위험도 | 대담하고 최적화 지향적 (최적 경로 학습) | 신중하고 안전 지향적 (탐험 리스크를 감안한 경로) |
| 절벽 걷기 (Cliff Walking) | 떨어질 위험을 무릅쓰고 절벽 바로 옆 최단 경로 선택 | 무작위 탐험 실수로 떨어지지 않도록 절벽에서 멀리 우회 |
| 장점 | 과거의 다른 정책으로 수집된 데이터(Replay Buffer)도 재활용 가능 | 학습 중 에이전트의 실제 안전과 성능을 안정적으로 보장 |
초기 Q-러닝은 상태 s 와 행동 a 를 행과 열로 갖는 거대한 2차원 룩업 테이블(Q-Table)에 가치값을 저장하는 테이블 기반 Q-러닝(Tabular Q-Learning)이었습니다. 그러나 바둑(10^170 상태)이나 아타리 비디오 게임(210x160 픽셀의 무한한 화면)처럼 상태 공간이 방대해지면 메모리에 테이블을 올리는 것 자체가 불가능해집니다.
딥마인드의 볼로디미르 므니(Volodymyr Mnih) 연구팀은 테이블 대신 심층 합성곱 신경망(CNN)을 함수 근사기(Function Approximator)로 도입한 DQN (Deep Q-Network)을 발표하며 네이처(Nature) 표지를 장식했습니다. DQN은 오직 게임 화면 픽셀과 점수 피드백만으로 인간 챔피언 수준을 압도하는 아타리 게임 플레이를 선보였습니다.
에이전트의 연속된 경험 (s, a, r, s') 을 거대한 메모리 버퍼에 저장해 두고, 무작위 미니배치로 무작위 샘플링하여 학습함으로써 연속 데이터 간의 치명적인 상관관계(Correlation)를 파괴하고 데이터 효율성을 극대화했습니다.
갱신할 네트워크(Q_online)와 목표값을 산출하는 네트워크(Q_target)를 분리하고 타깃 가중치를 일정 주기마다만 동기화하여, 움직이는 표적을 쫓다가 신경망이 발산(Divergence)하는 문제를 근본적으로 해결했습니다.
Q-러닝은 단순한 최적화 공식을 넘어, 현대 인공지능이 "환경을 인지하고 스스로 행동 전략을 세우는 범용 자율 지능체(AGI)"로 진화하는 데 가장 중대한 분수령을 제공했습니다.
환경의 복잡한 물리 법칙이나 확률 분포를 수학적으로 수식화하지 않아도, 오직 순수한 시행착오 상호작용만으로 최적 지능을 획득할 수 있음을 완벽하게 증명했습니다.
DQN의 성공은 2010년대 딥러닝 혁명이 단순한 이미지 분류(CV)나 번역(NLP)을 넘어, 능동적인 의사결정과 행동 제어 영역으로 확장되는 신호탄이 되었습니다. 알파고(AlphaGo) 역시 정책망과 가치망을 결합할 때 Q-러닝의 핵심 아이디어를 계승했습니다.
과대평가(Overestimation) 편향을 제거한 Double DQN, 상태 가치와 행동 이득을 분리한 Dueling DQN, 중요 경험을 우선 학습하는 PER(Prioritized Experience Replay), 그리고 연속 행동 공간을 위한 DDPG, SAC(Soft Actor-Critic)에 이르기까지 현대 강화학습 연구의 주류가 모두 Q-러닝의 변형과 발전입니다.
데이터센터 냉각 에너지 최적화, 반도체 칩 플로어플래닝 설계, 로봇 매니퓰레이터 제어, 자율주행 차량의 경로 계획, 금융 퀀트 알고리즘 트레이딩 등 복잡하고 동적인 실세계 제어 문제의 핵심 솔루션으로 자리 잡았습니다.
딥마인드가 네이처에 발표한 DQN(Deep Q-Network)의 아타리 게임 학습 과정과 심층 강화학습 원리 소개 영상
Q-러닝과 유기적으로 연결되는 aistudy 핵심 지식 문서들을 함께 탐색할 수 있습니다.