문서 목차 (Table of Contents)
학술 연구 및 산업 기술 종합 보고서피지컬 AI (Physical AI) 의 본질적 개념과 등장 배경
비체화된 기호 지능(Disembodied AI)에서 물리적 실체화(Embodied AI)로의 거대한 도약
피지컬 AI (Physical AI)는 물리적 하드웨어(로봇 본체, 액추에이터, 센서, 그리퍼 등)라는 구체적인 실체(Embodiment)를 보유하고, 실제 물리적 세계의 역학 법칙(중력, 마찰력, 관성, 탄성, 충돌 역학) 속에서 스스로 환경을 지각(Perceive)하고, 상황을 이해 및 추론(Reason)하며, 목적 지향적인 물리적 모터 동작(Act)을 자율적으로 수행하는 지능 시스템을 의미합니다.
모라벡의 역설 (Moravec's Paradox) : 피지컬 AI의 필연적 출현 이유
1980년대 한스 모라벡(Hans Moravec), 로드니 브룩스(Rodney Brooks), 마빈 민스키(Marvin Minsky) 등이 발견한 로보틱스의 오랜 역설입니다. "인간에게 체스, 미적분 계산, 법률 문서 요약과 같은 고차원적 논리 추론은 컴퓨터에게 극도로 쉬운 문제인 반면, 3세 유아가 직관적으로 해내는 장난감 쥐기, 미끄러운 바닥에서 균형 잡기, 문고리 돌리기와 같은 신체적 감각운동(Sensorimotor) 제어는 컴퓨터에게 상상을 초월할 정도로 어렵다."는 법칙입니다.
인간의 추론 능력은 수천 년의 문화적 산물이지만, 물리적 환경 속에서 생존하고 움직이는 감각운동 신경계는 10억 년 이상의 진화 과정을 거쳐 뇌의 무의식적 기저에 고도로 압축되어 있기 때문입니다. 피지컬 AI는 바로 이 '10억 년의 진화적 장벽'을 컴퓨터 공학적으로 해결하고자 하는 궁극의 인공지능 분야입니다.
과거의 전통적 AI 연구는 물리적 육체가 없는 순수한 소프트웨어 공간인 '비체화 지능(Disembodied AI)'에 집중되었습니다. 체스를 두고, 텍스트를 번역하며, 신용카드 사기를 탐지하는 작업은 기호(Symbol)와 정형 데이터만 다루면 충분했습니다. 그러나 이러한 AI는 컵 하나를 식기세척기에 넣거나, 쓰러진 의자를 세우는 등 지극히 단순한 물리적 과업조차 단 1 밀리미터도 실행할 수 없었습니다. 피지컬 AI는 인공지능의 지능이 비로소 '물리적 몸체'를 얻어 현실의 시공간과 맞물려 돌아가는 진정한 지능의 완성형이라 할 수 있습니다.
전통적인 AI vs 피지컬 AI 핵심 비교 분석
데이터 도메인, 환경적 불확실성, 피드백 메커니즘, 시스템 안전성의 근본적 차이
[표 1] 전통적 AI(Digital/Disembodied) vs 피지컬 AI(Physical/Embodied) 심층 비교
| 비교 기준 차원 | 전통적인 AI (Digital / Disembodied AI) | 피지컬 AI (Physical / Embodied AI) |
|---|---|---|
| 1. 본질적 실체 (Embodiment) | 비체화(Disembodied): 물리적 실체 없음. 서버, 클라우드, 브라우저 가상 환경에서만 동작. | 체화(Embodied): 로봇 팔, 이족보행 휴머노이드, 바퀴, 특수 그리퍼 등 실제 물리적 기구부 보유. |
| 2. 입력 데이터 도메인 | 정적·이산적 기호 데이터: 텍스트 토큰, 데이터베이스 레코드, 정적 2D 이미지 픽셀, 사전 수집 로그. | 다감각 실시간 연속 신호: 멀티뷰 RGB-D 카메라, 3D LiDAR 포인트클라우드, 관절 각도/각속도, 토크, 촉각(Tactile), 관성(IMU). |
| 3. 출력 결과물 (Output) | 정보 및 디지털 심볼: 텍스트 생성(Chat), 분류 라벨(Classification), 회귀 수치, 추천 리스트, 픽셀 생성. | 물리적 모터 동작: 액추에이터 전류/전압, 6자유도 말단장치 속도/궤적(SE(3)), 관절 임피던스 제어 토크. |
| 4. 운영 환경의 특성 | 결정론적 혹은 통제된 샌드박스: 메모리 공간, 웹 API, 명확한 규칙 기반의 게임판(체스, 바둑). | 비결정론적 개방 환경(Open-World): 중력, 마찰, 비선형 변형체, 가려짐(Occlusion), 예측 불가능한 사람의 개입. |
| 5. 시간 제약 및 루프 속도 | 비동기적·유연한 지연 시간: 응답이 0.5초~3초 늦어져도 사용자 체감 외 치명적 사고 없음. | 초고속 하드 실시간성: 보행 균형(500~1000Hz), 모터 토크 피드백(100~500Hz), 시각 제어(20~50Hz). 지연 시 즉시 낙하/파손. |
| 6. 실패의 파급력 및 안전성 | 논리적 오답 및 할루시네이션: 잘못된 문장 출력, 분류 오류. Ctrl+Z 혹은 재실행으로 즉각 원상 복구 가능. | 물리적 파괴 및 인명 사고: 유리잔 파손, 기계 하드웨어 소손, 작업자 충돌 등 되돌릴 수 없는 불가역적 피해 발생. |
| 7. 학습 데이터 수집 비용 | 인터넷 규모의 무한 크롤링: 수십조 개의 텍스트 웹 문서, 수십억 장의 이미지 데이터를 자율 크롤링 가능. | 물리적 시간과 공간의 병목: 인간의 원격 조종(Teleoperation), 하드웨어 마모, 1대 로봇의 하루 24시간 물리 제약. |
| 8. 지능의 성격 | 추상적 연역/귀납 추론 지능: 언어 이해, 수학 풀이, 프로그래밍 코드 작성, 통계적 패턴 인식. | 체화된 감각운동 상호작용 지능: 공간 인지, 물리적 인과 추론, 물체 조작(Manipulation), 적응 보행(Locomotion). |
[인포그래픽 1] 전통적 AI vs 피지컬 AI 시스템 구조 및 데이터 인터랙션 루프 비교
가상 메모리 내부에서 단방향 혹은 정적 루프로 완결되는 전통적 AI와 달리, 피지컬 AI는 물리적 센서-두뇌-액추에이터-물리 환경이 양방향 초고속 폐루프로 맞물려 작동합니다.
최신 LLM의 발전이 피지컬 AI 발전을 촉발시킨 7대 핵심 이유
대규모 파운데이션 모델이 어떻게 수십 년간 닫혀 있던 로보틱스의 물리적 병목을 해소했는가
수십 년간 로봇공학은 기구학(Kinematics), 동역학(Dynamics), 고전 제어이론, 그리고 협소한 단일 과업 강화학습(Single-task RL)의 틀에 갇혀 있었습니다. 실험실의 조명이 조금만 바뀌거나 탁자 위 컵의 모양이 달라지면 로봇은 작동을 멈추었습니다. 그러나 최신 대규모 언어 모델(LLM)과 멀티모달 시각-언어 모델(VLM)의 등장은 로보틱스에 사상 초유의 인지적 혁명을 촉발시켰습니다.
상식적 세상 지식(World Knowledge)과 물리적 어포던스의 획득
인터넷 상의 방대한 인류 텍스트와 비디오 데이터를 학습한 LLM은 명시적으로 물리 방정식을 코딩해주지 않아도 상식적인 물리 법칙(Commonsense Physics)을 내재적으로 터득했습니다. 예를 들어 스펀지는 액체를 흡수할 수 있고, 유리잔은 떨어뜨리면 깨지며, 냄비는 뜨거울 수 있으므로 손잡이를 잡아야 한다는 지식을 이미 알고 있습니다.
실제 적용 예시: 로봇에게 "책상 위의 사이다를 치워줘"라고 지시할 때, 과거 로봇은 캔을 엎질러 액체가 흐르면 아무런 대처를 하지 못했습니다. 반면 LLM 두뇌를 가진 로봇은 '사이다=액체'이며 '티슈나 걸레로 닦아야 한다'는 인과 지식을 즉각 연상하여 도구를 찾아오는 상식적 추론을 펼칩니다.
사고 사슬(Chain-of-Thought)을 통한 장기 작업 분해(Long-Horizon Planning)
인간의 일상 지시는 "부엌 정리해 줘", "점심 식사 테이블을 차려줘"와 같이 매우 추상적이고 고차원적입니다. LLM의 사고 사슬(CoT) 추론 역량은 이러한 추상 명령을 수십 개의 원자적 물리 작업(Atomic Action Steps)으로 정밀하게 분해(Decomposition)하는 능력을 완벽히 제공합니다.
작업 분해 시퀀스: "아침 식사 준비" → [1. 냉장고로 이동] → [2. 문 손잡이 파지 및 개방] → [3. 우유 팩 식별 및 그립] → [4. 식탁으로 이송] → [5. 컵 위치 파악 후 따르기]. 과거에는 수만 줄의 상태 머신(FSM) 코드가 필요했던 과정이 LLM의 제로샷 추론으로 단번에 생성됩니다.
의미론적 계획과 물리적 실현 가능성의 접지 (SayCan & Affordance Grounding)
디지털 공간에서만 존재하는 LLM은 물리적 로봇의 배터리 잔량, 팔의 가동 범위, 물체의 존재 여부를 모른 채 헛소리(할루시네이션)를 할 수 있습니다. 이를 극복한 것이 구글의 SayCan과 같은 어포던스 물리 접지 메커니즘입니다.
* PLLM: 사용자의 자연어 지시에 대해 해당 행동이 언어적으로 타당한 확률
* Paffordance: 로봇의 가치 함수(Value Function)가 평가한 현재 물리 상태 s에서 해당 행동의 성공 가능 확률
이 결합 메커니즘을 통해 LLM은 "사과를 집어라"는 명령에 대해 테이블에 사과가 없으면 불가능한 파지를 억지로 시도하는 대신 "냉장고 문을 열어 사과를 찾는다"는 현실적 대안 행동을 스스로 결정할 수 있게 되었습니다.
자연어 코드 합성 기반의 제어기 직접 구동 (Code as Policies & Eureka)
LLM의 강력한 파이썬 코드 생성 능력은 로봇의 시각 인식 API와 저수준 모션 제어기를 직접 잇는 '정책으로서의 코드(Code as Policies, CaP)' 패러다임을 확립했습니다. "블록을 원형으로 배치하라"는 지시가 내려지면 LLM은 삼각함수(math.cos, math.sin)와 OpenCV 라이브러리를 호출하는 파이썬 제어 루프를 실시간으로 작성하여 로봇 팔을 움직입니다.
나아가 엔비디아의 Eureka는 LLM이 대규모 물리 시뮬레이션 환경에서 로봇의 강화학습용 보상 함수(Reward Function)를 자율적으로 코딩하고, 실패 결과를 성찰(Reflection)하여 진화적으로 보상 코드를 개선함으로써 인간 엔지니어가 수개월 걸려 튜닝하던 펜 돌리기, 가위질 등의 초고난도 손동작을 단 며칠 만에 학습시켰습니다.
미지의 개방 환경(Open-World)에서의 제로샷(Zero-shot) 일반화
수십억 개의 시각-언어 데이터셋으로 사전 학습된 거대 멀티모달 모델은 한 번도 로봇 학습에 사용된 적이 없는 낯선 물체(처음 보는 캐릭터 인형, 신형 텀블러, 독특한 색상의 찻잔)와 달라진 조명, 어수선한 배경을 마주하더라도 물체의 의미와 형태를 즉각 식별합니다. 이로써 연구실의 엄격한 통제 환경을 벗어나 실제 가정과 병원, 건설 현장 등 비정형 개방 환경으로 로봇이 진출할 수 있는 일반화 능력이 열렸습니다.
실시간 시각 피드백 기반의 자가 수정 및 오류 복구 (ReAct & Closed-Loop)
전통적인 로봇은 물건을 집으려다 미끄러져 떨어뜨리면 다음 단계로 넘어가 허공에 물건을 놓는 어처구니없는 오류를 범했습니다. 반면 멀티모달 LLM은 ReAct (Reason + Act) 프레임워크를 기반으로 "행동 → 시각 관찰(Observation) → 상태 평가 → 자기반성(Reflection)"의 실시간 폐루프를 수행합니다. 물체가 미끄러지면 즉시 "파지 실패 인지"를 도출하고 다시 자세를 고쳐 잡는 자율적 예외 복구(Error Recovery)가 가능해졌습니다.
VLA(비전-언어-행동) 통합 엔드투엔드 모델로의 기술적 수렴
과거에는 '시각 인식 모듈', '자연어 분석기', '경로 계획기', '역기구학 모션 제어기'가 각각 분리되어 연결 부위마다 심각한 정보 손실과 지연이 발생했습니다. 최신 LLM 기술은 트랜스포머 아키텍처 하나 안에 이미지 픽셀, 텍스트 명령, 그리고 로봇의 모터 연속 행동(Action Vector)을 단일 신경망 가중치로 통합 처리하는 VLA(Vision-Language-Action) 시대를 열었습니다.
[인포그래픽 2] LLM이 촉발한 Physical AI 7대 혁신 동력 매트릭스
비전-언어-행동 (VLA) 및 차세대 물리 파운데이션 모델 아키텍처
이산 토큰화(RT-2)부터 연속 흐름 매칭(π₀)과 액션 청킹(Action Chunking)까지
LLM의 언어 토큰 생성 방식을 로봇 제어에 결합하는 방식은 지난 2~3년간 극적인 기술 진화를 거쳤습니다. 초기에는 로봇의 모터 동작을 단어 토큰처럼 이산화(Discretization)하여 다루었으나, 최신 아키텍처는 고주파 연속 모터 신호를 직접 생성하는 확산 모델(Diffusion) 및 흐름 매칭(Flow Matching)으로 진화했습니다.
Google DeepMind RT-2 : 이산 토큰화 VLA
구글은 PaLM-E 및 PaLI-X VLM 모델의 단어 사전(Vocabulary)에 로봇의 6자유도 말단 위치 및 그리퍼 개폐 상태를 256개 빈(Bin)으로 이산화한 행동 토큰(Action Tokens)을 직접 추가했습니다.
* 장점: 거대 언어 모델의 사전 학습 가중치를 그대로 전이하여 뛰어난 제로샷 상식 추론 발휘.
* 한계: 1~3Hz 수준의 느린 추론 속도, 이산화로 인한 미세한 연속 힘(Force) 제어 한계.
Physical Intelligence π₀ : 연속 흐름 매칭 VLA
스타트업 Physical Intelligence가 제안한 π₀(Pi-Zero)는 이산 토큰화 대신 흐름 매칭(Flow Matching) 기반 확산 정책(Diffusion Policy)을 트랜스포머 백본에 융합했습니다.
* 장점: 50Hz 이상의 초고속 연속 궤적 생성, 빨래 접기·박스 조립 등 복잡하고 부드러운 다자유도 작업 완벽 수행.
* 혁신: 언어 모델의 '두뇌'와 모터 제어의 '소뇌'를 완벽히 통합.
액션 청킹 (Action Chunking, ACT) 기술의 결정적 역할
인간은 컵을 잡을 때 매 1밀리초마다 "팔을 1mm 뻗을까 말까"를 생각하지 않고, '부드럽게 손을 뻗어 잡는 1초 분량의 연속 동작 궤적'을 한 덩어리로 인출합니다. 스탠퍼드 대학교의 Tony Z. Zhao 등이 발표한 ACT (Action Chunking with Transformers)는 VLA 모델이 단일 시점의 액션이 아니라 향후 K스텝(예: 30~50스텝)의 행동 시퀀스 청크를 한 번에 예측하고, 시간적 앙상블(Temporal Ensembling)로 스무딩함으로써 모터 진동을 억제하고 50Hz 고주파 제어를 달성했습니다.
[표 2] 주요 글로벌 피지컬 AI 파운데이션 모델 비교
| 모델명 | 개발사 / 기관 | 기저 아키텍처 | 행동 생성 방식 | 주요 특징 및 대표 작업 |
|---|---|---|---|---|
| RT-2 (Robotic Transformer 2) | Google DeepMind | PaLM-E / PaLI-X (55B) | 256-Bin 이산 토큰화 (1~3Hz) | 인터넷 지식 기반 기호 일반화 및 도구 즉흥 사용 |
| π₀ (Pi-Zero) | Physical Intelligence | 멀티태스크 VLA 트랜스포머 | Flow Matching 확산 정책 (50Hz) | 빨래 개기, 식기세척기 정리, 신발 정리, 상자 조립 |
| GR00T (Generalist Robot 00T) | NVIDIA | 멀티모달 트랜스포머 + Isaac Sim | 연속 궤적 디퓨전 + GPU 가속 | 이족보행 전신 조작, 휴머노이드 전신 협응 제어 |
| OpenVLA | Stanford / UC Berkeley | Llama-2 (7B) + DINOv2 / SigLIP | 이산 토큰화 + Lora 파인튜닝 | 완전 오픈소스 7B VLA, 다양한 로봇 하드웨어에 배포 가능 |
| ACT / Diffusion Policy | Stanford / Columbia Univ. | C-VAE / Diffusion Transformer | Action Chunking (50Hz) | 원격 조종 50회만으로 요리, 지퍼 잠그기 등 정밀 조작 학습 |
글로벌 테크 기업 및 연구소의 피지컬 AI 개발 격전지
실리콘밸리와 글로벌 로보틱스를 뒤흔드는 피지컬 AI 상용화 레이스
Project GR00T & Jetson Thor
휴머노이드 전용 AI 파운데이션 모델 'GR00T', 800 TFLOPS 연산력을 자랑하는 차세대 온디바이스 SoC 'Jetson Thor', 그리고 대규모 병렬 물리 시뮬레이터 'Isaac Sim / Omniverse'를 제공하며 전 세계 피지컬 AI 생태계의 운영체제(OS)이자 두뇌 역할을 장악하고 있습니다.
Optimus (Gen 2 & 3)
FSD(Full Self-Driving) 자율주행 차량 수백만 대에서 검증된 엔드투엔드(End-to-End) 비전 신경망 기술을 휴머노이드에 직접 이식했습니다. 자체 제작한 고성능 액추에이터와 11~22자유도 촉각 손을 장착하고 기가팩토리 공정에 실전 투입되고 있습니다.
Figure 02
OpenAI와 독점 제휴하여 차세대 멀티모달 음성-비전 모델을 휴머노이드에 탑재했습니다. 인간과 실시간으로 대화하며 자신의 행동 이유를 설명하고, BMW 스파르탄버그 공장의 차체 시트 메탈 조립 공정에 성공적으로 배치되었습니다.
NEO Beta
소프트 기어리스 케이블 구동 모터를 채택하여 인간 가정 환경에 가장 안전한 체중 30kg대의 경량 휴머노이드를 제작했습니다. 자연어 음성 대화와 인간 친화적 파지 역학을 바탕으로 가정용 비서 로봇 시장을 겨냥하고 있습니다.
All-Electric Atlas
기존 유압식 아틀라스를 완전히 퇴역시키고 360도 무한 회전 관절을 갖춘 전기식 아틀라스를 공개했습니다. 도요타 연구소(TRI)와의 대규모 행동 모델(LBM) 협력 및 현대차 제조 라인 배치를 통해 압도적인 동역학 하드웨어에 파운데이션 두뇌를 결합하고 있습니다.
π₀ (Pi-Zero) Platform
카네기멜론, 스탠퍼드, UC 버클리의 최정상 로보틱스 석학들이 설립한 스타트업으로, 특정 로봇 하드웨어에 종속되지 않고 어떤 이종 로봇에도 적용 가능한 '로봇용 안드로이드 OS' 격의 범용 파운데이션 정책을 개발 중입니다.
피지컬 AI의 기술적 도전 과제와 미래 전망
물리적 할루시네이션, 제어 주파수 이원화, Sim-to-Real 간극의 극복 과제
피지컬 AI가 이룩한 비약적 성취에도 불구하고, 이를 안전하고 신뢰할 수 있는 방식으로 대량 보급하기 위해서는 다음 4가지 핵심적인 공학적 병목을 해결해야 합니다.
1. 물리적 할루시네이션(Physical Hallucination)과 결정적 안전성
챗봇의 텍스트 오답은 화면의 문자 오류에 불과하지만, 피지컬 AI의 행동 오답은 사람을 치거나 물건을 부수는 치명적 물리 사고로 이어집니다. 따라서 파운데이션 모델의 확률론적 추론 위에 제어 배리어 함수(Control Barrier Functions, CBF) 및 실시간 3D 볼륨 충돌 회피 알고리즘을 결정론적 안전 필터(Safety Filter)로 강제하는 계층형 아키텍처가 필수적입니다.
2. 인지(1~5Hz)와 초고속 모터 제어(500~1000Hz) 간의 주파수 격차
수십억 파라미터를 가진 거대 VLA 모델은 GPU 연산 제약으로 인해 초당 1~5회(1~5Hz) 정도만 추론할 수 있습니다. 반면 넘어지지 않고 보행 균형을 잡거나 부딪히는 순간 모터 전류를 빼는 임피던스 제어는 500~1000Hz의 초고속 실시간성을 요구합니다. 이를 해결하기 위해 대니얼 카너먼의 이론을 차용한 '시스템 1(저지연 고주파 소뇌 반사 신경망)'과 '시스템 2(고수준 대뇌 VLA 추론)'의 이원화 구조가 표준으로 정립되고 있습니다.
3. 물리적 데이터(Physical Data)의 희소성과 Sim-to-Real
텍스트 데이터는 웹 크롤링으로 무한히 확보되었으나, 실제 물리적 로봇의 조작 데이터는 인간의 텔레오퍼레이션에 의존해야 하므로 수집 단가가 극도로 높습니다. 엔비디아의 Isaac Sim, 구글의 Genesis 등 대규모 GPU 물리 시뮬레이터에서 도메인 랜덤화(Domain Randomization)를 통해 하루에 수백만 시간 분량의 가상 로봇 데이터를 합성하고 이를 현실로 전이하는 Sim-to-Real 기술이 핵심 돌파구로 연구되고 있습니다.
4. 미래 전망: 범용 물리 지능 (General Physical Intelligence, GPI)의 완성
결국 피지컬 AI는 특정 공장이나 가정에 종속되지 않고, 인간이 살아가며 일하는 모든 비정형 물리 환경에서 도구를 손에 쥐고 작업을 수행하는 범용 물리 지능(GPI)을 향해 수렴하고 있습니다. 디지털 세계의 AGI(범용 인공지능) 연구가 물리적 실체를 얻어 완성되는 지점이 바로 피지컬 AI의 종착지입니다.
로봇공학 및 인공지능 탐구 연계
AI Study 내 관련 연구 문서 및 지식 베이스 바로가기