2026 AI·빅데이터 전문가 초청특강 정리 · 발표 KIST 인공지능연구단장 임화섭 교수님
언어 모델은 텍스트를 토큰으로 다루고, VLM은 여기에 이미지를 얹고, VLA는 여기에 다시 로봇의 행동까지 토큰으로 밀어 넣는다. 세 모달리티를 한 줄에 세워 놓으면 무엇이 왜 어려운지가 곧바로 보인다. 데이터가 텍스트에서 영상으로, 다시 로봇 궤적으로 넓어질수록 획득 비용은 지수적으로 뛴다. 이 강연은 그 비용 구조 위에서 세계 최고 수준의 VLA가 어디까지 왔는지, 그리고 그 무거운 모델을 로봇 몸통 안 작은 칩에서 어떻게 실시간으로 돌리는지를 훑는다.
01. VLA 동향 — 토큰으로 세상을 읽고 몸을 움직이는 모델
현 상용 최신 모델 소개: π0.7, GR00T N1.7, Helix 02
먼저 감을 잡기 위해 현재 선두 모델들의 데모부터 본다. Physical Intelligence의 π0.7, NVIDIA의 GR00T N1.7, Figure의 Helix 02. 오이를 썰고, 작은 부품을 집고, 거실을 정리한다. 불과 2~3년 전만 해도 상상하기 어렵던 장면인데, 뒤에서 보겠지만 이 매끈한 데모와 실제 현장 성공률 사이에는 아직 큰 간극이 있다.
학습 한 번에 돈이 얼마나 드나 — OpenVLA로 보는 현실
오픈소스로 공개된 OpenVLA가 규모를 가늠하는 좋은 기준이다. A100 80GB 64대로 Open X-Embodiment 데이터셋(약 97만 에피소드)을 14일 동안 돌려 만들었다. 학습에 쓴 GPU만 대략 16억 원어치다. 추론용으로 A100 8대 서버를 따로 두면 다시 2억 원 정도가 붙는다. 전력도 넉넉해야 하고, 97만 에피소드는 인터넷에서 긁어 오는 게 아니라 사람이 로봇을 원격조작해 하나하나 쌓아야 하니 로봇도, 사람도, 공간도 있어야 한다.
그래서 처음부터 새로 학습하는 건 사실상 빅테크의 몫이다. 대신 공개 모델을 파인튜닝하는 길이 열려 있다. 옷 개기 같은 특정 작업만 시키고 싶다면 그 동작을 100~300개쯤 모아 추가 학습시키면 어느 정도 동작한다. LoRA 방식이면 A100 40GB 한 대로도 가능하지만 설정에 따라 성능이 오락가락하고, 제대로 하려면 A100 80GB 8대(약 2억 원)로 풀 파인튜닝을 하는 편이 빠르다. 요지는 하나다. 생각보다 돈이 많이 든다.
LLM · VLM · VLA는 무엇이 다른가
핵심 차이는 입력과 출력에 있다. LLM은 텍스트가 들어가 텍스트가 나온다. VLM은 이미지를 잘게 쪼개 시각 토큰으로 만들고 텍스트와 섞어 넣어, 장면을 보고 설명하거나 질문에 답한다. VLA는 여기서 한 걸음 더 간다. 시각 입력에 언어 명령을 더하되, 로봇 자신의 관절값과 센서값까지 함께 넣어 다음에 취할 행동을 관절 각도나 엔드이펙터 명령으로 뱉는다.
실제 VLA는 카메라를 하나만 쓰지 않는다. 정면 시점 하나에 손목 근처 카메라(리스트 캠) 둘을 더해 보통 세 개, 최근에는 직전 프레임 영상까지 넣는다. 사람은 손에 카메라가 없지만 로봇은 손 밑에서 무엇이 벌어지는지 봐야 하기 때문이다. 출력인 관절값도 초기에는 이산값(int 양자화)이었다가, 요즘은 실수값(float 양자화)로 더 자연스럽고 정확하게 만들어 낸다.
모델은 작은데 왜 이렇게 어려운가
역설이 하나 있다. VLA는 로봇에서 실시간으로 돌아야 해서 10B를 넘기지 않는다. 무거우면 추론이 길어지고, 추론이 100ms만 넘어가도 로봇 제어가 흔들린다. 요즘은 4B급까지 내려와 15Hz 안팎으로 도는 수준이다. 그런데도 학습 난이도는 셋 중 가장 높다. 이유는 정렬이다. LLM은 레시피가 성숙해 GPU만 확보하면 어느 정도 학습된다. VLM은 언어의 모호함이 영상과 잘 맞물렸는지가 관건이지만 데이터셋과 지표가 갖춰지면 풀린다. VLA는 영상·텍스트·관절값 세 가지가 동시에 정렬된 데이터가 있어야 한다.
이 삼중쌍을 모으는 일 자체가 병목이다. 로봇이 스스로 움직이지 않으니 오퍼레이터 인건비가 비싸고, 빅테크는 로봇 100대씩을 깔아 두고 데이터를 뽑는다. VLM은 이미지 한 장으로 끝나지만 VLA는 작업 전 과정을 비디오로 촬영해야 하니 데이터 양도 어마어마하다. 여기에 안전 문제가 얹힌다. 로봇이 작업 중 사고를 내면 손해가 크기 때문에, 사고 없이 데이터를 취득하는 것 자체가 난제다.
이 아래 표가 세 모델의 규모를 한눈에 정리해 준다. 데이터 획득 비용은 텍스트(웹 크롤링) ≪ 이미지–텍스트(웹+라벨) ≪ 로봇 궤적(물리 실험) 순으로 벌어진다.
항목 | LLM | VLM | VLA |
토큰 파이프라인 | 텍스트 → BPE → 정수 토큰 ID → 다음 토큰 예측 | 이미지 → ViT 패치(16×16) → 시각+텍스트 토큰 → 언어 응답 | 이미지+명령 → 시각·언어 토큰 → 행동 토큰 → 로봇 제어 |
데이터 형태 | 웹문서·책·논문·코드(순수 텍스트) | 이미지–캡션, 이미지–질문–답변(크롤링+사람 라벨) | (이미지, 언어 명령, 로봇 시연 궤적) 삼중쌍 — 실물 로봇 수집 |
데이터량(대표) | ~15조 토큰 (Llama 3, 책 ~6억 권 분량) | ~50억 이미지–텍스트 쌍 (LAION-5B) + 지시 데이터 | ~100만 에피소드 (Open X-Embodiment, 22종 로봇) |
GPU·학습시간 | Llama 3 70B: H100 수천 장 × 수개월 ≈ 640만 H100-시간 | LLaVA 계열: A100 8~128장 × 수일~수주 | OpenVLA 7B: A100 64장 × ~14일 |
학습 난이도(병목) | ★★★☆☆ 레시피 성숙·연산 스케일 | ★★★★☆ 이종 모달리티 정렬·환각 제어 | ★★★★★ 실물 데이터 수집·안전성·Sim2Real |
그럼에도 모든 빅테크가 달려드는 이유는 분명하다. 언어 모델만으로는 생산성의 한계가 보이기 시작했고, 결국 똑똑해진 모델이 실제 화면과 현장에서 손을 써야 부가가치가 나온다는 판단 때문이다.
시스템 1과 시스템 2 — 로봇에도 본능과 이성이 있다
VLA를 이해할 때 처음 만나는 키워드가 시스템 1과 시스템 2다. 원래 심리학 용어인데, 사람은 길을 걸을 때 뒤꿈치 착지 각도나 발목 토크를 계산하지 않는다. 물을 마실 때도, 운전 중 딴생각을 할 때도 마찬가지다. 발표자의 표현으로 사람 행동의 95%는 센싱에 반응할 뿐 머리를 복잡하게 쓰지 않는다. 여행 계획처럼 오래 따져야 하는 일만 시스템 2가 맡는다.
로봇도 같은 틀로 나눈다. 비전-언어 모델이 시각과 명령을 근거로 무엇을 할지 계획하는 ‘두뇌’(시스템 2)라면, 디퓨전 트랜스포머가 그 지시와 현재 자세를 받아 모터를 즉각 제어하는 ‘운동 신경’(시스템 1)이다. 다만 발표자는 이 대응이 엄밀하지는 않다고 선을 긋는다. 사람의 시스템 1은 외부 신호에 반응하는 반면, 여기서 말하는 시스템 1은 그냥 액션만 만들어 내는 단계에 가깝다. 개념을 빌려 설명하는 비유로 받아들이면 된다.
행동을 만드는 두 방식: Autoregressive vs 디퓨전
액션을 생성하는 방식도 두 갈래다. Autoregressive는 액션을 토큰으로 하나씩 순차 생성한다. LLM 백본을 그대로 쓸 수 있어 학습 효율이 높지만, 토큰을 차례로 뽑느라 지연이 길어질 수 있다. 디퓨전 계열은 노이즈에서 시작해 반복적으로 잡음을 걷어 내며 액션 청크 전체를 한 번에 만든다. 멀티모달 액션 분포를 표현하기 좋고 궤적이 부드럽지만, 추론할 때 디노이징 스텝을 여러 번 밟아야 한다.
발 동그라미를 펜을 떼지 않고 한 번에 그리면 시작점과 끝점을 맞추느라 잔뜩 긴장해야 하고 중간에 삐끗하기 쉽다. 반대로 여러 번 겹쳐 스케치한 뒤 가장 가운데를 따 내면 훨씬 깔끔하다. 앞이 Autoregressive, 뒤가 디퓨전이다. 예전엔 Autoregressive이 많았지만 지금은 디퓨전과 플로우 매칭이 사실상 표준으로 자리 잡았고, 공개 모델 대부분이 이 방식이라 이를 가져다 쓰는 쪽도 자연히 따라간다. 구글 정도만 여전히 Autoregressive을 고수하는 것으로 보인다.
기억: 어디까지 했는지 아는 로봇
테스트하다 보면 로봇이 방금 끝낸 동작을 비슷한 상황이 오면 또 반복하는 문제가 있다. 영상만 보고 반사적으로 손이 나가는 것이다. 정렬 문제의 한 단면인데, 자기가 어디까지 했는지 모르기 때문이다. Physical Intelligence의 Memory VLA는 과거 행동 이력(텍스트 기억)과 과거 장면 영상(시각 기억)을 함께 넣어, 10분 넘는 장기 복합 작업에서도 하위 태스크 순서를 유지하고 상태 변화에 적응한다. LLM이 대화 맥락을 기억하듯, VLA에도 단기·장기 기억이 중요해진다.
최근 트랜드에서 가장 큰 화두: 일반화
피지컬 AI에서 아직 안 풀렸고 모두가 원하는 것이 일반화다. LLM이 GPT-3 무렵부터 제로샷으로 새 과제를 해내듯, VLA도 가르치지 않은 일을 해내길 바란다. 여기엔 두 축이 걸려 있다. 작업 일반화는 파인튜닝 없이도 조금 다른 상황을 처리하는 능력이고, 신체 일반화(크로스 임바디먼트)는 같은 지능을 팔 길이가 다르거나 아예 다른 형태의 로봇에 옮겨도 같은 작업을 해내는 능력이다. 특히 크로스 임바디먼트, 한 몸에 있던 지능을 다른 몸에 넣는 문제는 아직 잘 되지 않는다.
해법은 크게 데이터 기반과 구조·표현 기반으로 갈린다. 왼쪽(데이터 기반)은 다양한 작업·물체·로봇 데이터를 무조건 많이 넣어 밀어붙인다. 작업 확장형 스케일링(π0.5, Toyota LBM)과 다기종 로봇 데이터 확장(Open X-Embodiment)이 여기 속한다. 강화학습·피지컬 인텔리전스 계열이 선호하고, 잘나가는 기업은 조 단위 투자를 받아 데이터를 쓸어 담는다. 오른쪽(구조·표현 기반)은 데이터 효율을 고민한다. 작업을 서브태스크로 잘게 쪼개면 순서가 바뀌어도 대응이 되고, 작업 전에 언어나 CoT로 한 번 생각하게 만들면 낯선 작업에도 여지가 생긴다(Hi Robot, Embodied CoT). 신체 쪽은 사람–로봇–이종 로봇을 공통 action/token/latent 공간으로 정렬하는 방향이다(FAST, RDT-2, WholeBodyVLA). 발표자의 진단은 현실적이다. 돈이 없는 팀이 도전할 수 있는 길은 사실상 오른쪽뿐이고, 왼쪽의 무한 데이터는 아직 쉽지 않다.
모델 계보 한 장으로 보기
모델 | 파라미터 | 액션 | 제어 Hz | 특징 |
RT-2 (Google) | 12B / 55B | AR (토큰) | ~3 | PaLM-E/PaLI-X + 로봇 액션 토큰화 |
OpenVLA (Stanford·Berkeley·Toyota·Google·PI·MIT) | 7B | AR (토큰) | ~6 | Llama2 + DinoV2/SigLIP, 오픈소스 |
π0 (Physical Intelligence) | 3.3B (PaliGemma) | Flow matching | 50 | 디퓨전 기반 액션 청크, 멀티태스크 |
GR00T N1.6 (NVIDIA) | 3B | Diffusion | 15~30 | 듀얼 시스템 + SONIC WBC 연동 |
Gemini Robotics 1.5 (Google) | 비공개 (수십B급) | AR | 비공개 | Gemini VLM 기반, 멀티 로봇 |
π0.6 (Physical Intelligence) | 5B | Flow + RL | 50 | Gemma3 기반, RL 토큰 추출, 경험 기반 학습 |
Helix 02 (Figure) | 7B | 계층적 | 7~9 / 200 / 1k (S2/S1/S0) | 3계층 시스템 0/1/2 |
GR00T N1.7 (NVIDIA) | 3B | Flow matching | 15~30 | Cosmos-Reason2/Qwen3-VL, EgoScale 데이터, 조작 스케일링 |
π0.7 (Physical Intelligence) | 5B | Flow matching + CFG | 50 | 전략 메타데이터 조건부 학습, 창발적 조합 일반화 |
한국형 휴머노이드는 어디에 쓰나
KIST는 공공기관이라 사람의 일자리를 대체하는 방향으로는 갈 수 없다. 대신 위험하고 힘들지만 꼭 필요한 작업을 겨눈다. 이차전지 양극재 공정이 대표적이다. 수산화리튬 같은 소재는 한 번 폐에 들어가면 부종으로 치명적일 수 있어, 작업자가 방진복을 입고 화장실도 못 간 채 8시간을 버틴다. 조선업처럼 발에 걸리는 것 많고 강도가 센 현장도 숙련공 고령화와 신규 인력 단절을 겪는다. 이런 고위험·고강도·고부가가치 영역의 인력난을 휴머노이드로 메우자는 것이다.
현장에 넣으려면 풀어야 할 세 가지
동향을 여기까지 정리하면 남는 것은 실전 과제다. 휴머노이드를 실제 공장에 넣으려 할 때 세 가지 벽이 있다.
첫째는 클라우드 의존과 통신 지연이다. 거대 모델을 서버에 두면 수백 ms 지연이 생기고, 통신이 끊기면 안전 리스크가 커진다. 발에 뭔가 걸리거나 물건이 날아올 때 네트워크가 1초만 늦어도 그 자리에서 사고다. 그래서 온디바이스 추론이 필요하다. 둘째는 데이터의 구조적 기근이다. 원격조작으로 데이터를 모으는 데는 한계가 있고, 실세계 물리 상호작용 정보가 부족하다. 그래서 비디오 학습이 필요하다. 셋째는 물리 상호작용의 한계다. 언어 모델의 추상적 명령과 로봇의 구체적 물리 제어 사이 괴리 탓에, 고중량물을 다루다 로봇이 넘어지기도 한다. 그래서 물리속성 학습이 필요하다. 이 세 갈래가 2부와 3부의 주제로 이어진다.
02. 비디오 기반 물리세계 학습 — 사람 영상에서 로봇의 몸짓을 꺼내다
공장 데이터는 취득이 유난히 어렵다. 보안 때문에 촬영조차 까다롭고, 데이터를 모으다 장비가 고장 나거나 사고가 나면 손해가 더 크다. KIST가 진행 중인 포스코 과제도 결국 원래 작업자의 영상만으로 최대한 학습하는 방향을 택했다. 다행히 휴머노이드는 사람과 구조가 비슷해, 사람 영상으로 배우기에 유리하다.
전신 동작: 넘어지지 않는 게 먼저다
사람과 로봇은 무게 중심도, 각 관절이 낼 수 있는 토크도 다르다. 그래서 동작을 그대로 흉내 내는 게 아니라, 일단 자기 몸부터 잡는 전신 제어(WBC, Whole-Body Control)를 해야 한다. 넘어지는 순간 로봇도 다치고 주변도 다치기 때문이다. 참고로 휴머노이드는 한 대에 1억 원이 넘고, 연구단이 커스텀 제작한 로봇은 10억 원대까지 가서, 통신이 끊겨 로봇이 이상 동작을 하면 사람이 달려가 붙잡는 게 현실이라고 한다. 로봇보다 몸이 다치는 게 낫다는 것이다.
SONIC(NVIDIA, 2025)은 1억 프레임 이상, 700시간 분량의 인간 모션캡처로 단일 통합 정책을 학습해 걷기·달리기·텔레오퍼레이션 등 다양한 전신 동작을 하나의 모델로 수행한다. 로봇·인간·하이브리드 모션을 공통 토큰 공간으로 통합해, VR 텔레오퍼레이션·비디오·VLA 등 여러 입력을 같은 인터페이스로 처리한다. Unitree G1 실로봇에서 50개 동작 궤적을 제로샷 Sim-to-Real로 100% 성공시켰다.
HDMI(CMU, 2025)는 단안 RGB 비디오에서 사람과 물체의 궤적을 추출·리타겟하고, RL 정책으로 로봇과 물체 상태를 동시에 추적한다. 통합 물체 표현, 잔차 행동 공간, 범용 상호작용 보상이라는 세 가지 설계로 다양한 접촉 기반 태스크에 일반화한다. G1에서 문 통과를 67회 연속 성공했고, 실세계 6종·시뮬레이션 14종의 로코매니퓰레이션을 제로샷으로 실행했다.
SUGAR(베이징대, 2026)는 태스크별 보상 설계나 참조 모션 없이, 다양한 사람 비디오를 휴머노이드 로코매니퓰레이션 스킬로 바꾸는 확장형 프레임워크다. 운동 사전 자동 추출 → 물리 기반 정제 → 계층적 정책 증류의 3단계로 노이즈 많은 모션을 학습 신호로 만든다. G1에서 데이터 규모에 따라 성능이 확장되고, 외란 상황에서도 작업을 유지한다.
여기서 실무적으로 중요한 지점이 있다. 로봇이 전신 균형을 잡느라 팔을 끝까지 뻗지 않는다는 점이다. 사람이 작업할 때는 엔드이펙터, 곧 손끝 위치가 핵심인데 로봇은 중심 잡기가 우선이라 손이 목표 지점까지 안 가는 경우가 잦다. 그래서 최근 논문들은 전신 동작을 따라가면서도 손을 더 정확히 가져가게 하는 데 초점을 맞추고 있다.
손 작업: 사람 비디오에서 창발하는 전이 능력
Physical Intelligence의 2025년 연구는 흥미로운 관찰을 내놓는다. VLA 사전학습 데이터의 다양성이 커질수록, 인간 비디오에서 로봇 태스크로의 전이 능력이 창발적으로 나타난다는 것이다. 다양한 로봇·환경으로 사전학습한 모델은 인간과 로봇의 잠재 표현이 자연스럽게 정렬돼, 사람이 작업하는 영상을 넣으면 로봇 성능이 올라간다. LLM 스케일링에서 창발 현상이 나온 것과 닮았고, VLA를 키울수록 새 능력이 튀어나올 거란 기대의 근거가 된다. 발표자는 이때 모델이 손 모양보다 물체에 어텐션을 집중했을 가능성을 짚는다. PI가 전통적으로 그리퍼와 양팔 위주라 다섯 손가락 손동작을 그대로 옮기긴 어렵고, 물체 중심으로 궤적을 학습했으리라는 추정이다. PI는 로봇 핸드에 카메라만 달고 사람이 그 핸드로 직접 작업하게 해, 엔드이펙터 위치만 잡으면 몸체가 무엇이든 상관없다는 식으로 신체 일반화를 주장하기도 한다.
EgoScale(NVIDIA, 2026)은 2만 시간 이상의 1인칭 인간 조작 비디오로 VLA를 사전학습해, 인간 데이터 규모와 검증 손실 사이에 로그–선형 스케일링 법칙이 성립함을 발견했다. 대규모 인간 사전학습에 소량의 인간–로봇 정렬 중간학습을 얹는 2단계 레시피로, 22-DoF 로봇 핸드에서 기존 대비 성공률을 54% 끌어올렸다. 인간 모션 프라이어가 임바디먼트에 독립적으로 전이돼 G1 등 다른 로봇에서도 30% 향상을 보였다. 방식을 뜯어 보면, 사람 손 관절 데이터를 직접 뽑아 로봇 핸드 관절에 매핑하고 액션 단에 밀어 넣는다. 비전-언어를 통과시키는 건 너무 어려워서, 최근 연구들은 아예 액션 단에 추가 데이터를 강제로 주입하는 식으로 우회한다.
데모는 매끈해 보여도, 성공률로 보면 물체를 들고 내리는 아토믹 작업조차 본 적 있는 환경에서 약 70%, 처음 보는 환경에선 10%도 안 나온다. 여러 작업을 이어 붙인 컴포짓 작업은 수십% 수준이다. CNN이 80%, 트랜스포머가 90%를 넘겼던 초기 비전 과제보다도 낮은 셈이다. 아직은 되는 사례를 하나씩 보여 주며 가능성을 증명하는 단계이지, 현장에 바로 넣을 수준이 아니다.
예상 못한 상황과 비디오 월드 모델
로봇을 현장에 두면 학습하지 못한 상황이 반드시 온다. 배우지 않은 이상 상황에서 로봇은 하던 대로 밀어붙이거나, 정말 예측 불가능한 행동을 한다. 이런 위험 상황까지 학습시켜야 하는데, 실제로 불을 내거나 물건을 떨어뜨리며 데이터를 모을 수는 없다.
Cosmos 3.0(NVIDIA, 2026)이 이 지점을 겨눈다. 텍스트·이미지·비디오·오디오·액션을 단일 모델에서 다루는 최초의 오픈 옴니모달 비디오 월드 파운데이션 모델(Nano 16B, Super 64B)이다. Mixture-of-Transformers 구조로, 장면 이해·추론을 맡는 Reasoner 타워(자기회귀 VLM)와 확산 기반 비디오·액션 생성을 맡는 Generator 타워가 통합돼 물리 법칙에 따라 미래 장면을 예측한다. 충돌·화재·극한 환경 같은 희귀·위험 시나리오의 합성 데이터를 만들고 월드액션모델(WAM) 백본으로도 쓰여, 피지컬 AI 훈련·평가의 통합 인프라 역할을 한다. 불이 나거나 물건이 떨어지는 상황을 재현해 가상 데이터로 학습시키면, 실제로 겪지 않고도 대처를 배울 수 있다.
비디오만으로는 채울 수 없는 것: 물리량
비디오 학습의 힘은 스케일에서 온다. 인터넷 영상 수억 시간으로 사실상 무한한 사전학습이 가능하고, 숙련공 작업 영상을 로봇으로 전이하며, 모션 트래킹으로 전신을 제어하고, 월드 모델로 희귀 상황을 합성한다. 그러나 근본 한계가 있다. 힘·질량·마찰·접촉 상태는 영상에서 직접 관측되지 않는다. 사람과 로봇의 관절이 다른 체화 불일치, 접촉 순간의 변형·미끄러짐 같은 불확실성, 관절 토크·강성·온도 정보의 부재가 남는다. 장갑을 끼거나 감각이 마비된 손으로 물건을 집어 본 적이 있다면 안다. 촉각이 없으면 힘 조절이 안 된다. 물이 얼마나 든 컵인지, 미끄러운지 거친지에 따라 필요한 힘과 마찰이 달라지는데, 사람은 온도·냄새·힘까지 온몸의 센서로 느껴 이를 처리한다. 그래서 힘·토크·촉감 같은 물리 센서를 융합하고 시뮬레이션 기반 물리 추론을 결합하는 접근이 필요하다.
OmniVLA(Microsoft, 2025)의 해법이 영리하다. RGB 카메라에 적외선·mmWave 레이더·음향 마이크 어레이 같은 비시각 센서를 통합하되, 각 센서 데이터를 2D 히트맵으로 바꿔 RGB 위에 겹친다. 그러면 기존 VLA 백본을 그대로 쓸 수 있다. 새 센서 값을 액션 단에 바로 밀어 넣으면 나머지 데이터와 균형이 깨지지만, 영상으로 이미지화해 넣으면 파인튜닝만으로 수월하게 붙는다. 이렇게 온도 구분(적외선), 차폐된 물체 탐지(mmWave), 소리 기반 위치 추정(음향)까지, 사람 감각을 넘어서는 조작 과제에서 효과를 보였다.
UniTacHand(베이징대, 2025)는 촉각을 겨눈다. 인간 햅틱 글로브와 로봇 덱스트러스 핸드의 이질적인 촉각 데이터를 MANO UV맵이라는 공통 2D 표면 공간으로 투영해 통합 표현을 만든다. 대조 학습으로 단 10분 분량의 쌍 데이터만으로 잠재 공간을 정렬해, 인간 데이터만으로 학습한 정책을 로봇에 제로샷 전이한다. 인간–로봇 혼합 데이터로 공동학습하면 로봇 데이터만 쓸 때보다 성능과 효율이 모두 올라간다. 손끝뿐 아니라 전신으로도 같은 논리가 확장된다. 무거운 물건을 배에 걸치거나 몸을 밀어 큰 토크를 내는 동작을 사람은 자연스럽게 하지만, 로봇은 중심 잡기가 우선이라 몸통 토크를 잘 쓰지 못한다. 그래서 전신에 센서를 나눠 배치해, 가진 토크를 최대한 쓰고 에너지를 효율적으로 배분하는 전신 제어 연구가 함께 간다.
03. 온디바이스 최적화 — 로봇 몸통 안에서 실시간으로 돌리기
비디오로 행동도, 자극도, 물리량도 어느 정도 학습했다면 남는 질문은 하나다. 이 무거운 모델을 로봇에서 어떻게 실행하나. 배터리를 지고 다니는 로봇은 연산을 무한정 쓸 수 없다.
어떤 칩에서 돌릴 것인가
현재 현실적인 선택지는 많지 않다. NVIDIA Jetson 계열이 사실상 표준이고, 국산 NPU(모빌린트, 딥엑스)도 있지만 이들은 모바일향이라 연산량이 넉넉지 않다. 서버향 NPU는 별개다. 휴머노이드나 VLA를 목표로 하면 최소한 Jetson Orin에서 대략 18프레임 이상은 나와야 하고, GR00T N1.7은 자체 튜닝 시 약 15프레임 수준으로 알려져 있다.
하드웨어 | Jetson AGX Orin | Jetson Thor | Mobilint MLA 100/400(예정) | DeepX DX-M1/M2(예정) |
TOPS | 275 (INT8) | 1035 (INT8/FP8) | 80 / 320 (INT8) | 25 / 80 (INT8) |
TDP | 15~60W | 40~130W | 25 / 120W | 1~5W |
메모리 | 32/64GB LPDDR5 | 128GB LPDDR5X | 16/32GB LPDDR4X | 4/미정 GB LPDDR5X |
GPU/NPU | Ampere GPU | Blackwell GPU | 자체 NPU | 자체 NPU |
속도보다 정확도
발표자가 한 번 더 강조하는 지점이 있다. 무조건 빠른 게 능사가 아니라는 것이다. 사람의 반응 속도는 물건이 떨어질 때 0.1~0.2초, 가장 빠른 축이 0.1초 안팎이다. 0.1초면 10Hz, 넉넉잡아 15~18Hz면 사실 충분하다. 문제는 속도가 아니라, 그 짧은 시간 안에 예측한 궤적이 얼마나 정확한가다. 지금은 그 정확도가 부족한 게 진짜 병목이다. 뒤로 갈수록 예측 정확도가 떨어지니, 차라리 짧은 구간을 정확히 맞히는 편이 낫다.
그림 23. PI Real-Time Action Chunking — 움직이며 생각하기
Real-Time Action Chunking(Physical Intelligence, 2025)이 추론 지연 문제를 정면으로 다룬다. 추론과 행동을 시간적으로 병렬화하는 ‘thinking while moving’ 방식이다. 현재 액션 청크를 실행하는 동안 다음 청크를 비동기로 추론해, 수십억 파라미터 모델도 실시간 제어가 가능하다. 긴 시퀀스를 한 번에 뱉되 이전 궤적과 매끄럽게 이어 붙여, 추론 지연이 100ms를 넘어도 행동의 연속성과 정밀도를 유지한다. 예전 방식이 여러 후보를 평균 내다 물체를 툭 치고 지나갔다면, 이 방식은 앞뒤 궤적을 자연스럽게 연결한다. 옷 접기나 케이크 자르기처럼 빠른 동작에서 성능이 올라갔다.
경량화 3종 세트: 양자화, 프루닝, 캐싱
무엇이든 빨리, 가볍게 하면 좋다. VLA 경량화는 기존 AI 모델의 세 가지 방법론을 그대로 가져다 쓸 수 있다. 첫째가 양자화다. FP32를 FP16, FP8로 낮추면 메모리가 절반씩 줄고, 성능은 100%까지는 아니어도 98% 안팎을 유지하면서 속도가 2.5배까지 오른다. Jetson Thor는 FP4까지 지원한다.
QVLA(상하이자오퉁대, 2026)는 여기서 한 발 더 나간다. 자기회귀 기반 VLA를 양자화할 때 액션 채널마다 민감도가 크게 다르다는 점을 발견하고, 채널별로 비트를 차등 배정하는 혼합정밀도 양자화를 제안한다. 액션 에러 기반 민감도 분석으로 민감한 채널엔 16bit, 둔감한 채널엔 2bit를 준다. OpenVLA-OFT 기준 W4A4에서 원본 대비 98.9% 성능을 유지하며 메모리를 3.4배 줄이고 추론 속도를 1.49배 높였다.
EfficientVLA(상하이자오퉁대, 2025)는 학습 없이 VLA를 가속한다. 연산에 기여하지 않는 LLM 레이어와 비전 토큰을 프루닝하고, 디퓨전 단계의 캐싱을 결합한다. 어텐션 점수와 다양성 점수를 함께 고려해 중요한 비전 토큰만 남기면서 행동 예측 정확도를 지킨다. 디퓨전 기반 VLA인 CogACT에서 FLOPs를 29% 수준으로 줄이면서 평균 성공률을 74.2%로 유지했고(원본 74.8%), 추론 속도를 1.93배 높였다. 정리하면 액션 청킹, 양자화, 프루닝·캐싱을 상황에 맞게 섞어 넣는 것이 온디바이스 경량화의 뼈대다. 대개 정확도는 유지하면서 속도가 2배 안팎으로 오르고, 무엇보다 온디바이스에서 치명적인 메모리 문제를 줄여 준다.
마지막 프레임: The Bitter Lesson
임화섭 단장님은 Richard Sutton의 ’The Bitter Lesson’으로 큰 그림을 마지막에 보여주셨다. 사람이 규칙을 넣는 것보다, 데이터와 계산으로 스스로 학습하는 방법이 장기적으로 더 강해진다는 교훈이다. 알파고가 기보를 학습하다 알파제로에서 순수 강화학습으로 넘어갔고, 이제 바둑 고수들이 오히려 AI에게 배운다는 이야기가 이를 압축한다. 피지컬 AI도 데이터를 많이 넣으면 창발이 나온다는 노선을 미는 쪽이 있고, Physical Intelligence가 대표적이다.
다만 임화섭 단장님은 기업이라면 밑바닥부터 모델을 만들기보다, 공개 오픈소스 모델을 가져와 룰을 세우고 도구를 붙이는 ’하네스 엔지니어링’으로 실제 현장에 쓸 수 있는 것을 고민하는 편이 낫다고 조언하셨다. 똑똑한 사람이 늘 일을 잘하는 건 아니듯, 너무 자유로운 모델보다 정해진 경계 안에서 정확히 움직이게 만드는 설계가 현장에선 더 값지다. 반대로 대학과 연구소는 정공법 연구의 여지가 여전히 넓다. 처음 보는 환경 성공률이 10%도 안 나오는 지금, 풀 문제가 산더미다. 그리고 이 분야에도 언젠가 GPT-3.5 같은 순간이 온다면, 라마가 공개됐을 때처럼 많은 사람이 달려들어 판을 키울 것이다. 발표자는 그 순간이 올해 안에 올지도 모른다고 조심스럽게 내다본다. 다만 지금의 현실은 그 정도는 아니니, 너무 앞서가지 말라는 당부를 함께 남긴다.