저자: SoftdragonSOD진행자 · 한국인
요약 보기
휴머노이드 로봇(옵티머스 등)은 시뮬레이션에서는 잘 작동하지만 실제 현장에서는 나사 잡기 등 정밀 작업 성공률이 크게 떨어진다. 현실 오차를 현실 데이터로 고치는 피드백 루프가 핵심이며, 테슬라는 공장 작업 데이터 수집으로 이를 선점하고 있다는 주장. 피지컬 AI 시대 수혜 기업으로 테슬라를 꼽고 중국·BMW 등의 추격도 언급. 영상 중 특정 자산의 향후 1~3개월 가격 방향에 대한 직접 예측은 없음.
다듬은 글
휴머노이드가 현대차 아이오닉 파이브 배터리 팩 쪽으로 걸어갑니다. 그리고 풀려 있는 나사를 하나 잡으려고 팔을 뻗는데, 나사를 잘 못 찾습니다. 참고로 이 영상은 5배속입니다. 지난 8월 미국의 연구팀이 공개한 영상입니다. 걷는 건 됩니다. 잡는 것도 됩니다. 그런데 알아서 걸어가서 멈춘 다음 나사를 잡는 데 여섯 번이나 실패합니다. 평균적으로 13cm 이상 오차가 난다고 합니다. 이상하죠? 일론 머스크는 모델 S와 모델 X를 단종하면서까지 그 라인에 옵티머스 로봇 생산 라인을 만들었는데 말입니다. 현실에서는 아직 로봇이 나사 하나도 제대로 못 잡는데, 테슬라는 왜 자동차 라인을 통째로 덜어 버린 걸까요?
최근 테슬라의 AI 부사장 아쇼크 엘루스와미는 이런 말을 했습니다. 자율주행 때와 똑같이, 우리 공장에서 일하는 사람들 모두가 데이터를 만들어 주고 있다. 옵티머스는 그 사람들이 일하는 걸 보면서 꽤 많은 걸 배울 수 있다. 전 세계에서 지금 테슬라와 현대차가 가장 공격적으로 준비하고 있고, 이것이 전기차와 자율주행을 넘는 돌풍을 불러일으킬 이유를 지금부터 말씀드리겠습니다.
여러분은 휴머노이드가 덤블링을 하고, 냉장고를 나르고, 테슬라의 옵티머스는 하트 모양까지 만드는 걸 보셨을 겁니다. 하지만 실제 현실에서는 여러분이 본 것과 차이가 큽니다.
주요 컨퍼런스에 가 보면 휴머노이드가 엄청나게 많습니다. 그런데 실제로 이들은 그렇게까지 정교하지 않습니다. 한국에서 주목받는 로봇 파운데이션 스타트업 리얼월드를 들어보셨을 겁니다. 로봇에서 손이 중요하다고 보고 손을 열심히 연구하는 곳입니다. 아카이브에 올라온 논문에 따르면 이들이 만든 로봇의 과제 성공률은 86.8%라고 합니다. 제가 작년 SKT 초청, 올해 엔비디아 초청으로 이들의 로봇을 직접 봤는데, 논문의 벤치마크와 행사 데모에는 차이가 있었습니다.
물론 이렇게 말할 수도 있습니다. 우리나라 스타트업이라 그렇지, 해외에서는 훨씬 더 잘한다. 피규어 AI나 스킬드 AI, 테슬라 옵티머스, 보스턴 다이내믹스와는 하늘과 땅 차이다. 맞는 말입니다. 그럼에도 한국에서 나름 주목받는 스타트업의 기술력이 최근 기준으로 이 정도라는 겁니다. 손만 연구하고 있는데도 아직 이렇게 많이 실패합니다. 실제 상황에서는 손뿐 아니라, 그 손을 사람 크기의 몸에 붙이고, 걷고, 멈추고, 균형을 잡고, 정확한 위치에서 나사를 잡고 조일 수 있어야 공장에서 사람을 대체할 수 있습니다.
얼마 전 미국 연구팀이 아이오닉 5 배터리 팩을 사람 크기의 휴머노이드에게 시켜 봤는데, 결과가 충격적입니다. 실험에 쓴 유니트리 H1은 키 178cm, 몸무게 70kg으로 거의 성인 남성 체격입니다. 비교 대상으로 언급된 작은 유니트리 G1은 키 132cm에 35kg입니다. 아이오닉 5 배터리 팩은 가로 1.2m, 세로 2m, 무게 약 400kg입니다. 이런 배터리 팩을 사람용 작업장에서 다루려면 팔이 닿는 범위와 힘 때문에 사람 크기의 휴머노이드가 필요합니다.
연구팀은 로봇을 천장 장치에 매달아 균형을 외부에서 잡아 주고, 시각 시스템으로만 평가해 봤습니다. 그러자 성공률은 96.7%였습니다. 위에서 잡아 주니 성공률이 높았던 겁니다. 이번에는 로봇이 두 다리로 서서 작업하게 했더니 86.7%로 급락했습니다. 위에서 잡아 주는 사람이 없으니 떨어진 겁니다. 그래도 이 정도면 아직 쓸 만합니다.
문제는 지금부터입니다. 매달린 장치도 없이 스스로 배터리 앞까지 걸어가서 볼트를 잡게 했더니 성공률은 36.7%로 급락했습니다. 더 충격적인 건 시뮬레이션에서는 흔들림이 0.1~1mm 정도였는데, 실제 현장에서는 흔들림이 4.6mm로 16배나 커졌다는 점입니다. 6m를 걸어간 뒤 나사를 집으라고 시켰는데 멈춘 위치가 13cm나 어긋났습니다. 나사를 보고 손으로 집기까지 평균 75초가 걸렸습니다. 사람 작업자는 5초면 끝낼 일을 75초 이상 걸리고, 그마저도 정확도가 36% 수준이라는 뜻입니다.
그렇지는 않습니다. 핵심은 이것입니다. 테슬라는 여기서 접근법이 다릅니다. 앞선 연구와 사례에서 알 수 있는 것은, 시뮬레이션에서 잘되는 것과 현실에서 잘되는 것은 완전히 다른 문제라는 점입니다. 머리에 달린 카메라로 나사 위치를 한 번 보고 손을 뻗는 단순한 방식은 시뮬레이션에서는 30번 중 30번 성공했지만, 실제 로봇에서는 30번 중 단 한 번도 성공하지 못했습니다. 카메라와 로봇 몸의 보정 오차 때문에 나사 위치가 5cm 이상 틀어졌고, 실제 몸은 시뮬레이션보다 훨씬 많이 흔들렸기 때문입니다.
그래서 연구팀은 손바닥 카메라로 나사를 계속 보면서 손 위치를 계속 수정했습니다. 그제서야 매달아 놓은 상태에서 성공률이 96.7%까지 올라갔습니다. 이게 핵심입니다. 현실에서 로봇이 직접 움직이며 만들어 내는 오차는, 현실에서 다시 고쳐야 한다는 것입니다.
혹시 뭔가 느껴지시나요? 현실에서 생긴 오차는 현실에서 다시 고쳐야 합니다. 테슬라도 이걸 알고 있습니다. 머스크는 7월 실적 발표에서 인터넷에서 보는 화려한 휴머노이드 시연 상당수가 미리 짜 놓은 동작이거나 사람이 원격으로 조종한 것이며, 아무 일이나 시켜도 해내는 범용 휴머노이드는 아직 없다고 말했습니다. 옵티머스도 아직 완성된 로봇이 아니라는 얘기입니다. 실제로 보도에 따르면 테슬라 옵티머스는 주당 수백 대를 만들기 시작했지만, 정작 로봇은 간단한 작업 하나를 배우는 데도 며칠이 걸리고, 대부분 사내 테스트용으로만 쓰이고 있다고 합니다.
그러면 테슬라는 지금 상황에서 무엇을 믿고 모델 X와 모델 S 라인까지 없애면서 크게 배팅하는 걸까요? 데이터를 만드는 방식입니다. 테슬라는 지난해부터 사람이 모션 캡처 장비를 입고 로봇을 직접 조종하던 방식에서, 작업자가 카메라가 달린 장비를 착용하고 실제로 일하는 모습을 대량으로 찍는 방식으로 데이터 수집을 바꿨습니다. 사람이 일하는 모습 자체를 학습 데이터로 만들겠다는 겁니다. 쉽게 말해 사람이 움직이는 데이터를 학습하면, 훨씬 좋은 데이터가 쌓이게 됩니다.
아쇼크 엘루스와미는 공장 노동자의 작업 데이터를 활용하는 동시에, 옵티머스 아카데미에서 많은 옵티머스가 직접 작업을 반복하며 학습하도록 하겠다고 설명했습니다. 이게 중요합니다. 테슬라는 자율주행을 하면서 현실 세계 데이터의 중요성을 그 누구보다 뼈저리게 깨달은 기업입니다. 현실에서 생긴 오차는 현실에서 고쳐야 한다는 걸 가장 잘 알고, 그 피드백 루프를 어떻게 돌려야 하는지도 경험으로 알고 있습니다. 테슬라는 이미 사람이 일하는 방식을 모션 캡처로 학습하고 있고, 로봇이 직접 해 보다 실패하는 데이터까지 쌓고 있습니다. 연구실이 아니라 실제 공장에 넣어서 대량으로 학습시키고 있는 겁니다. 남들이 실험실에서 하고 있을 때, 현장을 경험한 로봇이 먼저 나오게 되는 거죠.
이 방식은 실제로 효과가 있습니다. 올해 엔비디아와 UC 버클리, 메릴랜드대 연구팀은 약 2만 시간 분량의 1인칭 사람 작업 영상으로 로봇을 먼저 학습시킨 뒤, 실제 로봇 데이터로 추가 학습을 시켰습니다. 그 결과 평균 성공률이 2%에서 무려 56%까지 올라갔습니다. 테슬라는 이미 하루에 수백 년 치 분량의 데이터를 모을 수 있다고 강조해 온 회사입니다. 지금까지 도로에서 하던 일을 공장에서도 하는 겁니다. 매일 수십, 수백 년 치의 데이터가 쌓이게 될 겁니다.
저는 테슬라 옵티머스의 진짜 경쟁력이 손재주나 시연 영상에 있다고 생각하지 않습니다. 사람이 일하는 공장에서 실제 사람의 데이터를 옵티머스에 투입하고, 실패 데이터를 쌓고, 다시 학습하는 피드백 루프를 만드는 것입니다. 현실 세계 데이터 피드백 루프를 실제 공장에서 얼마나 빨리 돌릴 수 있느냐가 앞으로 휴머노이드의 경쟁력을 가를 것이라고 생각합니다. 테슬라는 이미 그 구조를 만들기 시작했습니다. 중국도 이를 추격하고 있고, 독일 3사 중에서는 BMW가 관심이 많습니다. 미국 스타트업 피규어의 휴머노이드는 BMW 공장에 배치돼 실제 조립을 돕고 있습니다.
한국에서는 보스턴 다이내믹스가 정말 잘하는 것 같지만, 아쉽게도 적어도 한국의 현대기아차 공장에서는 아직 그런 실전 경험을 쌓을 곳이 없습니다. 보스턴 다이내믹스는 아틀라스가 실수했을 때 스스로 바로잡는 동작까지 만들었습니다. 실제로 부품을 넣을 때 2cm만 틀어져도 걸리거나 넘어지기 때문에, 시각 기준으로 자신의 위치를 재고 어떻게 옮길지 계획을 세우고, 떨어뜨린 부품을 바닥에서 다시 집도록 만들어 뒀습니다.
지금은 에이전트 AI의 시대입니다. 그다음은 많은 거장들이 말하듯 피지컬 AI의 시대가 될 겁니다. 지금 에이전트 AI 시대의 최대 수혜자가 엔비디아, 삼성전자, SK하이닉스, 앤트로픽, 오픈AI 아니겠습니까? 피지컬 AI의 최대 수혜 기업은 여기에 더해 테슬라가 될 가능성이 높지 않을까 조심스럽게 생각해 봅니다.
다만 현실 데이터를 아무리 많이 모아도 그것만으로 끝나지는 않습니다. 로봇은 지금 팔을 뻗으면 다음 순간 물체가 어떻게 움직일지 예측할 수 있어야 합니다. 여기서 월드 모델이 등장합니다. 얀 르쿤이나 페이페이 리 교수 같은 사람들이 주장하듯, 피지컬 AI가 물리 법칙과 인과 관계를 스스로 학습해 미래 상태를 예측하고 시뮬레이션할 수 있도록 돕는 월드 모델 스타트업들이 제2의 앤트로픽과 오픈AI가 될 수도 있습니다.
젠슨 황은 이런 말을 남겼습니다. "피지컬 AI와 로보틱스가 다음 산업 혁명을 가져올 것이다."
요즘 기술 뉴스는 넘쳐납니다. 하지만 테슬라를 이야기할 때, 실제로 휴머노이드와 자율주행을 연구해 온 석박사 현업자들의 분석과 보도자료를 복사한 기사의 깊이가 같을 수는 없습니다. 하이젠버그는 AI, 반도체, 배터리, 로봇을 실제로 연구하고 일하는 사람들이 논문과 특허, 기업 자료를 직접 보고 씁니다. 뉴스에서 무슨 일이 일어났는지 보셨다면, 하이젠버그에서는 왜 그런지, 어디서 막히는지, 그다음엔 무엇을 봐야 하는지까지 보실 수 있습니다. 뉴스를 많이 보는 것보다 중요한 건, 같은 뉴스를 보고도 남들이 못 보는 것을 보는 것이라고 생각합니다. 그런 분들께 하이젠버그는 큰 도움이 될 겁니다. SOD에서 기술을 쉽게 접하셨다면, 그보다 훨씬 더 깊은 세계가 궁금한 분들은 고정 댓글을 한번 읽어 보시면 좋겠습니다.
Comments 0