원문 보기
휴먼노이드가 현대차 아이오닉 파 배터리 팩으로 걸어갑니다. 그리고 풀려 있는 나사를 하나 잡으려고 팔을 뻗는데 나사를 잘 못 찾습니다. 참고로 5배속이에요. 지난 8월 미국의 연구팀이 공개한 영상입니다. 걷는 건 됩니다. 잡는 것도 됩니다. 그런데 알아서 걸어가서 멈춘 다음에 나사를 여섯 번을 실패를 합니다. 평균적으로 13cm 이상 5차가 난다고 했습니다. 이상하죠? 일론머스크는 모델 S랑 모델 X를 단종하면서까지 그 라인에 옵티머스 로봇 생산 라인을 만들었는데 말입니다. 현실에서는 아직 로봇이 나사 하나도 못 잡는데 테슬라는 왜 자동차 라인을 통제로 덜어 버린 걸까요?
최근에 테슬라의 AI 보사장 아쇼크 엘리스와미는 이런 말을 했습니다. 자율주행 때랑 똑같이 우리 공장에서 일하는 사람들 전부가 데이터를 만들어 주고 있다. 옵티머스는 그 사람들이 일하는 걸 보면서 꽤 많은 걸 배울 수 있다. 지금 전 세계에서 거의 테슬라 혹은 현대차가 가장 공격적으로 준비하고 있는 건 그리고 이게 전기차랑 자유주행 그 이상의 돌풍을 불러일으킬 이유를 지금부터 말씀드리겠습니다. 여러분은 휴모노이드가 지금까지 덤블링하고 냉장기고 테슬라의 휴모노이드 옵티머스는 하트까지 해 버리는 걸 봐오셨습니다. 하지만 실제로 현실에선 여러분이 본 것과 차이가 큽니다.
예를 들어 주요 컨퍼런스 같은 데를가 보면요. 휴머노디들이 엄청나게 많잖아요. 근데 실제로 얘네들이 그렇게까지 예민하지가 않아요. 한 예로 우리나라에서 꽤 주목받고 있는 로봇 파운데이션 스타트업인 리얼 월드를 혹시 들어보셨나요? 로봇에서 손이 중요하다고 해서이 손을 엄청나게 열심히 연구하고 있는 스타트업입니다. 아카이에 올라온 논문에 따르면 이들이 만든 로봇의 과제 성공률이 86.8%였다고 8%였다고 합니다. 그런데 제가 작년에 SKT의 초대로 한번 올해는 엔비디아의 초대로 가서 한번 이들의 로봇을 봤었는데요. 논문의 벤치마크와 행사 데모가 좀 차이가 있었습니다.
실제로 한번 보실까요? 꼭자는 이렇게 말할 수도 있겠죠. 우리나라 스타트업이라 그렇지 해외에서는 훨씬 더 잘한다. 예를 들어서 뭐 피규 AI라든가 스킬드 AI 그리고 뭐 테슬라 옵티머스 포스턴 다이네믹스랑은 하늘과 땅창이다. 뭐 맞는 말입니다. 그럼에도 불구하고 우리나라에서 나름대로 주목을 받고 있는 스타트업임에도 불구하고 기술력이 가장 최근 기준으로도이 정도라는 거죠. 하물며 이들은 손만 연가고 있는데도 불구하고 아직까지 저렇게 많이 실패를 합니다. 실제 상황에서는이 손뿐만 아니라 그 손을 사람 크기의 몸에 딱 붙여 가지고 걷고 멈추고 균형 잡고 정확한 위치에서 가지고 나사를 잡고 조일 수도 있어야지 공장에서 사람을 대체할 거 아니에요.
그런데 얼마 전에 미국의 연구팀이 인트에서 보셨던 아이오닉 5 배터리 팩을 놓고 사람 크게 휴모이드한테 시켜 보니까 결과가 너무나 충격적이었단 거예요. 연구팀이 실험에서 사용한 유니터리 H12는 키가 178cm, 몸무게는 70kg입니다. 거의 성인 남성 정도의 체격이죠. 연구팀이 비교 대상으로 언급한 조금 작은 유니트 3 G1은 키가 132cm 정도에 35kg인데 아이오닉 파이버의 배터리 팩이 가로가 1.2m, 세로가 2m에 무게가 약 400kg이라고 합니다. 이런 배터리 팩을 사람용 작업장에서 다루려면 팔이 닿는 범위랑 힘 때문에 사람 크기의 휴모이드가 필요하거든요.
연구팀의 로봇을 천장에는 장치에 매달고 균형은 외부에서 잡아주고 시각 시스템으로만 평가를 해 봤습니다. 그러니까 성공률이 96.7%였어요. 위에서 누가 잡아 주니까 성공률이 높았던 거예요. 그리고 이번에는 로봇이 두 다리로 서서 작업을 시켜 봤더니 86.7%로 급락했습니다. 위에서 잡아주는 사람이 없으니까 이렇게 떨어진 거예요. 하지만이 정도면 아직까지 좀 쓸만하죠. 문제는 지금부터입니다. 휴머노이드가 위에서 잡아주는 것도 없고 스스로 배터리 앞까지 걸어가서 볼트를 잡게 했더니 통곡률이 36.7%로 7%로 급락했습니다. 더 충격적인 점은 시뮬레이션에서는 흔들림이 0.1mm 1mm 정도였는데 실제 현장에선 흔들림이 4.6mm 16배나 커졌습니다.
6m 걸어간 다음에 나사를 집으라고 시켰는데 멈춘 위치가 13cm나 어긋났고요. 참고로 나사를 보고 손으로 집기까지 평균 75초가 소모됐습니다. 인간 작업자가 걸어가 가지고 5초면 정확하게 할례를 75초 이상 걸리고 그것도 정확도가 36% 수준이란는 뜻입니다. 그러면 지금까지 본 슈모노이드들은 사기냐? 답이 없는 거냐? 요건 아니에요. 이게 핵심인데요. 테슬라는 여기서 접근법이 조금 다릅니다. 앞선 연구들이랑 사례들에서 알 수 있는 건 시뮬레이션에서 잘되는 것과 현실에서 잘되는 건 완전히 다른 문제라는 거예요. 머리에 달린 카메라로 나사 위치를 한번 딱 보고 손을 뻗는 단순한 방식은 시뮬레이션에서는 30번 중에서 30번 성공을 했는데 실제 로봇에선 30번 중에서 단 한 번도 성공을 하지 못했어요.
카메라랑 로봇 몸의 보정 5차 때문에 나사의 위치가 5cm 이상 틀어졌고 실제 몸은 시뮬레이션보다 훨씬 더 많이 흔들렸기 때문입니다. 여기서 주황색의 마른모가 실패한 건데요. 리얼드 즉 현실 세계에선 어마어마하게 실패를 하는 걸 볼 수가 있죠. 그래서 연구팀은 손바닥의 카메라로 나사를 계속 이렇게 보면서 손의 위치를 계속 수정을 했고 그제서야 여기 매달아 놓은 상태에서 성공률이 96.7%까지 7%까지 올라간 겁니다. 즉 이게 핵심인데요. 꼭 기억하셔야 돼요. 현실에서 로봇이 직접 움직이면서 만들어내는 5차를 현실에서 다시 고쳐야 했던 겁니다.
자, 혹시 뭔가 안 느껴지시나요? 현실에서 만들어진 오차를 현실에서 다시 고쳐됩니다. 테슬라도 이걸 알고 있습니다. 머스크는 7월 실적 발표에서 인터넷에서 보는 화려한 휴모노이드 시연 상당수가 미리 짜 놓은 동작이거나 사람이 원격으로 조정한 것이며 아무 일이나 시켜도 해내는 법령 휴모노인드는 아직까지는 없다고 말했거든요. 옵티머스도 아직까지 완성된 로봇이 아니란 얘기예요. 실제로 촬영 실정 기준으로 뉴스가 나왔는데 테슬라의 옵티머스가 주당 수백 만들기 시작했는데 정작 로봇은 간단한 작업 하나를 배운데도 며칠 걸리고 대부분 그냥 산내 테스트 용으로만 쓰고 있다고 이렇게 정보가 왔더라고요.
그러면 대체 테슬라는 아이 상황에서 뭘 믿고 모델 X랑 모델 S 라인까지 없애면서 크게 배팅을 하는 걸까요? 데이터를 만드는 방식이에요. 테슬라는 지난해부터 사람이 모션 캡처 장비를 읽고 로봇을 직접 조정하는 방식에서 작업자가 카메라가 달린 장비를 착용하고 실제 이르라는 모습을 대량으로 찍는 방식으로 데이터 수집을 바꿨어요. 사람이 일하는 모습 자체를 학습 데이터로 만들겠다는 겁니다. 쉽게 말씀드려서 지금 제가 막 이렇게 움직이고 있잖아요. 저한테 모션 캡처를 달에 움직이다 보면 이렇게 움직이는 데이터를 학습을 할 수 있으니까 훨씬 더 좋은 데이터가 쌓이게 되겠죠.
아쇼크 엘르스와미는 공장 노동자의 작업 데이터를 이용하는 동시에 옵티머스 아카데미에서 많은 옵티머스들이 직접 작업을 반복하게 학습시키겠다고 설명을 했습니다. 요게 중요합니다. 테슬라는 자율쟁을 하면서 현실 세계의 데이터의 중요성을 그 누구보다도 뼈자르게 깨달은 기업이에요. 현실에서 만들어진 오차를 현실에서 고쳐야 된다는 걸 가장 잘 알고 있고 그 피드백 루프를 어떻게 돌려야 될지 잘 주행으로 경험을 하게 됐겠죠. 테슬라는 이미 사람이 어떻게 일하는지를 모션 캡처를 통해서 학습하고 배우고 있고 그다음에 로봇이 직접 해보다가 실패하는 것까지 다시 데이터를 쌓고 있습니다.
연구실이 아니라 얘네들은 실제 공장에 넣어 가지고 대량으로 학습시키고 있는 겁니다. 남들이 실험실에서 하고 있을 때 현장을 경험한 로봇이 나오게 되는 거죠. 실제로 이게 큰 도움이 되는데요. 올해 M비디아랑 유시버클리 메릴랜드 대의 연구팀은 약 2만 시간에 1인칭 사람 작업 영상으로 로봇을 먼저 학습시킨 다음에 실제 로봇 데이터로 추가 학습을 시켜 봤는데요. 그 결과 평균 성공률이 2%에서 무려 56%까지 올라갔습니다. 테슬라에서는 이미 하이젠버그에서도 나왔듯이 하루에 수백년치 분량의 데이터를 모을 수 있다고 강조를 해온 회사입니다.
지금까지 도로에서 하던 일을 공장에서도 하는 거죠. 매일매일 수십 수백년치의 데이터가 쌓이게 될 겁니다. 저는 테슬라 옵티머스의 진짜 경쟁력이요 손재주나 뭐 시연 영상 같은 것들에 있다고 생각하지 않습니다. 사람이 일하는 공장에서 실제 사람의 데이터를 옵티머스에 투입하고 실패 데이터를 쌓고 다시 학습하는 피드백 루프를 만드는 겁니다. 저는 현실 세계 데이터 피드백 루프를 실제 공장에서 얼마나 빨리 돌릴 수 있느냐가 앞으로 휴모노이드의 경쟁력을 가를 것이라고 생각을 합니다. 그리고 테슬라는 이미요 구조를 만들기 시작한 거고요. 그나마 요거를 중국이 추격을 하고 있고 독3사 중에서는 BMW가 여기에 관심이 많습니다.
미국의 스타트업인 퓨어 AI가 BMW 공장에 배치가 됐었고 피규어 3 휴모노이드가 실제 공장에서 조립을 돕고 있거든요. 우리나라는 보슨 다이나믹스가 정말로 잘하는 거 같은데 보스 다이나믹스는 적어도 한국의 현대 기아차 공장에선 저럴 수가 없다 보니까 아 한국에서 경험치를 쌓울 곳이 없다는 건 좀 아쉬운 부분이에요. 보슨 다이나믹스는 아틀라스가 실수했을 때 스스로 또 바로 잡는 동작까지 만들어줬거든요. 실제로 부품을 넣을 때 2cm만 틀어져도 걸리거나 넘어지거나 뭐 그러다 보니까 선망 기준으로 자신의 위치를 재고 어떻게 옮기는지 계획을 자고 떨어뜨린 부품을 바닥에서 다시 씹도록 만들어 뒀어요.
현시대는 에트 AI의 시대잖아요. 아마이 다음은 많은 거장들이 말하듯이 피지컬 AI 시대가 될 겁니다. 지금 에이전트 AI 시대에 최대 수혜자가 엔비디아랑 삼전닉스 엔트로픽 오픈 AI 아니겠습니까? 피지컬 레이아의 최대 수 기업은 아마 여기에 더해 가지고 테슬라가 될 가능성이 좀 높지 않을까 조심스럽게 생각을 해 봅니다. 그런데 현실 데이터를 사실 아무리 많이 모으더라도 요것만으로 끝나는 건 아니거든요. 로봇은 내가 지금 팔을 뻗으면 다음 순간에 물체가 어떻게 움직일지 예측을 할 수 있어야 됩니다. 여기서 월드 모델이 등장합니다.이 이 과정에서 얄르쿤이라든가 페이페 리교수 같은 사람들을 추측으로 피지컬 AI가 물리법칙과 인과 관계를 스스로 학습해서 미래 상태를 예측하고 시뮬레이션을 할 수 있게 도와주는 월드 모델 스타트업들이 제2의 엔트로픽과 오픈 AI가 될 겁니다.
젠슨왕은 이런 말을 남겼습니다. 피지컬 AI와 로보틱스가 다음 산업 혁명을 가져올 것이다. 요즘에 기술 뉴스들은 넘쳐납니다. 그런데 테슬라를 이야기할 때 실제로 휴모노이에드와 자유주행을 연구해 본 석박사 현업자들의 분석과 보도자료를 복부한 기사는 깊이가 같을 수가 없습니다. 하이젠버그는 AI, 반도체, 배터리 로봇을 실제로 연구하고 일하는 사람들이 논문과 특허 그리고 기업의 자료들을 직접 보고 쓰고 있습니다. 뉴스에서 무슨 일이 일어났는지를 봤다면 하이젠버그에서는 왜 그런지, 어디서 막히는지, 그다음엔 뭘 봐야 하는지까지 보실 수 있습니다.
뉴스를 많이 보는 것보다 중요한 건 같은 뉴스를 보고도 남들이 못 보는 걸 보는 것이라고 생각합니다. 그런 분들께 하이젠모그는 큰 도움이 될 겁니다. SOD에서 기술을 쉽게 접하셨다면 그거보다 훨씬 더 기쁜 세계가 궁금한 분들. 그런 분들은 고정 댓글을 통해서 한번 읽어 보시면 좋겠습니다. [콧방귀]
Comments 0