저자: TickerSymbol:YOU진행자 · 외국인
요약 보기
엔비디아 Vera Rubin 플랫폼이 Blackwell 대비 랙 단위 와트당 토큰 처리량을 약 10배 높였다고 설명하며, 이는 트랜지스터 증가(약 70%)만으로는 불가능한 점프라고 주장. 핵심은 GPU 작업 분산과 랙 단위 공유 메모리(ICMS) 도입으로 HBM 의존도를 낮춘 설계. 이를 근거로 AMD의 HBM 용량 확대 전략은 물리적·경제적 한계에 부딪힐 것이며, AMD는 2027년쯤 새 랙 단위 메모리 아키텍처를 준비해야 한다고 전망. 마이크론(MU)은 HBM 수요로 실적 호조 중이라고 언급.
다듬은 글
장기 투자에서 좋은 종목을 찾는 핵심은 회사의 제품을 이해하는 데 있습니다. 새로운 핫 시장에 완벽한 제품을 가진 기업은 크게 성장하고, 그 시장에서 승자와 패자를 가려내는 것이 운에 기대지 않고 돈을 버는 가장 좋은 방법입니다. 그런데 엔비디아가 방금 AI 시대 전체에서 어떤 기업이 이기고 지는지를 바꿀 발표를 했습니다. 당연히 그 결과 어떤 AI 주식이 크게 이길지도 바뀌게 되죠. 시간이 소중하니 바로 본론으로 들어가겠습니다.
먼저 이번 영상은 조금 다릅니다. 꽤 기술적인 내용이고, 핵심 설계 선택에 대한 제 개인적인 의견도 일부 말씀드리는데, 모든 분께 맞는 내용은 아닐 수 있습니다. 그래도 설명은 최대한 쉽게 하고, 투자 관점에서 벗어나지 않으며, 제 의견과 데이터·사양·사실은 구분해서 전달하려고 노력하겠습니다.
이 영상을 지금 만드는 이유는, 엔비디아가 2주 전 CES에서 새로운 베라 루빈 플랫폼을 발표했는데, 월가의 반응, 아니 반응이 거의 없다는 점에 솔직히 놀랐기 때문입니다. 투자자들은 루빈이 블랙웰보다 성능이 크게 뛰었다는 것은 분명히 이해하고 있습니다. 그런데 다들 놓치고 있는 것은 엔비디아가 그 도약을 어떻게 이뤄냈는가입니다.
이게 중요한 이유는, 엔비디아가 루빈을 블랙웰보다 훨씬 빠르게 만든 데서 그치지 않았기 때문입니다. 단번에 AMD의 메모리 우위를 사실상 지워버렸고, 구글의 통합 경쟁력을 크게 약화시켰으며, AI 네트워킹에서 브로드컴의 우위까지 위협했습니다. 물론 이 모든 것을 한 영상에서 다룰 수는 없겠죠. 그랬다가는 몇 시간짜리 영상이 될 테니까요.
그래서 이번에는 가장 큰 축인 엔비디아 대 AMD에 집중하겠습니다. 두 회사의 서로 다른 설계 선택이 데이터센터 생태계의 미래에 무엇을 뜻하는지 보려고 합니다. 데이터센터는 두 회사 모두에게 핵심 수익원이니까요. 분명히 말씀드리면, 저는 AMD가 여기서 큰 곤경에 처해 있다고 봅니다. 그 이유를 명확하게 설명하겠습니다. 다만 그러려면 먼저 엔비디아가 왜 루빈을 이렇게 극단적인 방식으로 설계했는지 이해해야 합니다.
젠슨 황의 기조연설, 발표 후 참석한 젠슨 황과의 독점 질의응답, 그리고 여러 엔비디아 임원과의 인터뷰에서 제가 배운 내용을 정리해 드리겠습니다. 이 내용은 앞으로 몇 주 안에 전체 팟캐스트 에피소드로도 공개할 예정입니다. 투자자가 꼭 알아야 할 핵심은, 인공지능이 오늘날 여섯 가지 명확한 한계에 부딪히고 있고, 이것들을 해결하면 기업과 주주 모두에게 큰돈이 된다는 점입니다.
업계 용어를 최대한 빼고 여섯 가지 한계를 설명해 보겠습니다. 첫 번째는 모델 크기입니다. 프런티어 모델의 파라미터 수는 연간 약 10배씩 늘고 있습니다. 그래서 대형 언어 모델, 멀티모달 모델, AI 에이전트의 새 세대마다 학습에 필요한 연산 능력이 최대 수천 퍼센트까지 더 필요해집니다. 반면 무어의 법칙에 따르면 칩 성능은 지금 연간 약 30%만 향상됩니다. 그러니 칩 제조사가 트랜지스터를 더 빽빽하게 넣는 것만으로는 따라잡을 수 없습니다.
두 번째는 토큰 수입니다. 추론 모델은 몇 년 전에 비해 프롬프트당 훨씬 많은 토큰을 씁니다. 실제로 연구에 따르면 추론 토큰이 출력 토큰보다 10대 1로 많을 수 있습니다. 즉 추론 모델은 복잡한 문제를 단계로 나누고, 각 단계를 생각하고, 답을 검증하는 데 최종 답변 길이보다 10배나 많은 토큰을 쓰고 있다는 뜻입니다.
세 번째는 메모리 대역폭인데, 이번 영상의 큰 초점 중 하나입니다. 오늘날 모델의 한계는 GPU 자체의 성능이 아니라, 메모리에서 올바른 데이터를 얼마나 빨리 끌어와 GPU에 공급할 수 있느냐에 있습니다. 값비싼 GPU는 메모리에서 데이터가 오기를 기다리며 놀게 되는데, 이는 분명히 매출과 이익률에 나쁩니다.
네 번째도 메모리 대역폭입니다. 여러 랙에 걸친 수만 개의 GPU 사이에서 데이터를 얼마나 빨리 옮길 수 있느냐도 병목입니다. 시스템 전체의 속도는 문제를 붙잡고 있는 마지막 GPU가 마지막 답을 내기까지 걸리는 시간만큼만 빠릅니다. 이 부분에서 AMD와 엔비디아의 접근 방식은 아주 다르며, 이것도 이번 영상에서 다루겠습니다.
다섯 번째는 지연 시간, 즉 응답 시간입니다. 좋은 답을 내는 것만으로는 부족합니다. 사용자는 검색, 코딩, 투자, 게임, 로봇처럼 실시간이 필요한 분야에서 특히 빠른 답을 원합니다. 출력이 눈 깜짝할 사이에 나오지 않으면 AI 모델은 고장 났거나 불안하다고 느껴집니다. 사용자가 모델이 더 오래 생각하고 추론을 통해 더 나은 답을 주기를 기대하는 상황에서는 꽤 어려운 과제입니다.
여섯 번째는 어쩌면 가장 큰 병목일지도 모릅니다. 바로 전력, 냉각, 그리고 전력망입니다. AI 랙 하나당 수백 킬로와트가 필요하고, AI 때문에 데이터센터 전력 수요는 연 20~30%씩 늘어날 것으로 예상됩니다. 그런데 전력과 냉각 용량은 그에 훨씬 못 미칩니다. 그 결과 AI 시스템은 초당 토큰뿐 아니라 와트당, 랙당 토큰을 훨씬 많이 만들어내야 합니다.
이 과제들을 해결하면 큰돈이 된다는 말은 과장이 아닙니다. 예를 들어 저는 작년에 마이크론 테크놀로지, 종목 코드 MU에 대해 영상을 여러 편 만들었습니다. 그들의 고대역폭 메모리가 이런 과제 중 일부를 직접 겨냥하고 있기 때문입니다. 그 결과 이미 1년 넘게 앞의 물량이 매진된 상태입니다. 마이크론 주가는 최근 6개월간 250% 올랐고, 크리스마스 직전 제 영상 이후로만 거의 40% 올랐습니다. 자랑하려는 게 아닙니다. 제가 보여드리고 싶은 것은, 고성장 시장이 무엇을 필요로 하는지, 즉 방금 말씀드린 AI 병목 여섯 가지의 해법이 무엇인지 알아내는 것과 그 해법에 투자해 돈을 버는 것 사이의 직접적인 연결입니다.
그리고 모두가 다음 큰 것을 찾아 헤매는 동안, 현재의 시장 승자들은 마이크론처럼 여전히 말 그대로 돈을 찍어내고 있다는 점이 꽤 웃깁니다. 그런데 시장에는 여러분이 알아야 할 것이 하나 더 있습니다. 바로 여러분의 개인정보입니다. 수백 개의 온라인 데이터 브로커가 여러분의 개인 정보를 모아 팔면서 큰돈을 벌고 있습니다.
그래서 저는 1년 넘게 이 영상의 스폰서인 Delete Me를 쓰고 있고, 강하게 추천합니다. Delete Me는 손 하나 까딱하지 않아도 되는 구독형 서비스로, 온라인 데이터 브로커에서 여러분의 개인정보를 삭제해 줍니다. 분기별 개인정보 보고서로 그간의 작업 내역을 보여주는데, 지금까지 제 정보와 관련해 거의 5만 5천 개의 목록을 검토했다고 합니다.
그런데 정말 놀라웠던 것은, 데이터 브로커들이 제 개인정보만 가지고 있었던 게 아니라는 점입니다. 아내와 저희 가족 전체의 정보도 가지고 있었습니다. 이것도 제가 Delete Me를 좋아하는 이유 중 하나입니다. 가족 요금제가 있어서 온 가족이 각자의 개인정보를 더 잘 통제할 수 있거든요. 그러니 여러분과 가족의 개인정보 보호에 신경 쓰신다면, 제 코드 symbol20을 사용해 joindeleteme.com/syol20 에서 모든 개인 요금제를 20% 할인받으실 수 있습니다. 설명란의 링크로도 가능합니다.
Delete Me와 채널을 응원해 주시는 여러분께 감사드립니다. 자, 정리하면 오늘날 AI에는 여섯 가지 큰 과제가 있습니다. 모델 크기와 토큰 수의 폭발적 증가, 지연 시간·메모리·네트워크 대역폭의 큰 병목, 그리고 전력망에서 점점 구하기 어려워지는 전력입니다. 베라 루빈의 특별한 점은, 엔비디아가 이 모든 과제를 염두에 두고 여섯 가지 AI 칩을 함께 설계한 첫 사례라는 것입니다.
CES에서 엔비디아의 AI 인프라 제품 책임자인 조 델레어와 인터뷰할 기회가 있었습니다. 저는 여섯 개 칩 접근 방식 덕분에 루빈이 실제로 얼마나 더 많은 성능을 내는지 바로 물어봤습니다. 핵심 질문은 이것입니다. 블랙웰에서 루빈으로 가면서 랙 단위 성능이 얼마나 좋아지는지 말씀해 주시죠.
[답변 요지] 랙 단위 성능 지표로 와트당 메가와트당 초당 토큰 수가 약 10배 늘어납니다. 베라 루빈과 블랙웰을 비교하면, 함께 설계한 여러 칩 전체의 트랜지스터는 약 70% 많습니다. 하지만 와트당 성능은 10배를 얻습니다. 무어의 법칙만 적용했다면 1000%가 아니라 70% 도약에 그쳤을 겁니다. 이 모든 칩을 함께 설계하고 같이 작동하게 해서 성능을 극대화했다는 점이 이번 세대와 미래 세대의 가장 놀라운 부분입니다.
보통 루빈이 블랙웰보다 10배 빠르고 전력 효율도 높다는 것만으로도 영상 한 편이 나올 만한 주제입니다. 하지만 조가 칩 하나하나를 설명해 주면서 뚜렷한 패턴이 보였습니다. 그러니까 GPU가 가장 잘하는 일을 하게 하고, 데이터베이스 분석처럼 CPU에 더 적합한 기능도 CPU가 맡는다는 것입니다. 작업을 그 일에 가장 맞는 칩에 나눠주는 방식이죠. 맞습니다.
엔비디아는 GPU가 가장 중요한 일만 하도록 작업을 적극적으로 덜어냄으로써 이런 성능 향상을 얻었습니다. 그리고 여기서 AMD의 진짜 문제가 시작됩니다. 이유를 보여드리겠습니다. 엔비디아는 루빈에 엄청난 메모리 용량과 대역폭을 줬습니다. GPU 하나에 288GB의 HBM4 메모리와 초당 약 22테라바이트의 메모리 대역폭이 있습니다. 알파벳 수프처럼 들리시죠. 쉽게 말하면, 넷플릭스의 전체 영상 라이브러리를 메모리에 다 넣을 수 있다면, 루빈 GPU 한 개가 넷플릭스 모든 영상의 모든 프레임을 2분 조금 넘게 훑을 수 있다는 뜻입니다. 이 속도는 GPU의 연산 능력이 아니라 메모리 대역폭에만 제약받습니다.
루빈은 블랙웰과 비교해 GPU당 메모리가 50% 많고 메모리 대역폭은 거의 3배입니다. AMD에게는 이것만으로도 꽤 나쁜 소식입니다. AMD의 큰 장점 중 하나가 엔비디아의 호퍼와 블랙웰보다 많은 메모리와 대역폭이었으니까요. 사실 AMD의 기본 철학은 가장 크고 밀도 높은 AI 모델을 가능한 한 적은 수의 GPU에 욱여넣는 것입니다. 프런티어 모델을 더 적은 GPU에 올릴 수 있다면 네트워킹 비용을 크게 아낄 수 있고, 최종 사용자에게 서비스하는 소프트웨어도 더 단순하게 짤 수 있다는 논리입니다. 새로 나온 AMD의 MI455X 헬리오스 플랫폼은 GPU마다 루빈보다 50% 많은 메모리를 줌으로써 이 생각을 더 밀고 나갑니다. 대역폭은 조금 낮지만요.
문제는 이 방식이 확장되지 않는다는 점입니다. 컨텍스트 윈도우는 계속 커질 텐데, AMD가 고대역폭 메모리를 영원히 계속 더 얹을 수는 없습니다. 고대역폭 메모리는 비싸고, 전력을 많이 먹으며, 공급에도 한계가 있습니다. 그래서 어느 시점이 되면 모든 GPU에 메모리를 더 붙이는 것은 수익성 있는 선택이 되지 못합니다.
반면 엔비디아는 근본적으로 다른 접근을 택했습니다. 루빈은 추론 컨텍스트 전용의 두 번째 메모리 계층을 추가합니다. 다만 이 메모리 풀은 모든 GPU 안이 아니라 랙 단위에 있습니다. 이 추론 컨텍스트 메모리 저장소, 즉 ICMS는 과거 토큰, 채팅 기록, 정적 참고 문서처럼 LLM과 대화하는 동안 바뀌지 않는 정적인 것들을 모두 저장합니다. 그러면 랙 안의 모든 GPU가 값비싼 GPU 고대역폭 메모리에 모든 것을 들고 있거나 매번 다시 계산하는 대신, 이 별도의 공유 메모리 풀에서 데이터를 가져올 수 있습니다.
이 방식은 아무도 제대로 이야기하지 않는 몇 가지 큰 효과를 냅니다. 첫째, 랙당 수 테라바이트의 고대역폭 메모리를 확보하게 해줍니다. 루빈 GPU 10~20개 분량의 메모리에 해당합니다. 랙에는 GPU가 72개뿐이니, 메모리가 15~30% 늘어나는 셈입니다. 둘째, 이 데이터를 더 싸고 저전력인 하드웨어로 옮기기 때문에 전력 효율이 약 5배 좋아집니다. AMD는 모든 것을 GPU 고대역폭 메모리에 저장하는데, 이는 가장 비싼 자리에 두는 것입니다. 반면 엔비디아의 랙 단위 메모리 시스템은 DPU(데이터 처리 장치)가 관리하는 솔리드스테이트 드라이브를 씁니다. 더 저렴할 뿐 아니라 전력도 훨씬 적게 씁니다. 셋째, 모든 컨텍스트가 하나의 공유 메모리 풀에 있기 때문에 속도도 약 5배 빨라집니다. 따로 있는 GPU들이 같은 데이터를 계속 가져오거나 다시 계산할 필요가 없고, 데이터가 도착하기를 기다리며 노는 시간도 훨씬 줄어듭니다.
즉 이 별도의 추론 컨텍스트 메모리 저장 계층인 ICMS가 엔비디아가 고대역폭 메모리 문제에 내놓은 해법입니다. GPU에서와 마찬가지로, 고대역폭 메모리는 꼭 필요한 곳에만 쓰고 나머지는 최대한 저렴하고 저전력인 공유 메모리로 넘기는 것이죠. 그리고 분명히 해두자면, AMD가 이 아이디어를 베끼려면 몇 년이 걸릴 것이고, 가능하기는 한지도 모르겠습니다. 엔비디아는 이 체인에 들어가는 모든 칩과 소프트웨어를 직접 통제하기 때문에 이것이 가능합니다. 루빈 GPU, 베라 CPU, 블루필드 DPU, 스펙트럼-X 스위치, 그리고 그 위에 올라가는 거대한 CUDA 소프트웨어 스택까지 모두 엔비디아가 관리합니다. AMD도 강력한 GPU와 CPU는 갖고 있지만, 스위치는 별도 파트너에 의존합니다. 블루필드 DPU에 해당하는 제품도 없고, 록셈은 CUDA가 엔비디아 생태계에 녹아 있는 것만큼 AMD 생태계와 밀접하게 통합되어 있지 않습니다. 그러니 AI 모델의 컨텍스트 윈도우가 지금처럼 계속 폭발적으로 커진다면, AMD는 메모리를 확장할 다른 방법을 찾아야 합니다. 반면 엔비디아의 방식은 이미 본격 양산 단계에 들어갔습니다.
여기까지 보셨다면, 아마 첨단 기술을 배우고 미래를 생각하며 그것을 현실로 만드는 기업에 투자하기를 좋아하는 장기 투자자일 겁니다. 그래서 아마 이미 아시는 것들도 몇 가지 짚고 넘어가겠습니다. 이제 맥락을 훨씬 더 많이 아시게 되었을 겁니다. 먼저, 아직 안 하셨다면 좋아요를 누르고 채널을 구독해 주세요. 그래야 이런 콘텐츠를 더 많이 보게 되고, 여러분 같은 투자자들도 더 많이 보게 됩니다. 감사합니다. 채널에 정말 큰 도움이 됩니다. 둘째, 이 채널에서 다루는 다른 모든 내용과 마찬가지로 이것도 시간이 걸리며 전개될 것입니다. 그래도 앞으로 무슨 일이 벌어질지 구체적으로 말씀드리겠습니다. 다만 이것은 어디까지나 제 의견입니다. 엔비디아의 베라 루빈은 2026년 하반기에 상용 배치될 것이고, AMD의 헬리오스 랙은 3분기에 나올 것입니다. 이 설계는 이미 확정되어 있고, 두 회사 모두 그 시스템으로 상업적 성공을 거둘 것이라고 확신합니다.
AI 모델 학습에 필요한 연산량은 연간 약 5배씩 늘고 있고, 최신 추론 모델은 예전 모델보다 프롬프트당 5~10배 많은 토큰을 씁니다. 이 추세가 계속된다고 보면, AMD가 지금의 "HBM을 더 붙이는" 전략을 쓸 수 있는 기간은 제품 세대 한두 번 정도밖에 남지 않았다고 생각합니다.
현실적으로 AMD는 GPU에 고대역폭 메모리(HBM)를 50%씩 한두 번 더 늘릴 수 있을 겁니다. 그 이후에는 전력, 비용, 패키징 제약에 부딪히게 됩니다.
GPU 아키텍처는 콘셉트에서 양산까지 보통 3~5년이 걸립니다. 메모리 로드맵과 첨단 패키징은 최소 한 세대 앞서 함께 설계해야 하고, 이것만 해도 약 2년 반의 리드타임이 필요합니다. 랙 단위 시스템은 콘셉트에서 검증과 배치까지 2~3년이 더 걸립니다.
2030년까지 AMD가 새 랙 단위 메모리 솔루션을 내놓으려면, 2028년에는 실리콘이 테스트 랩에 들어가 있어야 합니다. 그러려면 아키텍처와 패키징 콘셉트를 2027년에 확정해야 합니다. 그러니 AMD는 지금 당장 이 문제를 풀기 시작해야 한다는 얘기입니다.
AMD가 어떤 해법을 내놓을지 기대되지만, 나중에 "경고했었다"는 말은 하지 마시라고 덧붙이고 싶습니다. 종목 뒤의 과학적 배경이 더 궁금하시면 이 영상도 함께 봐 주세요.
Comments 0