저자: 김인엽 · 한국인
요약 보기
AMD가 AI 랙 헬리오스(MI450X 72개, Venice CPU 18개, HBM4 31TB)를 공개하고 메타·앤트로픽·오픈AI와 협력을 발표. 엔트로픽에 최대 2GW 규모 헬리오스 공급 계약. AMD 주장으로 가격 대비 성능 최대 30% 우위(자체 시험). 세레브라스와 결합해 와트당 처리량 최대 5배 주장. 에이전틱 AI 확산으로 CPU 비중 증가 전망. 소프트웨어 장벽(CUDA)은 AI 기반 포팅으로 완화 중이라는 시각.
다듬은 글
안녕하세요. 실리콘밸리나우 김인엽입니다. "5촌 간의 전쟁"이라고 하죠. 이태리 출신 반도체 업계 두 거물, 젠슨 황 엔비디아 CEO와 리사 수 AMD CEO 간의 경쟁 관계를 두고 하는 말입니다. 두 사람은 친척이지만 어릴 때는 서로에 대해 전혀 몰랐다고 하죠. 하지만 GPU와 CPU, 나아가 AI 데이터센터까지 여러 분야에서 직접 경쟁을 펼치고 있습니다. 지금까지 성과는 젠슨 황이 조금 앞섭니다. 하지만 최근 조금씩 AMD가 전통적인 엔비디아의 고객사들과 연결되고 있는데요. 오늘 이곳 샌프란시스코 모스콘 센터에서 열린 AMD 어드밴싱 AI 행사에서 AMD는 메타, 앤트로픽과의 파트너십을 발표했습니다. 이 파트너십이 어떤 의미를 갖는지, 그리고 AMD의 제품 경쟁력이 과연 엔비디아를 뛰어넘을 수 있을지 살펴보겠습니다.
바로 가시죠. 이날 리사 수가 강조한 제품은 신형 렉 '헬리오스'입니다. 현존하는 세계 최고의 AI 렉이라고 자신했는데요. 렉이라는 단어가 조금 낯설 수 있습니다. 이 안에는 AI 계산을 담당하는 GPU, 복잡한 작업을 처리하는 CPU, 그리고 여러 반도체 사이에서 데이터를 전달하는 네트워크 장비가 들어갑니다. AMD는 이번에 이렇게 말한 겁니다. "이제 부품을 따로 살 필요가 없습니다. 우리가 조립식 AI 컴퓨터를 통째로 만들어 드리겠다." 헬리오스 한 대에는 AMD의 최신 GPU인 인스팅트 MI450X가 72개 들어가고, 6세대 베니스 CPU가 18개, AMD의 펜산도 네트워킹 칩도 함께 들어갑니다. 여기에 HBM4 메모리도 모두 합쳐서 31TB가 들어가는데요. HBM은 GPU 바로 옆에서 계산에 필요한 데이터를 빠르게 공급하는 역할을 합니다. 아무리 GPU가 빨라도 HBM이 데이터를 제때 전달하지 못하면 GPU는 일을 못 하고 기다려야 하죠. 헬리오스는 GPU와 HBM, CPU와 네트워크를 처음부터 하나의 시스템으로 설계해서 이런 대기 시간을 줄이겠다는 겁니다.
AMD가 렉 전체를 내놓은 이유는 분명합니다. 지금 AI 반도체 시장은 더 이상 GPU 한 개의 성능만으로 승부하는 시장이 아니라는 거죠. 고성능 GPU를 두 개 쓴다고 해 볼까요? GPU 사이에서 데이터를 주고받는 네트워크가 느리다면 전송이 느려지고, GPU들은 서로의 계산 결과를 기다리며 놀게 됩니다. CPU가 느리거나 소프트웨어가 복잡해도 마찬가지입니다. 부품 하나하나는 빠른데 전체 시스템은 느린 상황이 생길 수 있다는 거죠. 축구에 비유하면, 월드클래스 공격수 11명이 있다고 반드시 좋은 팀이 되는 것은 아니라는 얘기입니다. 선수들이 호흡을 맞추고 공을 빠르게 전달하며 감독의 전술도 제대로 작동해야 하듯, AI 데이터센터도 GPU, CPU, 메모리, 네트워크, 소프트웨어가 하나의 팀처럼 움직여야 합니다. AMD는 2022년 네트워킹 스타트업 펜산도를, 지난해 서버 기업 ZT시스템즈를 인수했는데요. 이런 렉 단위 시스템을 완성하기 위한 포석이었던 겁니다.
기억나실지 모르겠지만, 지난 3월 GTC에서 젠슨 황 CEO도 최신 렉인 베라 루빈을 무대에 가져와 하나하나 직접 설명했었죠. 이제 AMD도 같은 방식으로 경쟁하겠다고 선언한 겁니다. AMD는 헬리오스가 엔비디아의 차세대 베라 루빈 NVL72보다 가격 대비 성능이 좋다고 주장했습니다. 같은 비용을 투입했을 때 최대 30% 더 많은 AI 작업을 처리할 수 있다는 거죠. 다만 이 30%는 AMD가 자체 연구소에서 실시한 시험 결과입니다. 어떤 AI 모델을 사용했고 시스템을 어떻게 구성했는지에 따라 실제 성능은 달라질 수 있습니다.
이번 AMD 키노트에서 GTC를 떠올리게 한 장면이 또 있었습니다. 바로 AI 반도체 스타트업 세레브라스와의 협력 소식인데요. 세레브라스는 웨이퍼 한 장 전체를 거대한 AI 반도체로 사용하는 회사입니다. 일반적인 반도체는 커다란 웨이퍼를 수백 개의 작은 칩으로 잘라 만들지만, 세레브라스는 웨이퍼를 자르지 않고 통째로 사용합니다. 그래서 칩 내부에서 데이터를 아주 빠르게 움직일 수 있다는 장점이 있습니다.
AMD는 AI 작업을 두 시스템이 나눠서 처리하도록 했습니다. 헬리오스는 방대한 계산을 맡고, 세레브라스는 사용자가 즉시 답변을 받아야 하는 작업을 맡습니다. 헬리오스가 대형 화물을 운송한다면 세레브라스는 퀵서비스를 하는 셈이죠. AI 모델을 학습시키거나 복잡한 계산을 할 때는 대규모 GPU가 필요합니다. 하지만 AI로 코딩을 하거나 간단한 대화를 할 때는 답변을 얼마나 빨리 내놓느냐가 매우 중요하죠. 그래서 대규모 계산에 강한 헬리오스와 응답이 빠른 세레브라스를 결합해 이 문제를 함께 해결하겠다는 전략입니다. AMD는 이 조합을 쓰면 전력 와트당 AI 처리량이 기존보다 최대 다섯 배 늘어날 수 있다고 설명했습니다.
이 장면에서 저는 다소 기시감을 느꼈습니다. 엔비디아도 GTC에서 그록 3 LPU를 발표했죠. 베라 루빈 렉이 대형 작업을 맡는다면 그록 3 LPU는 빠른 처리를 담당하는 역할입니다. 엔비디아와 AMD 모두 연산 처리를 이원화하는 전략을 택한 거죠. 그래서 기자회견에서는 날카로운 질문도 나왔습니다. 렉 중심 전략과 세레브라스 파트너십 모두 엔비디아를 뒤쫓는 것 같다는 질문이었는데요. 반도체만 출입하는 로이터 통신 기자의 질문이었습니다. 말하자면 "만년 2위로 만족할 것이냐"는 거죠. 리사 수는 이에 "이제 여유를 좀 가지라"고 농담으로 받아넘겼습니다.
AMD가 엔비디아와 GPU 시장에서 그대로 경쟁한다면 승산이 약할 수도 있습니다. 하지만 시장의 중심이 CPU로 옮겨간다면 이야기가 달라질 수 있죠. 엔비디아도 CPU를 만들지만, AMD가 CPU 분야에서 훨씬 오랜 능력을 쌓아온 것도 사실이니까요. 마크 페이퍼마스터 AMD CSO는 인터뷰에서 "AI 에이전트 시대에 들어서면서 CPU의 비중은 더욱 높아지고 있다"고 말했습니다. GPU는 일반적으로 단순한 작업에, CPU는 복잡한 작업에 강합니다. 지금까지 AI 채팅을 이용할 때는 수많은 단순 작업에 유리한 GPU가 압도적으로 많이 필요했습니다. 하지만 AI 에이전트는 복잡한 작업을 하나하나 처리하기 때문에 CPU가 더 중요해진다는 겁니다. 시장의 판이 AMD에 더 유리하게 바뀌고 있다는 뜻이죠.
[영어 기술 설명 발췌 — 원문 그대로] > I mean, these are trillion-parameter models now, and then to run inferencing with thousands of instances at very high throughput, those demand huge clusters, not just of CPUs but now particularly with agentic AI, CPUs with GPUs, with networking, with optimization of communication across many different types of computing. And that type of optimization has to be done at the rack level.
> When you think about a chatbox, that is more demanding on the GPU, because you have a very specific inferencing task. I put a prompt, a question, and it has to go through phases called prefill and decode. Prefill analyzes the prompt, the question I ask, and decode runs the inferencing and provides the response. So in the chatbox era, the ratio of CPU to GPU was generally 1 to 4, sometimes even 1 to 8, very GPU-dominated. But as agentic AI arrived, where you chain many of these tasks together and add reasoning between them, we realized in designing the computer that the requirements changed in terms of how to increase communication between the GPU and the CPU. So in our new Helios rack, we doubled the bandwidth, the connectivity between CPU and GPU, and dramatically increased the number of CPU cores you can pack. We have 256 CPU cores in Venice that you can run, highly optimized for agentic processing, paired with our Instinct GPU, which is a monster at processing many high-throughput tasks for inferencing as well as training.
이번 행사에서는 주요 AI 기업들과의 파트너십도 발표됐습니다. 리사 수는 앤트로픽의 톰 브라운 최고컴퓨팅책임자를 직접 무대에 불렀습니다. 앤트로픽은 챗GPT의 경쟁 서비스인 클로드를 만드는 회사죠. AMD는 앤트로픽에 최대 2GW 규모의 헬리오스 시스템을 제공하기로 했습니다. 2GW는 원자력발전소 약 두 기의 발전 용량에 맞먹는 엄청난 규모입니다. 그만큼 대규모 AI 인프라 계약을 체결했다는 뜻이죠. 이 계약이 중요한 이유는, AMD에 그동안 부족했던 것이 바로 실제 대형 고객 사례였기 때문입니다. 엔비디아가 강한 이유는 GPU 성능만이 아닙니다. 오픈AI, 마이크로소프트, 메타, 아마존 같은 기업들이 엔비디아 시스템을 대규모로 실제 사용해 왔죠. 반대로 AMD는 아무리 좋은 제품을 내놓아도 대규모 사용 사례가 적으면 고객을 설득하기 어렵습니다. 앤트로픽 계약은 이런 약점을 보완하는 중요한 사례가 될 수 있습니다.
AMD와 앤트로픽의 협력은 단순히 서버를 사고파는 관계에 그치지 않습니다. AMD는 클로드를 반도체 설계와 소프트웨어 개발에 활용하기로 했습니다. AMD가 앤트로픽에 AI 서버를 제공하고, 앤트로픽의 AI는 다시 AMD 엔지니어들의 반도체 개발을 돕는 구조입니다. 서로의 기술을 이용해 서로의 제품을 개선하는 관계가 된 거죠. 오픈AI도 AMD GPU에서 GPT가 더 효율적으로 작동하도록 최적화 작업을 진행하고 있습니다. 올해 말부터 헬리오스 시스템을 도입하고, 내년부터 사용을 본격적으로 확대할 계획입니다. 메타 역시 AMD의 6세대 에픽 CPU를 검증하고 있으며, 헬리오스 렉 시스템 테스트에도 들어갔습니다. 이 세 회사가 중요한 이유는, 세계에서 AI 컴퓨팅 자원을 가장 많이 사용하는 기업들이기 때문입니다. 이번 발표는 AMD가 그 고객 생태계를 만들기 시작했다는 신호로 해석됩니다.
AMD가 넘어야 할 가장 큰 산은 여전히 남아 있습니다. 바로 소프트웨어입니다. 엔비디아가 AI 반도체 시장을 장악한 데에는 CUDA라는 소프트웨어 생태계가 큰 역할을 했습니다. CUDA는 개발자들이 엔비디아 GPU를 효율적으로 사용할 수 있도록 돕는 소프트웨어 도구입니다. 많은 AI 개발자가 오랫동안 CUDA를 사용해 왔기 때문에, AMD GPU가 조금 더 저렴하더라도 쉽게 옮기지 못했던 거죠. 스마트폰으로 비유하면 운영체제와 앱을 모두 바꿔야 하는 것과 비슷합니다. 그런데 AMD는 이런 장벽마저 허물어지고 있다고 말합니다. 바로 AI의 등장 때문입니다. 그동안 사람이 일일이 옮겨야 했던 프로그램을 AI가 대신 옮겨 주니 고생할 필요가 없어졌다는 겁니다. 실제로 톰 브라운 앤트로픽 컴퓨팅 총괄은 주말 동안 클로드에게 이 업무를 맡겼더니 대부분의 일이 큰 걱정 없이 완료됐다고 말했습니다.
[영어 발췌 — 원문 그대로] > For years we developed a way you could port from CUDA very quickly over to AMD, and it's called HIPIFY. It does very, very quickly what Anthropic did, which was well beyond that, because we're open. We're an open ecosystem; our software stack is open. They trained Claude on our open stack, and then on a weekend, when they were coming up on the MI355, they said, "Claude, here's the open stack, here are the specifications, here's all the data of its software. Run on AMD and optimize your performance." And it did an amazing job. We were shocked. I talked with Tom about this at our event today, and they truly didn't expect to have such immediate results in being able to get up and running on AMD.
지금까지 AMD 행사의 주요 발표를 살펴봤습니다. 새로 공개된 제품들이 엔비디아를 뒤쫓는 것처럼 보이지만, 의외로 이것이 만년 2등 전략은 아닐 수도 있겠다는 생각이 들었습니다. 시장의 판이 AMD에 조금씩 유리하게 바뀌고 있기 때문입니다. AMD가 엔비디아로부터 유의미한 시장 점유율을 가져올 수 있을지 지켜보겠습니다. 지금까지 샌프란시스코에서 김인엽이었습니다. 감사합니다.
Comments 0