원문 보기
안녕하세요. 실리콘 빌리나오 김인부입니다. 5촌간의 전쟁이라고 하죠. 이태만 출신 방도체 업계 두 거물 젠슨왕 엔비디아 CEO와 리사수 AMD CEO 간의 경쟁 관계를 두고 하는 말입니다.이 두 사람은 친척이지만 어릴 때는 서로에 대해 전혀 몰랐다고 하죠. 하지만 GPU와 CPU, 나아가 AI 데이트 센터까지 여러 분야에서 직접 경쟁을 펼치고 있습니다. 지금까지 성과는 젠슨왕이 조금 앞섭니다. 하지만 최근 조금씩 AMD가 전통적인 NBI의 고객사들과 연결되고 있는데요. 오늘 이곳 샌프란시스코 모스코니 센터에 설리는 AMD 어드벤싱 AI 행사에서 또 메타 앤스로픽과의 파트너십을 발표했습니다.이 이 파트너십이 어떤 의미를 갖고 있는지 그리고 AMD의 제품 경쟁력이 과연 엔비디아를 뛰어넘을 수 있을지 한번 살펴보도록 하겠습니다.
바로 가시죠. 이날 리사스가 강조한 제품 바로 신형 렉 헬리오스입니다. 편화하는 세계 최고의 AI 렉이라고 자신했는데요.이 렉이라는 단어가 조금 낯설 수가 있습니다.이 안에 AI 계산을 담당하는 GPU, 복잡한 작업을 처리하는 CPU, 그리고 여러 반도체 사이에서 데이터를 전달하는 네트워크 장비가 층이 들어갑니다. 그런데 AMD가 이번에는 이렇게 말한 겁니다. 이제 부품을 따로 살 필요가 없습니다. 우리가 조립식 AI 컴퓨터를 통째로 만들어 드리겠다라는 거죠. 팰리어스 한 대에는 AMD의 최신 GPU인 인스팅트 MI450X가 72개 들어갑니다.
그리고 [콧방귀] 6세대 베니스 CPU가 18개. AMD의 펜산도 네트워킹 칩도 함께 들어갑니다. 여기에 HBM4 메모리도 모두 합쳐서 31바가 들어가는데요.이 HBM은 GPU 바로 옆에서 계산이 필요한 데이터를 빠르게 공급하는 역할을 하는 거죠.이 이 아무리 GPU가 빨라도 HBM이 데이터를 제때 전달하지 못하면은 일을 못 하고 기다려야 하는 겁니다.이 헬리오스는 GPU와 HBM, CPU와 네트워크를 처음부터 하나의 시스템으로 설계해서 이런 기다리는 시간을 줄이겠다라는 거죠. AMD가 렉 전체를 내놓은 이유는 분명합니다.이 지금 AI 반도체 시장은 더 이상 GPU 한 개의 성능만으로 승부하는 시장이 아니라는 거죠.이 아주 고성능의 GPU 이런 두 개를 쓴다고 해 볼까요?
그런데 GPU 사이에서는 데이터를 주어받는 그 네트워크가 느리다면은 굉장히 전송이 느를 겁니다. 그래서 GPU들이 서로의 계산 결과를 기다리면서 놀게 되겠죠.이 CPU가 느리거나 소프트웨어가 복잡해도 마찬가지입니다. 부품 하나하나는 빠른데이 전치 시스템은 느린 상황이 생길 수 있다라는 거죠.이 이 축구로 비유하자면은 월드 클래스 공격수만 11명이 있다고 해서 반드시 좋은 팀이 되는 것은 아니라는 얘기입니다.이 선수들이 서로 호흡을 맞추고 공을 빠르게 전달하고이 감독의 전술도 제대로 작동해야 하는 것과 같은 거죠.이 AI 데이터 센터도 똑같습니다.이 GPU와 CPU 메모리 네트워크 소프트웨어가 하나의 팀처럼 움직여야 한다는 겁니다.이 AMD는 2022년 네트워킹 스타트업 펜산도를 그리고 지난해 서버 기업 GT 시스템조를 인수했는데요.
이러한 렉다니 시스템을 완성하기 위한 포석이었던 거죠. 그런데 기억나실지 모르겠습니다. 지난 3월 GTC에서 젠슨왕 엔비디아 CEO 역시이 렉을 들고 나왔던게 기억이 났습니다.이 최신 렉인 베라로빈을 무대에 갖고 나와서 직접 하나하나 설명을 했었죠. 이제 AMD도 이제 같은 방식으로 경쟁을 하겠다고 선언을 한 겁니다.이 AMD는 헬리오스가 엔비디아의 차세대인 베라루빈 NL72보다 가격 대비 성능이 좋다고 주장을 했습니다.이 같은 비용을 투입했을 때 최대 30% 더 많은 AI 작업을 처리할 수 있다는 거죠.이 이 다만이 30%라는 숫자는 AMD가 자체 연구소에서 실시한 시험 결과입니다.
그래서 어떤 A 모델을 사용했는지 시스템을 어떻게 구성했는지에 따라서 실제 성능은 달라질 수 있다라는 거죠. 또 하나 이번 AMD 키노트에서 M비디아 GTC를 떠올리게 한 장면이 있었습니다. 바로 AI 반도체 스타트업인 세레브라스와의 협력 소식인데요. 셀레브라스는 웨이퍼 한 장 전체를 거대한 AI 반도체로 사용하는 회사입니다. 일반적인 반도체는 커다란 웨이퍼를 수백개의 작은 칩으로 잘라서 만들죠. 하지만 세라브라스는 웨이퍼를 자르지 않고 통째로 사용합니다. 그렇기 때문에 H침 내부에서 데이터를 아주 빠르게 움직일 수 있다는 장점이 있습니다.이 AMD는 AI 작업을 두 시스템이 나눠서 처리하도록 했는데요.이 헬리우스는 방대한 계산을 맞고 세레브라스는 사용자가 즉시 답변을 받아야 하는 작업을 맞습니다.
그러니까 헬리우스가 대형 화물을 운송한다면이 세레브라스는 퀵 서비스를 한다라는 거죠.이 AI 모델을 학습시키거나 복잡한 계산할 때는 대규모 GPU가 유료하죠. 하지만 AI로 코딩을 하거나 간단한 대화를 할 때는이 답변을 얼마나 빨리 내놓느냐도 매우 중요한 문제입니다. 그래서 대규모 계산에 강한 헬리우스와 응답이 빠른 세레브라스 두 가지를 결합해이 문제를 함께 해결하겠다는 전략입니다. AMD는이 조합을 사용하면 전력 와트당 AI 처리량이 기존보다 최대 다섯 배 늘어날 수 있다고 설명했습니다. 저는이 장면에서 다소 기시감을 느꼈는데요.
엔비디아도 GTC에서 그럭 3 LPU를 발표했죠. M비DI 베라루빈 렉이 대형 작업을 한다면 그 3 LPU는 빠르게 작업을 처리한 역할을 했습니다. 엔비디아와 AMD 모두이 컴퓨팅 처리를 이원화하는 전략을 취한 거죠. 그렇다 보니 기자 회견에서는 떠 있는 질문도 나왔습니다. 렉 중심의 전략과 세레브라스 파트너십 둘 다 엔비디아를 뒤쫓는 것 같다라는 질문이었는데요.이 단연간 반도체만 출입한 로이터 통신 기자의 예리한 질문이었습니다.이 말하자면 만년 이동으로 만족할 것이냐라는 거죠. 리사스는 그러자 이제 여유를 좀 가져라 이렇게 농담을 하기도 했습니다.
AMD가 엔비디아와 GPU 시장에서 그대로 경쟁한다면 승산이 [콧방귀] 약할 수도 있습니다. 하지만 시장의 중심이 CPU로 옮겨간다면 이야기가 달라질 수도 있겠죠. MB도이 CPU를 만들어 AMD 쪽이 훨씬 더 CPU를 잘해온 능력이긴 하거든요. 그래서 마크 페이퍼마스터 GTO는 인터뷰에서 이렇게 말했습니다. AI 에이전트 시대에 들으면서 CPU의 비율은 더욱 높아지고 있다고요.이 GPU는 일반적으로 단순 작업, CPU는 복잡한 작업을 처리하죠. 그간 AI 체포을 이용할 때는 수많은 단순 작업에 유리한 GPU가 압도적으로 많이 필요했습니다.
하지만 AI 에이전트는 하나하나 복잡한 작업을 처리하기 때문에이 CPU가 더 중요하다라는 건데요.이 시장의 판이 AMD에게 더 유리하게 바뀌고 있다라는 겁니다. I mean these are trillion parameter models now. Uh and then to run inferencing uh with thousands of of instances at very very high throughput. Those demand huge clusters not just of CPUs but now particularly withentic AI CPUs with [목을 가다듬음] GPUs with networking with optimization of communication across many different types of computing and that type of optimization has to be done at RAC level.
Well, when you think about a chat box, so that is uh more demanding, I'll say, on the GPU because you're you've got a very specific inferencing test. I I put a prompt, a question. uh it has to go through phases called prefill decode uh is you're analyzing what was the prompt the question I ask and then decode really running the inferencing uh and and providing that response.
So if you think of the chatbox era, uh the ratio of CPU to GPU was generally 1 to4 sometimes even 1 to E very GPU dominated. But as we saw a gentic AI coming where as I said a moment ago where you really chain many of these tasks together uh and you add reasoning between these tasks what we realized in the design the computer uh was uh that it changed the requirements in terms of uh how to really increase the communication of the GPU to the CPU.
So what we did in our new Helios rack is we doubled the bandwidth, the connectivity between CPU and GPU. We dramatically increased the number of CPU cores that you can pack. Uh we actually have 256 CPU cores uh in our in Venus uh that you can run highly optimized for genentic processing and that is paired with our instinct GPU uh which uh is a monster of being able to process many many high throughput tasks uh for inferencing as well as training.
실제 이번 행사에서는 주요 AI 기업들과의 파트너십이 발표가 됐는데요. 이사수는 엔트로픽의 톰브라운 최고 컴퓨팅 책임자를 직접 무대로 불렀습니다. 엔트로픽은 채찍의 경쟁 서비스인 클로드를 만드는 회사죠. AMD은 엔트로픽의 최대 2GW 규모의 헬리오스 시스템을 제공하기로 했습니다. 2GW는 원자력 발전수 약 두 기의 발전 능량과 만먹는 엄청난 규모인데요. 그만큼 대규모 AI 인프라 계약을 체결했다라는 뜻인 거죠.이 계약이 중요한 이유는 AMD에 그동안 부족했던 것이 실제 대형 고객의 사례였기 때문입니다.이 엔비디아가 강한 이유는 GPU 성능만 좋아서가 아니죠.
오픈 AI와 마이크로소프트, 메타, 아마존 이런 기업들이 엔비디아 시스템을 실제로 대규모로 사용해 왔습니다. 반대로 AMD는 아무리 좋은 제품을 내놔도 대규모 사용 사례가 적으면 고객을 설득하기가 어려운 거죠. 엔트로피카의 계약은 이런 약점을 보완하는 중요한 사례가 될 수 있다는 말입니다.이 AMD와 엔트로픽의 합력은 단순히 서버를 사고하는 그런 관계에 그치지 않습니다. AMD는 클로드를 반도체 설계와 소프트웨어 개발에 활용하기로 했습니다. 쉽게 말해서 AMD가 엔트로픽 AI 서버를 제공하고 엔트로픽의 AI는 다시 AMD 엔지니어들의 반도체 개발을 돕는 구조인 거죠.이 이 서로의 기술을 이용해서 서로의 제품을 개선하는 그런 관계가 된 겁니다.
오픈 AI도 AMD의 GPU에서 GPT가 더욱 효율적으로 작동하도록 최적화 작업을 진행하고 있습니다.이 올해 말부터는 헬리오스 시스템을 도입하고 내년부터 사용을 본격적으로 확대한다는 계획입니다.이 메타 역시 AMD의 6세대 에픽 CPU를 검증하고 있는데요.이 헬리우스 렉 시스템에도 테스트를 들어갔습니다.이 세 회사의 이름 중요한 이유는요.이 이 세계에서 가장 많이 AI 컴퓨팅 차원을 사용하는 기업들이기 때문입니다. 이번 발표는 AMD가 그 고객태계를 만들기 시작했다는 그런 신호로 해석됩니다. AMD가 넘어야 할 가장 큰 산 여전히 남아 있습니다.
바로 소프트웨어인데요. 비디아가 AI 반도체 시장을 장악한 데에는 쿠다라는 소프트웨어 생태기가 큰 역할을 했습니다.이 쿠다는 개발자들이 M비디아 GPU를 효율적으로 사용할 수 있도록 돕는 소프트웨어 도구입니다.이 이 많은 AI 개발자가 오랫동안 쿠다를 사용해 왔기 때문에 AMD GPU가 조금 더 저렴하더라도 쉽게 옮기지 못했던 거죠. 스마트폰으로 비유하면 운영 체제와 앱을 모두 바꿔야 하는 것과 비슷합니다. 그런데 AMD는 이러한 장벽마저 없어지고 있다고 하는데요. 바로 AI의 등장 때문입니다. 그간 사람이 일일이 옮겨야 했던 프로그램을 AI가 대신 옮겨서이 고생할 필요가 없다는 건데요.
실제로 톰브라운 앤트로 컴퓨팅 총괄은 주말 동안 클로드에게이 업무를 맡겼더니 걱정할 것이 없이 대부분의 일이 완료됐다고 말했습니다. D is for years we developed a way you could port from CUDA very quickly over to AMD and it's called hippopify does very very quickly what anthropic dig was well beyond that because we're open. We're an open ecosystem our software stack is open.
They train Claud on our open stack and so they train Claud and then on a weekend when they were coming up on the MI35 they said Claud uh here's the open stack here's the specifications. Here's all the data of its software. Run on AMD and optimize your performance. And it did an amazing job. We were shocked.
I I talked with Tom about this uh at our event today and and they truly didn't expect uh to have such immediate results on being able to get up and running. AMD run 지금까지 AMD 행사의 주요 발표들을 설명을 드렸는데요. 새로시된 제품들이 M비디아를 뒤쫓는 것 같다는 인상을 받았지만 의외로 이것이 만년 2등 전략은 아니겠다라는 생각이 들었습니다. 시장의 판이 AMD에게 조금씩 유리하게 바뀌어 가고 있기 때문인데요.
과연 AMD가 N비디아로부터 유일미한 시장 점유를 가져올 수 있을지 한번 지켜보도록 하겠습니다. 지금까지 샌프란시스코에서 전해드렸습니다. 감사합니다.
Comments 0