저자: ByteMonk · 외국인
요약 보기
AMD의 랙 스케일 AI 시스템 Helios는 72개 GPU, 31TB 메모리 등으로 엔비디아 NVL72 대항마로 소개된다. 마이크로소프트가 Helios 도입 예정이고 오라클도 채택 약속. OpenAI는 AMD와 최대 6GW 계약을 맺었고 브로드컴과 자체 추론 칩 하바네로를 개발 중. 엔비디아 생태계(NVLink, CUDA)의 우위는 여전하나 AI 인프라는 다변화될 것이라는 논지.
다듬은 글
AMD는 단순히 새 그래픽 프로세서를 내놓은 것이 아닙니다. AI를 위한 랙 시스템 전체를 보여준 것입니다. 72개의 그래픽 프로세서, 자체 중앙 프로세서, 자체 네트워크가 하나로 설계된 잘 정돈된 기계이고, 사람들은 이것을 헬리오스라고 부릅니다. 이야기는 더 흥미로워집니다. OpenAI가 헬리오스를 도입하기로 했고, 동시에 자체 AI 칩도 개발하고 있기 때문입니다. 그래서 먼저 랙이 무엇이고 왜 시스템 연결이 그래픽 프로세서 한 개보다 중요한지부터 이해해야 합니다.
그래픽 프로세서는 한 가지 유형의 작업에 매우 강합니다. 아주 많은 양의 정확한 병렬 연산을 동시에 처리하는 일이고, 인공지능이 바로 그런 일을 필요로 합니다. 하지만 고급 모델을 훈련하거나, 수백만 사용자에게 큰 모델을 서비스하기에는 칩 하나로 충분하지 않습니다. GPT, 제미나이, 클로드 같은 최신 모델은 수천억 개의 매개변수를 가지고 있고, 작업 중 기억해야 할 데이터의 양도 GPU 한 개가 가진 공간보다 훨씬 많습니다. 그래서 작업을 수십 개, 때로는 수천 개의 그래픽 프로세서에 나눠 줘야 합니다.
작업을 나누면 새로운 문제가 생깁니다. 프로세서들이 모델의 일부와 중간 결과를 계속 주고받아야 하는데, 이 교환이 느리면 가장 빠른 GPU조차 계산보다 기다리는 시간이 더 길어집니다. 헬리오스 같은 랙 시스템은 바로 이 문제를 해결하려고 설계되었습니다. 그래픽 프로세서, 중앙 프로세서, 메모리, 네트워크를 하나의 체계로 묶어서 그래픽 프로세서끼리 훨씬 빠르게 데이터를 처리하고 주고받게 합니다.
그래픽 프로세서끼리의 직접 고속 연결 문제는 엔비디아가 몇 년 전에 이미 맞닥뜨렸고, 그 해법이 엔비디아의 가장 큰 강점 중 하나가 되었습니다. 엔비디아의 답은 NVLink라는 직접 고속 연결입니다. NV스위치와 NVLink를 더하면 72개의 그래픽 프로세서를 하나의 밀접한 그룹처럼 묶을 수 있고, 이 그룹은 소프트웨어 차원에서 하나의 프로세서처럼 작동하게 됩니다. 이것이 엔비디아의 NVL72 랙입니다.
엔비디아는 그래픽 프로세서 상호 연결, 스위치, 그리고 CUDA 소프트웨어 수준까지 장악하고 있어서, 거의 모든 AI 팀이 이미 그 위에서 일하고 있습니다. 또한 랙과 랙을 이어주는 네트워크도 제공하기 때문에, 엔비디아를 선택하면 통합 작업이 이미 준비된 완성형 시설을 얻게 됩니다. AMD는 이 체계를 끊으려고 하고 있습니다.
헬리오스는 AMD가 설계한 첫 번째 참조용 랙 시스템입니다. AMD는 이것을 직접 팔지 않고, 슈퍼마이크로와 HP 같은 파트너가 AMD의 설계도에 따라 시스템을 만듭니다. 이 설계가 개방형 표준을 기반으로 하는 이유는 AMD가 모든 요소를 독점하지 않기 때문입니다.
하나의 헬리오스 랙에는 새로운 AMD 인스팅트 MI450 계열 그래픽 프로세서 72개가 들어갑니다. 각 프로세서에는 차세대 고대역폭 메모리인 HBM4가 있어서 데이터에 빠르게 접근할 수 있습니다. 랙 전체로는 약 31테라바이트의 메모리가 되는데, 이는 엔비디아의 차세대 시스템 베라 루빈이 제공하는 양보다 약 50% 많은 수준입니다. 메모리가 많다는 것은 대부분의 모델을 한 랙 안에 올려둘 수 있다는 뜻이고, 그만큼 랙과 랙 사이에 데이터를 옮겨야 하는 일이 줄어듭니다. 랙 간 데이터 전송은 더 느리기 때문입니다.
랙 안의 72개 가속기끼리 통신하는 방식으로 AMD는 UALink를 씁니다. 이것은 NVLink의 개방형 버전으로, 업계 그룹이 같은 문제를 해결하기 위해 만든 별도의 표준 연결입니다. 랙 사이의 네트워크에는 울트라 이더넷을 지원하는 이더넷 기반 솔루션을 씁니다. 이는 업계가 주도하는 방식으로, 대규모 AI용 이더넷 클러스터의 성능을 높이는 것이 목표입니다.
랙 안에는 작은 서버 트레이들이 있고, 각 트레이에는 베니스라는 코드명의 새로운 AMD EPYC 중앙 프로세서 네 개가 들어갑니다. 이 중앙 프로세서는 호스트 역할을 맡아 메모리, 저장장치, 네트워크를 관리하고 필요한 데이터를 그래픽 프로세서에 공급합니다.
AMD는 이런 시스템을 그래픽 프로세서만으로는 만들 수 없습니다. 네트워크 솔루션, 통합 랙, 소프트웨어가 모두 필요합니다. 회사는 수년에 걸쳐 이 세 가지를 모두 갖추기 위해 인수를 해 왔습니다. 2022년에 네트워크 칩 기업을 인수했는데, 그 칩이 지금 헬리오스 트레이 각각에 들어 있습니다. 2025년에는 랙 시스템 설계 경험이 있는 기업을 인수해서, 전 세계 대형 클라우드 기업에 완성된 서버 랙을 공급한 경험을 얻었습니다. 그 밖에 AI 소프트웨어 전문 기업 두 곳도 인수했습니다.
소프트웨어 쪽에서는 CUDA의 대안인 ROCm을 계속 개선하고 있고, 이것은 오픈소스로 공개되어 있습니다. 소프트웨어는 전체 전략에서 가장 어려운 부분입니다. CUDA는 10년 넘게 앞서 있었고, 대부분의 AI 팀이 이미 그 위에서 도구를 만들어 두었습니다. 랙이 훌륭한 하드웨어를 갖추더라도 기존 작업을 옮기려면 몇 달에서 많은 추가 공학 작업이 필요합니다. 그래서 랙 제작은 절반에 불과하고, 결국 중요한 질문은 실제 생산 환경에서 누가 AMD를 믿고 쓰느냐입니다.
마이크로소프트는 앞으로 Azure 서비스에서 헬리오스를 사용할 것이라고 확인했고, 산업 규모의 AI 모델 출시에 쓸 계획입니다. 오라클도 이미 헬리오스 도입을 약속했습니다. 마이크로소프트의 동의는 Azure가 가장 까다로운 AI 작업 부하 일부를 맡고 있다는 점에서 의미가 큽니다. 헬리오스 같은 시스템은 에너지 소비, 냉각, 네트워크, 소프트웨어 등 데이터센터 전체에 영향을 주기 때문에, 마이크로소프트가 이 인프라를 중심으로 구축한다는 것은 AMD에 대한 중요한 신뢰의 표시입니다.
더 큰 소식은 OpenAI입니다. OpenAI는 이미 AMD와 큰 계약을 맺었고, 최대 6기가와트까지 AMD 제품을 배치할 계획입니다. 그런데 가장 흥미로운 부분은 OpenAI가 자체 칩도 만들고 있다는 점입니다. 하바네로라고 불리는 이 칩은 브로드컴과 함께 개발되었습니다. 그렇다면 OpenAI는 왜 자체 칩을 만들면서도 AMD와 엔비디아의 그래픽 프로세서를 계속 사들일까요?
이를 이해하려면 흔히 한데 묶어 말하는 'AI 컴퓨팅'을 둘로 나눠야 합니다. 하나는 학습, 다른 하나는 추론입니다. 학습은 모델을 만드는 과정으로, 엄청난 양의 데이터를 처리하면서 수십억 개의 매개변수를 반복해서 업데이트하는 일입니다. 이를 위해서는 막대한 연산 능력, 메모리, 그래픽 프로세서 간의 초고속 연결이 필요합니다. 추론은 모델이 완성된 후에 일어나는 일입니다. ChatGPT에 요청을 보내면 모델이 토큰을 생성하는 과정이 바로 추론입니다. 추론에서는 지연 시간, 처리량, 에너지 효율이 매우 중요해집니다. 하바네로는 특히 이런 추론 작업을 위해 설계되었습니다.
OpenAI는 칩만 개발한 것이 아니라, 그 칩을 중심으로 서버를 구축했다고 밝혔습니다. 메모리, 네트워크, 소프트웨어를 하나의 전체로 설계하고, 그것을 주요 언어 모델 작업에 맞춘 것입니다. OpenAI는 하바네로의 첫 시험 결과도 발표했습니다. 자체 시험이라서 결과를 그대로 믿기는 어렵지만, 보고된 수치로는 킬로와트당 성능과 지연 시간이 상용 시스템보다 뛰어나다고 합니다. 그렇다고 해서 하바네로가 곧바로 엔비디아를 대체한다는 뜻은 아닙니다.
OpenAI 자신도 그렇게 보지 않습니다. 그들은 엔비디아 가속기와 다른 파트너들을 계속 쓸 것이라고 말하고, 동시에 AMD 제품도 구매하고 있습니다. 그리고 특정 작업에 중요한 하드웨어와 소프트웨어가 필요할 때는 자기 칩을 만듭니다. 따라서 모든 AI에 쓸 수 있는 단 하나의 칩이 승자가 되는 구도는 아닐 수도 있습니다. 한 회사는 모델 학습에 한 종류의 시스템을 쓰고, 대량의 추론처럼 특수한 작업에는 다른 시스템을 쓸 수 있습니다. 지연 시간이 중요한 경우도 마찬가지입니다.
결국 헬리오스가 경쟁하는 대상은 그래픽 프로세서 한 개가 아니라 시스템 전체입니다. 칩이 랙에 연결되는 방식, 메모리, 네트워크 연결, 소프트웨어가 칩 자체만큼 중요합니다. 엔비디아는 이 시스템들을 긴밀하게 통합해 핵심 단계를 대부분 장악했고, 그 덕분에 AI 인프라 분야에서 지배적인 위치를 굳혔습니다. AMD의 헬리오스가 산업의 일부 사람들을 끌어모은다면, NVLink 대신 표준 이더넷을 쓰는 방향이나 ROCm로 CUDA에서 옮겨가는 일이 더 쉬워질 것입니다.
헬리오스가 AMD가 엔비디아를 따라잡았다는 뜻은 아니지만, 엔비디아에 맞설 만한 강력한 경쟁자가 랙 수준에서 등장했다는 신호입니다. 마이크로소프트가 생산에 도입한다는 점도 의미가 큽니다. 또한 고객이 자체 가속기를 설계하는 흐름도 뚜렷해지고 있습니다. 엔비디아는 여전히 가장 강한 생태계를 갖고 있지만, AI 인프라는 이제 그래픽 프로세서 하나로 모든 것을 정복하는 구도에서 벗어나 서로 다른 시스템이 서로 다른 일을 나눠 맡는 방향으로 가고 있습니다.
더 깊이 알고 싶으시다면 UALink와 울트라 이더넷의 내부 작동 방식에 대한 영상을 원하는지 댓글로 알려 주세요. 영상이 도움이 되셨다면 좋아요와 공유, 구독을 부탁드립니다. 여러분의 지속적인 지지가 영상을 만드는 데 큰 힘이 됩니다. 시청해 주셔서 감사합니다. 다음 영상에서 만나요.
댓글 0