저자: SoftdragonSOD진행자로표기) · 한국인
요약 보기
AMD GPU 기반 소프트웨어 스타트업 '모래'를 소개하며, 엔비디아 쿠다 락인을 깨는 기술로 AI 인프라 비용을 절반 이하로 낮출 수 있다고 주장. 전북에 엔비디아 GPU 없이 AMD·텐스토렌트 칩 기반 데이터센터 구축 중이며, 엔비디아 GPU 한 장 5천만 원 이상 등 비용 문제를 강조. 다만 하드웨어 생태계 확보가 관건이라는 리스크도 언급.
다듬은 글
제목: "한국 스타트업" AMD와 손잡다; AI 데이터센터 판을 바꿀 수 있을까 채널: Softdragon SOD 화자: SoftdragonSOD (진행자)
AMD GPU로 소프트웨어를 잘 만들어 AI 모델을 만들고 돌릴 수 있다고 말씀드리면 사실 아무도 안 믿으셨어요. AMD가 한국 소프트웨어 스타트업에 투자한 건 거의 처음 있는 사례로 알고 있거든요. 그래서 오늘은 빅테크들도 못 뚫어 온 쿠다의 락인 구조에 도전하는 스타트업, 모래의 조광호 대표님을 만나 봤습니다.
먼저 배경을 간단히 짚어 볼게요. 올해 실리콘밸리 GTC에 갔을 때 가장 충격적이었던 게 있어요. 보통 실리콘밸리 산호세는 한산한 곳인데, 그날은 사람이 꽉 들어차 있었어요. 엔비디아 2만 원 분들도 "어떻게 매년 사람이 더 많아지냐"고 말하면서, 자리가 없어 서서 밥을 먹었어요. 삼성도 하이닉스도 전부 참여했고요. 젠슨 황 대표가 하루 종일 기업 대표들의 사인 요청을 받고, 초대기업 직원들이 그의 대기 장소 앞에 줄을 서 있는 걸 직접 보니, 전 세계 권력 1위가 트럼프라면 산업계의 왕은 젠슨 황이라고 해도 과하지 않더라고요.
GPU를 만드는 회사는 엔비디아만 있는 게 아니에요. AMD도, 인텔도, 삼성전자도 만들 수 있어요. 그런데 왜 다들 엔비디아만 쓸까요? 성능 차이도 크지만, 그 위에 깔리는 소프트웨어 차이가 정말 크기 때문이에요. 엔비디아는 쿠다라는 소프트웨어를 20년 동안 만들어 왔어요. 애플 생태계의 락인보다도 엔비디아 생태계의 락인이 훨씬 벗어나기 어렵습니다.
지금 엔비디아 GPU 한 장이 5천만 원이 넘고, 데이터센터 하나에는 수만 장이 들어가요. 그러다 보니 이 비싼 칩을 구하려고 전 세계가 줄을 서 있습니다. 작년에 미국이 중국의 GPU 수출을 막았는데도 중국이 우회로로 사들이면서 가격이 더 폭등했고요. 인류 역사상 한 회사가 한 산업을 이렇게까지 독점한 사례는 거의 없습니다.
그런데 직원 70명 규모의 한국 스타트업이 "엔비디아 GPU 없이 데이터센터를 만들겠다"고 나선 거예요. 자신들의 소프트웨어를 깔면 AMD GPU가 엔비디아 GPU처럼 작동한다는 겁니다. 이게 성공하면 AI 비용이 절반 이하로 떨어질 수도 있고, 한국의 네이버, 카카오보다 큰 IT 기업이 나올 수도 있습니다.
조광호 대표님은 이렇게 설명했어요. "AI 데이터센터를 운용하는 소프트웨어를 만든다고 생각하시면 되는데, 더 정확히는 계산을 시켜 주는 소프트웨어를 만듭니다. AI는 계산을 엄청나게 많이 해야 하고, GPU나 NPU 같은 하드웨어가 있죠. 저희 소프트웨어는 이 반도체에서는 이런 식으로, 저 반도체에서는 저런 식으로 계산을 해서 전체 모델이 잘 돌아가도록 지정해 주는 겁니다. 반도체를 잘 만들면 좋은 성능이 나올 거라고 생각하기 쉽지만, 사실 소프트웨어를 어떻게 만드느냐에 따라 몇백, 몇천 배씩 차이가 납니다."
쉽게 비유하자면, 다른 AI 회사들이 자동차를 만든다면 모래는 도로와 주유소 시스템을 만드는 셈이에요. 내비게이션과 도로망 전체를 만들어서 차들이 최대한 효율적으로 움직이도록 관리하는 소프트웨어를 만드는 겁니다.
오픈AI나 구글 같은 빅테크는 쿠다에 크게 의존하지 않고, 자기들만의 소프트웨어를 오래전부터 구축해 왔어요. 재작년부터는 AMD GPU 같은 대안 하드웨어를 빅테크들이 도입하기 시작했는데, 이게 AMD가 쿠다에 대응하는 소프트웨어를 완벽히 갖췄기 때문은 아니에요. 빅테크들이 자신감을 가지게 된 거죠. 직접 소프트웨어를 만들 수 있으니 다른 반도체를 가져와도 쓸 수 있다는 판단입니다.
쿠다의 한계도 있어요. 쿠다는 개별 GPU를 어떻게 효율적으로 쓸지에 초점을 맞춘 소프트웨어라서, GPU 수천, 수만 장 규모의 데이터센터 스케일에서는 직접 풀어야 할 문제가 많습니다. 그래서 결국 더 아래 단계, 즉 하드웨어에 가까운 층까지 내려가야 했고, 그 과정에서 자연스럽게 쿠다 종속에서 벗어날 수 있었다고 합니다.
모래의 연구원들은 약 10년 전부터 AMD GPU로 슈퍼컴퓨터를 만드는 연구를 해 왔어요. 2011~2012년부터 시작했으니, AMD GPU로 클러스터링을 해 본 글로벌에서도 오래된 팀 중 하나입니다. AMD GPU를 AI 용도로 쓴 것도 거의 글로벌하게 가장 먼저 시도한 곳이고, KT 클라우드와 함께 GPU 수천 장 규모의 인프라를 실제로 구축해 서비스까지 제공했습니다. 이런 사례들을 보고 AMD도 관심을 가지면서 투자로 이어졌습니다.
처음에는 "AMD GPU로 AI 모델을 만들고 돌릴 수 있다"는 말을 아무도 믿지 않았어요. 그런데 최근 2년 사이 빅테크를 중심으로 엔비디아 외의 선택지를 쓰려는 움직임이 생기면서, 고객들이 "오픈(OpenAI)도 쓴다, 메타도 쓴다"고 하니 "되긴 되나 보다"라는 인식이 바뀌고 있다고 합니다.
대표님은 이 분야의 경쟁자가 결국 엔비디아라고 봅니다. 다른 소프트웨어 회사들끼리 경쟁하는 건 큰 의미가 없다는 거죠. 고객 입장에서는 쿠다가 좋고 엔비디아 생태계가 있으니, 엔비디아 GPU를 사서 엔비디아 소프트웨어를 올려 쓰는 게 가장 편합니다. 그러니 그 편의 대비 어떤 가치를 줄 수 있느냐가 인프라 회사들의 핵심 과제라고 말합니다.
엔비디아와 똑같은 걸 만들어서 이기는 건 현실적으로 아주 어렵습니다. 그래서 기술적인 구조를 바꿔서 경쟁해야 한다고 봅니다. 시스템 규모가 커지면서 데이터센터의 중심축이 하드웨어에서 소프트웨어로 옮겨 가고 있다는 게 그 근거예요. 지금은 데이터센터를 지을 때 먼저 엔비디아 GPU를 고르고, 네트워크와 소프트웨어는 그 다음에 고민하는 경우가 많죠. 모래는 어떤 반도체든 쓸 수 있는 소프트웨어를 만들어서, 데이터센터를 설계할 때 "모래 소프트웨어를 쓰자"가 출발점이 되도록 만들고 싶다고 합니다.
모래가 짓고 있는 데이터센터 접근법은 이렇습니다. "굳이 엔비디아 GPU로 만들 필요가 없다. 소프트웨어를 다 제공할 수 있으니, 엔비디아 GPU를 도입하면 비싸기만 하고 다른 반도체를 쓰면 훨씬 싸고 효율적으로 지을 수 있다." 텐스토렌트나 향후 국산 반도체를 활용하는 데이터센터를 많이 시도해 볼 계획입니다. 여기에는 엔비디아 칩이 한 장도 안 들어갑니다. 엔비디아를 쓸 이유가 크지 않다는 거죠.
예를 들어 AMD GPU에 모래 소프트웨어를 더하면 엔비디아 GPU만큼 성능을 낼 수 있다는 말도 가능한가요? 대표님은 "다른 반도체를 쓰면 엔비디아보다 훨씬 효율적으로 쓸 수 있다고 원래부터 생각해 왔다"고 답했어요. 다만 소프트웨어적으로 어렵고, "안 된다"는 편견도 있어서 이걸 시도하는 곳이 거의 없다는 겁니다. 그래서 자신들이 할 수 있다고 보는 거죠.
대표님의 비전은 "대규모 데이터센터의 중심은 소프트웨어가 된다"는 겁니다. 지금 사람들은 데이터센터 하면 엔비디아를 떠올리지만, 앞으로는 데이터센터의 핵심이 소프트웨어가 되리라고 봅니다. 아직 사람들이 완전히 인지하지 못했을 뿐, 이 방향으로 산업이 나갈 거라고 믿고 회사를 운영해 왔다고 합니다. 이미 여러 증거가 나오고 있어서, 그 방향이 맞다는 확신이 조금씩 생긴다고요.
또한 "인프라 소프트웨어를 잘 만드는 것이 모델의 경쟁력이고, MBI(엔비디아)의 독점을 깨는 방향"이라는 주장을 과거부터 계속해 왔다고 합니다. 실제로 모델 서비스를 기존 가격의 절반 수준에 제공하는 것을 보여 줌으로써, "이 소프트웨어를 쓰니 원래 비쌌던 AI를 이렇게 저렴하게 쓸 수 있구나"라는 사례를 올해 안에 더 실질적으로 보여 주겠다고 합니다.
작년에 딥시크 때문에 엔비디아 주가가 크게 떨어진 적도 있었죠. 해외에서는 모래를 딥시크에 가장 근접한 글로벌 스타트업으로 평가하고 있다고 합니다. 엔비디아 수요도 계속 늘겠지만, 다른 칩 업체들의 수요가 훨씬 빠르게 늘 가능성이 있다고 보고 있습니다.
솔직히 말씀드리면, 모래가 엔비디아를 100% 이길 수 있다고는 생각하지 않습니다. 쿠다가 쌓아 온 20년이 한 번에 무너지지는 않으니까요. 그런데 모래가 노리는 건 엔비디아를 이기는 게 아니라, 엔비디아 말고 다른 선택지를 하나 더 만드는 일입니다. 이건 완전히 다른 게임이에요.
안드로이드가 처음 나왔을 때 iOS를 이길 거라고 믿은 사람은 거의 없었어요. 그런데 지금 전 세계 스마트폰의 70%가 안드로이드입니다. iOS를 이긴 게 아니라, iOS 말고 다른 선택지가 되면서 시장 자체를 키운 거죠. 모래가 노리는 자리가 정확히 그런 자리입니다.
더 중요한 건, GPU 한 장이 5천만 원을 넘고 데이터센터 하나에 수조 원이 들어가는 시대에, 쿠다 말고도 길이 있다는 걸 증명하는 것 자체가 엄청난 가치를 가진다는 점입니다. 엔비디아를 완전히 대체하지 않더라도, 엔비디아 가격을 협상할 수 있는 두 번째 선택지 하나만 있어도 데이터센터의 비용 구조는 크게 바뀔 겁니다.
물론 리스크도 분명합니다. 모래가 아무리 좋은 소프트웨어를 만들어도, 결국 AMD나 텐스토렌트 같은 하드웨어 파트너의 칩이 엔비디아만큼 안정적으로 공급되어야 의미가 있어요. 소프트웨어가 아무리 뛰어나도 하드웨어 생태계가 따라오지 못하면 무너집니다. 성공하느냐 실패하느냐를 떠나, 이런 도전 하나하나가 우리나라의 미래를 좌우하는 중요한 지표가 될 것이라고 저는 확신합니다.
미국은 지난 20년 동안 구글, 테슬라, 메타, 팔란티어 같은 걸출한 스타트업들이 등장했습니다. 한국은 지난 20년간 대기업 반열에 오른 스타트업이 토스 정도뿐이었어요. 우리도 제2의 삼성, 현대, SK, 그리고 세계에 도전하는 네이버와 카카오가 나와야 합니다. 이런 도전 하나하나가 그 시작이 될 것이라고 믿습니다.
더 자세한 내용은 고정 댓글의 링크에서 풀 버전을 보실 수 있습니다. 회원 가입 후 약 30분짜리 풀 버전 영상을 시청하실 수 있어요. 더 궁금한 점은 댓글로 남겨 주시고, 좋아요와 멤버십 가입도 부탁드립니다. 감사합니다.
Comments 0