저자: SoftdragonSOD · 한국인
요약 보기
한국 KAIST 한동수 교수 연구팀이 PC방용 RTX GPU 10개와 CPU를 병렬 연결한 분산학습 프레임워크 스텔라 트레이로 대형 AI 모델 학습에 성공했다고 소개. 엔비디아 H100 대비 최대 52배 효율이라는 보도가 있으나 근거 불명확해 다소 과장 가능성. 기존 대비 GPU 8~16배 적게 필요하다고 주장하며, 전문가 혼합(MoE) 메모리 최적화 기법(ESMoE)을 함께 제시. 영상은 AI 가성비 시대 도래로 엔비디아 재평가 필요성과 한국의 저전력 고효율 반도체 시장 가능성을 언급.
다듬은 글
딥시크는 충격이었습니다. 그런데 딥시크보다 먼저, 한국 연구진이 동네 PC방에서 쓰는 게이밍 칩으로 AI를 더 싸게 학습시켰다는 사실이 걸렸고, 우수 연구로 상당한 주목을 받았습니다. 딥시크가 충격이었던 이유는 비싼 엔비디아 GPU 없이 약 80억 원이라는 비교적 적은 돈으로 챗GPT에 버금가는 성능을 냈기 때문이죠. 한국도 이번에 가정용 칩으로 AI 학습에 성공했고, 학회에서 발표하면서 큰 파장을 일으켰습니다.
흥미로운 점은 한국이 중국보다 상대적으로 유리한 조건이라는 것입니다. 미국의 제재를 받지 않으니까요. 물론 자금과 로비의 한계 때문에 엔비디아 GPU를 많이 들여오기는 어렵지만, 중국은 아예 수입 자체가 불가능합니다. 아이러니하게도 딥시크의 성공은 미국이 중국에 무역 제재를 걸었기 때문에 가능했습니다. 미국이 하나에 3천만 원 하는 엔비디아의 고성능 칩이 중국에 가는 것을 막지 않았다면, 중국도 다른 빅테크처럼 고성능 칩으로 AI를 학습시켰을 겁니다. 하지만 딥시크는 저사양인 H800밖에 구할 수 없었고, 오히려 이런 제약이 더 큰 혁신을 이끌어내며 세계를 뒤집어 놓았습니다. 그렇다면 왜 한국의 연구는 세계를 뒤집지 못했고, 딥시크는 뒤집었을까요?
결론부터 말하면, 카이스트 한동수 교수 연구팀은 기존보다 10배 빠른 성능을 내는 PC방용 RTX 칩으로 성공을 거뒀습니다. AI는 학습과 추론으로 나뉘는데, 학습에는 천문학적인 돈과 시간이 들어갑니다. 비싼 GPU를 많이 사야 하기 때문이죠. 머스크가 엔비디아 GPU를 10만 대 구축했다고 자랑하는 것도, 그만큼 AI 학습을 많이 해서 성능이 좋아질 확률이 높기 때문입니다. 그런데 우리나라의 방법을 쓰면 필요한 GPU가 8배에서 16배 정도 줄어든다고 합니다.
2024년 9월 연구팀은 '스텔라 트레인(Stellar Trains)'이라는 분산 학습 프레임워크를 공개했습니다. 프레임워크는 AI라는 요리를 만들기 위한 주방과 같습니다. 주방 기기들이 꼭 필요한 것만 잘 갖춰져 있으면 요리 시간이 줄고 맛이 좋아지듯, 최적화된 프레임워크를 쓰면 AI 성능을 끌어올릴 수 있습니다. 연구팀은 엔비디아 RTX GPU 10개와 일반 CPU를 병렬로 연결해 거대 AI 모델을 빠르게 학습시키는 데 성공했습니다. 기존에는 CPU를 쓰면 GPU 메모리와 네트워크 속도의 제한 때문에 AI 학습 속도가 수백 배는 느려졌습니다. 하지만 스텔라 트레인은 CPU와 GPU를 병렬로 연결해 속도를 높였습니다.
게임용 그래픽카드 열 장만으로 엄청난 속도를 낸 겁니다. 한 언론사는 H100과 비교해 효율이 52배에 달한다고 강조했습니다. 다만 학습 성능을 어떤 기준으로 평가했는지 알 수 없고, 논문에도 52배라는 내용은 나오지 않아 살짝 과장된 감이 있습니다. 그렇더라도 H100 여러 장과 400Gbps급 초고속 네트워크가 있어야 나올 수 있는 성능을, PC 부품과 알고리즘 최적화만으로 이뤄냈다는 것은 대단한 성과입니다.
조금 더 자세히 보면, 연구팀은 GPU 메모리의 한계를 극복하는 'ESM(Expert Sharded Mixture)' 기법도 개발했습니다. 믹스처 오브 엑스퍼츠(MoE)는 여러 전문가를 모아 두고, 작업에 따라 필요한 전문가만 선택적으로 일하게 하는 방식입니다. 모든 전문가를 한꺼번에 일 시키지 않아도 되니 효율적입니다. 문제는 역시 메모리 용량입니다. 작업 종류가 많아질수록 필요한 전문가도 늘어나고, 이들을 어떻게 배치하느냐가 중요해집니다. 모델의 파라미터 수가 기하급수적으로 커지면 GPU도 많이 필요하고, GPU가 너무 비싸지면 돈이 부족한 학교나 제재를 받는 중국은 엔비디아 제품을 쓸 수 없습니다.
그래서 연구팀은 여러 방법으로 이 문제를 풀었습니다. 쉽게 요약하면, 필요할 때만 전문가를 부르는 방식입니다. 예전에는 일이 있든 없든 전문가들을 대기시켜 두었다면, 이제는 쉬게 하다가 필요할 때만 불러 일을 시키고 끝나면 내보내는 식입니다. 각 파라미터를 GPU 메모리가 아니라 외부 메모리에 두고, 실제 계산할 때만 GPU로 불러오는 전략입니다. 그리고 일의 배분도 아주 적절하게 했습니다. 아주 똑똑한 관리자를 둔 셈입니다. 네트워크 상황에 따라 실시간으로 조절하는 동적 최적화 기술로 CPU 활용률을 극대화했습니다. 이것이 바로 ESM입니다.
그렇다면 이런 의문이 듭니다. 이렇게 좋은 연구 결과가 나왔는데 우리는 왜 세계를 뒤집지 못했을까요? 여러 이유가 있겠지만, 제 생각에 가장 중요한 것은 홍보와 마케팅의 부족입니다. 중국은 이미 세계적으로 주목받는 핫 페이퍼를 세계 1위로 내놓으며 미국마저 제쳤습니다. 반면 우리나라 대중은 과학기술 분야에 상대적으로 관심이 낮은 편입니다. 저희도 과학기술과의 접점을 늘리려고 노력하고 있지만 여전히 많이 부족합니다. 세계 최고 수준의 논문과 연구 결과를 내도, 국내에서는 많은 분이 별다른 관심을 두지 않습니다.
두 번째는 접근법의 차이입니다. 딥시크 같은 스타트업은 빠르게 실패하고 또 실패하며 사업화를 서둘러, 가파른 성장 곡선을 만드는 것이 목표입니다. 반면 대학은 기업이 아니므로 우수한 연구를 차분히 쌓아 올리는 곳입니다. 사업화를 목표로 하는 경우도 있지만, 그렇지 않은 경우가 훨씬 많습니다. 실제로 ESM은 연구의 영속적인 목표가 강조된 느낌이 있습니다.
세 번째는 브랜드 스토리입니다. 지금 세계는 미국 대 중국의 구도로 짜여 있습니다. 아무리 객관성이 중요한 과학기술이라도 결국 사람이 하는 일입니다. 사람들은 언더독의 반란에 열광합니다. 중국 스타트업이 거대한 미국 빅테크를 이기고 성공했다는 이야기는 전 세계 언론이 일면에 실을 만한 매력적인 소재입니다. 그 밖에도 실제 성능의 차이나, 실제 대중이 쓸 수 있는 제품으로 나왔는지 같은 차이도 당연히 있습니다. 어쨌든 우리나라에서도 이렇게 희망적인 연구가 많이 나오고 있습니다.
그러면 앞으로 AI 시장은 어떻게 흘러갈까요? 중국 정부는 AI를 국가 전략 사업으로 선정해 전폭적으로 지지하고 있고, 일부에서는 딥시크를 AI판 스푸트니크라고 부를 정도입니다. 우리나라도 전폭적인 지원을 하고 있지만 규모 면에서는 한계가 있습니다. 제가 반도체를 전공해서 그런지, 딥시크 같은 흐름 때문에 반도체 업계 전반의 판도도 바뀔지 모른다는 생각이 듭니다. 최근 엔비디아는 실적이 좋았는데도 주가가 지지부진했습니다. 물론 트럼프 행정부라는 대외적·정치적 요인도 있겠지만, 싸게 할 수 있다면 굳이 비싼 GPU를 살 필요가 있느냐, 그러면 엔비디아가 예전처럼 잘 팔 수 있겠느냐는 투자자들의 의문도 없지 않았을 겁니다. 투자자들이 AI 가성비 시대가 오는 것이냐며 재평가에 들어갔다고 볼 수도 있습니다. 더 강력한 칩이 정석으로 여겨져 왔지만, 이제는 최적화로 기존 칩을 극한까지 활용하는 방식이 대안으로 떠오르고 있기 때문입니다.
물론 가정용 칩이나 H800 같은 중저가 제품으로도 충분한 성능을 낼 수 있다는 것은, 만약 B200이나 B100 같은 초고성능 칩을 쓴다면 훨씬 압도적인 성능이 나온다는 뜻이기도 합니다. 다만 사고 싶어도 못 사는 상황이라는 점이 문제입니다. 어쨌든 AMD, 구글, 그리고 각국의 AI 반도체 설계사와 개발사 모두가 이제 효율 극대화를 화두로 새로운 경쟁에 뛰어들어야 할 상황인 것은 분명해 보입니다. 자본으로 밀어붙이는 미국, 어떻게든 파고들려는 중국 사이에서 한국의 앞으로 시장은 어떻게 될까요?
저는 스마트폰이 그랬듯이 저전력 고효율 방향으로 가지 않을까 조심스럽게 생각합니다. 실제로 엔비디아의 50번대 시리즈도 하드웨어 성능이 살짝 정체되면서 그것을 소프트웨어로 끌어올렸습니다. 이런 것을 보면, 하드웨어 성능을 퀀텀 점프시키려면 뭔가 다른 방법이 있어야 할 것 같다는 생각이 요즘 듭니다. 이번 연구를 주도한 한동수 교수는 이렇게 말했습니다. "AI 시장도 스마트폰 시장처럼, 가장 좋은 반도체보다 가장 효율적인 AI를 어떻게 찾느냐가 경쟁으로 이어질 것이다."
Comments 0