원문 보기
딥 시크는 충격이었죠. 그런데 딥시크 먼저 한국의 연구진이 동네에서 돌아다니는 피시방 칩으로 더 싸게 AI 학습시켰다 막 걸렸고 우수 연구로 상당히 많은 주목을 받았었어요. 딥 시크가 그때 충격이었던 것은 그 비싼 엔비디아 GPU 없이 단 80억원의 상대적으로 적은 돈으로 채치 피트에 버금가 성능을 구 했기 때문이었죠. 하지만 한국은 또 국봉이 할 것 같은데 가정용 칩으로 AI 학습시키는 성공했었고 학회에도 발표하면서 큰 방향을 일으켰어요. 흥미로운 점은 우리나라는 중국에 비해서 상대적으로 더 유리한 조건이라는 점이에요. 왜냐면 미국에 제재를 당하진 않잖아요.
물론 자금과 로비의 한계가 있기 때문에 엔비디아 GPU 많이 수입해 올 순 없지만 중국은 수입조차 불가능하니까요. 그런데 아이러니하게도 딥 시크의 성공은 미국이 중국의 무역 제재를 걸었기에 가능했습니다. 미국이 하나에 3천만 원 하는 엔비디아 00이 중국에 가는 것을 막지 않았다면 중국 역시 다른 빅테크처럼 고성능 칩으로 AI 학습시켰다 하지만 딥 시크는 저사양 집인 h800 밖에 구할 수 없었고 오히려 이런 분리한 조건이 더 큰 혁신을 이끌어내며 세계를 탁 뒤집어 버렸죠. 그러면 왜 한국의 연구는 세계를 뒤집지 못했고 시크는 세개를 뒤집은 걸까요.
결론부터 말씀드리면 카이스트 한동수 교수 연구팀은 기존보다 10배 빠른 성능을 PC 방에 써 놨 수 있는 rtx 칩을 통해서 성공했습니다. AI 학습과 추론으로 크게 나뉘는데 학습에 천문학적인 돈과 시간이 들어갑니다. 비싼 GPU 많이 사야 되거든요. 머스크가 00을 10만대 구축했다고 자랑을 하는 건 그만큼 자신들의 AI 학습을 많이해서 론 거가 좋아질 확률이 높아질 수 있기 때문에 그래요. 그런데 우리나라의 방법을 사용하면 필요한 GPU 여덟 배에서 16배 정도 낮아진다고 합니다. 2024년 9월 연구팀은 스텔라 트레이라는 분산 학습 프레임워크를 공개했는데요.
프레임워크는 AI 아는 요리를 만들기 위한 주방이에요. 주방 기기들이 꼭 필요한 것만 기가막히게 구성이 되어져 있으면 요리 시간이 확 줄이고 맛을 높일 수 있듯이 최적화된 프레임워크를 쓰면 AI 성능을 끌어올릴 수 있습니다. 연구팀은 엔비디아 rtx GPU 10개와 일반 CPU 병렬로 연결하는 방법으로 거대 AI 모델을 빠르게 학습시키는 성공했습니다. 기존에 적가 CPU 사용하면 GPU 메모리랑 네트워크의 속도 제한으로 AI 학습 속도가 한 수백배는 늘어졌어요. 하지만 연구 팀이 개발한 스텔라 트레이는 CPU GPU 병렬로 연결을 해서 속 속도를 높였습니다.
단 열장의 게임용 그래픽 카드만으로도 엄청난 속도를 낸 겁니다. 한 언론사에서는 h 100과 비교하면 효월이 52배 달하는 수준이라고 강조했는데음이 부분은 학습 성능이 어떤 기준으로 평가했는지 모르고 논문에서도 이제 5,2%든지 52배 대한 내용은 나오지 않기 때문에 약간은 살짝 과장된 감도 있긴 하지만 뭐 틀린 말은 아니고요 h00 여러장과 400gb BPS 초고속 네트워크가 있어야만 나올 수 있는 능을 고작 PC 부품이란 알고리즘 최적화만으로 이루어냈다는 것 대단한 성과입니다. 조금 더 자세히 말씀드리면 연구팀은 GP 메모리의 한계를 극복한 esm oe 아는 새로운 기법도 개발을 했는데요.
믹스처 브라는 뜻인데라고 부를게요는 여러 특화된 전문가들을 딱 모아놓고 뭐 일을 시켜요 작업에 따라 필요한 전문가들을 선택적으로 일하도록 만드는 거예요. 이렇게 하면 굳이 모든 전문가들을 한꺼번에 일 를 안 시켜도 되니까 효율적인 거예요. 그런데 문제는 역시 메모리 용량입니다. 작업의 종류가 많아지니까 필요한 전문가들도 많아졌어요이 전문가들을 어떻게 배치해야 하는가가 중요한 문제가 됩니다. 모델이 찾아는 파라미터의 수가 기하 급수적으로 커지면 GPU 많이 필요해지는 GPU 너무 비싸지니까 돈이 부족한 학교나 제재를 당하고 있는 중국 입장에선 엔비디아 제품을 사용을 할 수가 없습니다.
그래서 연구지 여러 방법을 사용해서이 문제를 해결했는데 내용이 어렵기 때문에 쉽게 요약을 하면요 필요할 때만 전문가를 불러요 예전에는 네가 일을 하든 일을 하지 않았든 여기서 대기해 이런 거였는데 어 좀 근처 좀 쉬다가 필요할 때만 딱 불러 가지고 일시키고 이제가 이렇게 나가라 이렇게 하는 이런 방식이에요. 각각의 파라미터를 GPU 메모리가 아니라 외부 메모리에 두고 실제 계산할 때만 GPU 불러오는 전략을 사용을 한 겁니다. 그리고 이 일의 배분을 아주 적절하게 했어요. 굉장히 머리 좋은 관리자를 만들어 놓은 거죠. 네트워크의 상황에 따라서 실시간으로 조절하는 동적 최적화 기술를 통해서 CPU 활용률을 예술적으로 극대화했습니다.
이게 바로 ES이에요. 그러면 이런 의문이 들죠. 아니 대체 우리는 왜 이렇게 좋은 연구 결과에도 세계를 뒤집지 못했나 이에 대해서는 여러 가지 이유가 있겠지만 요거는 제 피셜이 가장 중요한 홍보랑 마케팅의 부족도 있지 않았을까 싶습니다. 왜냐면 중국은 이미 세계적으로도 주목받는 핫 페이퍼 세계 1회로 미국조차 제쳤고 또 우리나라 대중들은 상대적으로 과학 계술 관심도가 조금 낮은 편에 속합니다. 그래서 저희가 어떻게든 과학 기술과의 접점을 늘려 드리고자 뭐 이렇게 노력을 하고 있지만 여전히 많이 부족해요. 제 아무리 세계 최고 수준의 논문과 연구 결과를 낸다고 하더라도 사실 우리나라에선 많은 분들이 별다른 관심 없거든요.
이런 홍보의 부족함도 있을 거고요 두 번째로는 딥 시크란 스타트업과 카이스트는 대학의 접근법의 차이가 있지 않을까 싶습니다. 스타트업은 빠르게 실패하고 실패하고 실패하고 실패하며 사업화를 빠르게 진행해서 제자 커브 미친 성장을 달성하는 것이 목표인 곳이에요. 반면 대학은 기업이 아니잖아요. 우수한 연구를 진득하게 만들어내는 곳이죠. 사업화를 목적으로 하는 경우도 있긴 하지만 그렇지 않은 경우가 훨씬 더 많습니다. 실제로 esmo 좀 영구적인 목표가 많이 강조된 느낌이에요. 세 번째는 농담처럼 들릴 수도 있지만 브랜드 스토리가 있지 않을까 싶어요.
지금 전 세계는 미국 vs 중국의 구도가 잡혀 있잖아요. 아무리 이성과 객관이 중요시되는 과학 기술이라도 결국에는 사람이 하는 일이거든요. 사람들은 언더독의 반란에 열광합니다. 중국 스타트업이이 거대한 미국 빅테크 이기고 성공해 냈다 야 아 이거이 스토리는 전 세계 언론사들이 일면의 식기에 진짜 탐나는 소재 아아 그 외에도 뭐 실 성능의 차이 그리고 실제 대중들이 사용할 수 있는 프로덕트로 나왔냐 아니냐 이런 차이도 당연히 있겠죠. 어쨌든 우리나라에서도 이렇게 희망적인 영구가 많이 나오고 있잖아요. 그러면 앞으로의 AI 시장 어떻게 흘러갈까요.
중국 정부는 AI 국가 전략 사업으로 선정을 하고 전폭적인 지지를 아끼지 않았고 일부 사람들은 딥 시크를 두고 AI 판 스포트 닉 크라고 부를 정도였습니다. 물론 우리나라도 전폭적인 지원을 하고 있지만 규모적인 부분에서 한계가 존재하긴 합니다. 개인적으로는 제가 반도체 전공자다 보니까 반도체 업계 전반의 판도 딥시크 같은 것들의 등장으로 인해서 바뀔지도 모르겠다는 생각이 조금 드는데요. 최근 엔비디아가 실적을 잘했어요. 그럼에도 불구하고 주가가 좀 지지부진했고 물론 이거는 뭐 트럼프라는 대외적인 뭐 정치 사회적인 요인도 있겠지만 싸게 할 수 있다면 굳이 비싼 GPU 살 필요가 있을까 그러면 엔비디아가 예전만큼 잘 팔 수 있을까라는 투자자들의 의문이 없었다고는 말할 수 없을 거예요.
투자자들이 AI 가성비 시대가 오는 건가라고 재평가에 들어갔다고 볼 수도 있겠죠. 더 강력한 칩이 정석처럼 여겨져 왔지만 이제는 최적화로 기존 칩을 극한까지 활용하는 방식이 대안으로 떠오르고 있기 때문입니다. 물론 가정용 칩이나 h800 럼 중저가 제품만 으로도 충분한 성능을 이끌어낼 수 있다는 건 만약에 백이나 BB 같은 초고성능지를 쓴다면 진짜 훨씬 더 넘사벽의 성능이 나온다는 뜻이긴 합니다. 아니 근데 이거는 뭐 사고 싶어도 못 사잖아 어쨌든간에 AMD 구글 그리고 각국의 AI 반도체 뭐 설계사 개발사 모두가 이제는 효율 극대화를 화두로 새로운 경쟁에 뛰어들어야 되는 상황이면 틀림없어 보입니다.
자본으로 때려박는 미국 어떻게든 파고 들으려고 하는 중국요 사이에 한국 앞으로의 시장은 어떻게 될까요. 저는 스마트폰도 그러했듯이 저전력 고효율로 아무래도 가지 않을까 조심스럽게 생각해 봅니다. 실제로 디의 5천번대 시리즈도 성능이 하드웨어 성능이 살짝 정체되어 그거를 소프트웨어로 끌어올렸어요. 이런 걸 보면 하드웨어 성능을 뭔가 퀀텀 점프 시키려면 아 뭔가 좀 다른게 있어야 될 거 같다 이런 생각이 드는 요즘입니다. 이번 연구 를 주도한 한동수 교수는 말했습니다. AI 시장도 스마트폰 시장처럼 가장 좋은 반도체보다 가장 효율적인 AI 어떻게 찾느냐가 경쟁으로 이어질 것이다
Comments 0