저자: SoftdragonSOD · 한국인
요약 보기
AI 데이터센터의 발열·전력 문제가 심각해지고 있으며, 냉각 기술과 패키징이 핵심으로 부상한다고 주장. 한국 경기도의 반도체·데이터센터 전력 공급 부족(수도권 전기 약 10% 미확보 추정)을 지적하고, 한국 AI 스타트업(업스테이지 솔라 등)의 효율적 소형 모델과 전력효율을 강조. 엔비디아는 최근 하락했지만 지난 5년 약 2,000% 상승했고, 향후 데이터센터 인프라 강자가 주목받을 가능성과 GPU 이후 새로운 칩 아키텍처 등장을 예상.
다듬은 글
역사상 최고의 개발자를 꼽자면 저는 윌리스 캐리어를 꼽습니다. 우리 인류를 더위에서 구해 준 에어컨을 만든 사람이죠. 만들어도 되는 업적이라고 인정할 만합니다. 그런데 지금 데이터센터에서 비슷한 일이 벌어지고 있습니다.
오픈AI의 스타게이트는 원전 여섯 기 규모의 전력을 빨아들일 것으로 예측됩니다. 젠슨 황은 새로운 데이터센터에 수조 원을 투자하겠다고 밝혔습니다. 그런데 AI는 탄소 배출 급증을 주도하고 있습니다. 화려한 무대 뒤에서 심각한 일들이 벌어지고 있는데, 일각에서는 자칫하면 한국이 멈추는 대재앙이 올 수도 있다는 이야기가 나옵니다. 그래서 데이터센터를 우주로 보내자, 아니면 동남아로 보내자는 얘기까지 나오고 있습니다. 그런데 아직 많은 사람들이 그 심각성을 모르고 있습니다.
이 발열을 주도하는 것이 바로 AI입니다. ESG를 외치고 있지만 아이러니하게도 AI는 탄소 배출을 늘리고 지구 온난화를 촉진하며 어마어마한 열을 뿜어내고 있습니다. 인간도 지금 더워 죽겠는데 데이터센터는 엄청난 열을 받고 있는 셈입니다. 캐리어가 인류의 열을 식혀 준 구원자로 불리듯, 데이터센터의 열을 잡는 사람은 AI 시대의 구원자로 불리게 될 겁니다.
반도체는 본질적으로 열이 발생합니다. 최신 AI 슈퍼칩은 손바닥만 한 크기인데 미친 듯한 열이 납니다. 1초에 수조 번 스위칭이 일어나고 수백억 개의 트랜지스터가 전류를 변환하니 열이 나지 않으면 그게 기적입니다. 엔비디아가 최근 공개한 블랙웰도 냉각을 하지 않으면 칩 온도가 1,000도 이상 올라갈 수 있다고 합니다. 온도가 그만큼 올라가면 HBM에 저장된 데이터가 싹 날아가 버리겠죠.
그래서 앞으로는 슈퍼칩을 만드는 기술과 슈퍼칩을 냉각하는 기술, 이 두 가지가 핵심적인 역할을 하게 될 겁니다. 반도체 패키징을 전공한 입장에서 보면 패키징의 역할은 칩 간의 전기적 연결, 물리적 연결, 그리고 마지막으로 열 배출입니다. 이 중 열 배출이 굉장히 중요합니다.
과거에는 패키징이 상대적으로 덜 중요했지만, 칩 성능이 높아질수록 패키징이 매우 중요해졌고 대기업들도 최근 이를 강조하고 있습니다. 이처럼 중요하지 않다고 여겨지던 패키징이 중요해졌듯이, 이제는 냉각 방식이 매우 중요해질 겁니다. 열을 줄이려고 데이터센터를 우주에 배치하는 계획까지 나올 정도입니다. 지금은 많은 곳이 물이나 공기로 식히고 있는데, 그냥 시원한 우주에 놔두면 안 되냐는 거죠. 실제로 스타트업 스페이스 같은 몇몇 회사들이 우주 데이터센터를 연구하고 있습니다.
극복할 이슈는 많습니다. 하지만 분명한 것은 지금처럼 데이터센터를 지구에 그대로 두면 정말 큰일이 난다는 점입니다.
AI 시대에 새로운 법칙이 관찰되기 시작했습니다. 모델의 크기가 2년마다 몇 배씩 늘어나고 있다는 겁니다. KAIST 김정호 교수의 의견에 따르면 오픈AI가 2028년경 구축할 예정인 GPU 280만 대 규모의 스타게이트는 원전 여섯 기 규모의 전력을 빨아들일 것으로 예측됩니다.
데이터센터는 우리 스마트폰에 있는 거의 모든 데이터가 처리되고 저장되는 곳입니다. 검색 기록부터 사진, 통화 내역, 클라우드에 저장된 자료, 그리고 제미나이, 코파일럿, 클로드에 요청한 모든 질문까지 여기서 처리됩니다. 데이터센터에 고장이나 이슈가 생기면 최근 MS 클라우드 서버 장애로 전 세계에 블루스크린이 떴던 것처럼 엄청난 문제가 생깁니다.
현업 종사자들에게 물어보면 서버 이슈는 어차피 생길 수밖에 없고, 그래서 얼마나 빨리 문제를 해결하고 복구하느냐를 중요하게 본다고 합니다. 중요한 점은 데이터센터 한 곳의 전력 소모량이 4인 가족 1만 가구가 쓰는 양과 맞먹는다는 겁니다. 발열이 미친 듯이 날 수밖에 없죠. 젠슨 황은 새로운 형태의 데이터센터를 짓겠다고 발표했고, 엔비디아 매출에서 데이터센터가 거의 대부분이니 이 이슈를 모를 수가 없습니다. 구글, 아마존, MS 같은 기업들도 동남아에 데이터센터를 짓겠다고 발표했습니다.
솔직히 님비(NIMBY) 같기도 하지만, 말레이시아, 인도네시아, 베트남에 데이터센터를 지으면 물이나 전기세 같은 인프라 비용을 낮출 수 있다는 계산입니다. 여기서 알 수 있는 것은 발열을 원천적으로 낮추는 방법은 아직 찾지 못했고, 발생한 열을 낮추거나 장소를 옮기는 방법만 제한적으로 쓰이고 있다는 점입니다. 바다에 넣든, 우주로 보내든, 동남아로 보내든 결국 AI로 인한 전력 이슈와 탄소 배출 가속화에 대한 국제에너지기구의 경고도 무시할 수 없습니다.
미국이야 돈과 힘으로 어디에든 데이터센터를 박아 놓을 수 있겠지만, 문제는 우리나라입니다.
스타트업에서 AI 서비스를 하려는 분들은 인프라 비용 때문에 고민이 많습니다. GPU를 몇 대만 꽂아도 소음 공사, 전기 공사를 따로 해야 하고, 규모가 조금만 커져도 비용이 감당하기 어렵습니다. 그렇다고 해외 클라우드 서비스는 너무 비쌉니다.
우리나라는 2047년까지 경기도에 반도체 공장 16개와 데이터센터 등을 지어 650조 원 이상의 경제 규모와 300만 명 이상의 고용을 창출하겠다는 계획을 가지고 있습니다. 그런데 문제는 이 공장과 데이터센터에 필요한 전기가 없다는 것입니다. 원전 3~4기 분량의 전력이 필요한데, 데이터센터 신설까지 포함하면 수도권 전기의 약 10%를 제때 받지 못한다는 계산이 나옵니다.
산업통상자원부에 따르면 반도체 전력 수요는 15년 뒤 크게 증가하고, 데이터센터 전력 수요는 거의 두 배 가까이 급증할 것으로 예상됩니다. 즉, 어마어마한 전력이 필요하지만 한국은 이를 공급할 구체적인 방안이 없습니다. 천조 원 넘게 들어간 반도체 사업이 전기가 없어서 돌아가지 못할 수도 있는 상황입니다. 그래서 많은 분들이 국내 스타트업의 기술에 주목하는 겁니다.
이 부분이 정말 아쉬운데, 한국이 '국뽕'을 너무 뿌려서 오히려 좋은 국내 연구가 제대로 소개되지 못하는 경우가 많습니다. 많은 분들이 엔비디아의 진격을 보며 엔비디아 말고 다른 회사가 도전하는 것을 의아하게 바라보시는데, 생각해 보면 그분들은 우리보다 훨씬 머리 좋은 분들이고, 수천억에서 수조 원을 굴리는 투자자들입니다. 그런 사람들이 도전이 일리 있다고 판단하는 이유가 있습니다.
국뽕을 빼고 수치와 팩트로 말할 수 있는 한국의 강점은 바로 최적화입니다. AI 반도체의 가장 큰 장점은 파워 효율입니다. 같은 워크로드, 같은 성능을 낼 때 GPU 대비 훨씬 적은 전력을 쓰는 것이 핵심입니다. 국내 AI 반도체 기업들은 엔비디아의 같은 전력 수준의 칩과 비교했을 때 더 나은 성능을 보여줬다고 말합니다. 응답 속도나 처리량 두 분야에서 앞서는 경우도 있고, 응답 속도는 빠르지만 처리량은 작게 나오는 경우도 있다고 합니다. 특정 기업을 넘었다고 단정하기는 어렵지만, 앞으로 AI 컴퓨팅 수요가 엄청날 것이고 거기서 글로벌 강자가 되는 것이 꿈이라고 말합니다.
국내 스타트업 업스테이지가 만든 솔라는 GPT-4에 가까운 성능을 약 107억 개의 매개변수로 구현해, 소형 LLM 세계 1위 성능을 기록한 바 있습니다. 핵심은 매우 콤팩트하고 최적화가 잘 되어 있다는 점입니다. 작지만 강력하다는 거죠.
매개변수를 군대의 병사 수에 비유하면 이해가 쉽습니다. GPT-4는 1조 7천억 개 정도의 병사가 있다고 추정되는데, 병사 한 명 한 명이 주특기에 맞게 배치되어 있지 않고 그냥 병력만 많은 셈입니다. 반면 국내 모델은 병사 수가 100분의 1 수준이지만, 병사 한 명 한 명이 주특기에 맞게 배치되어 있고 조직과 명령 체계도 효율적입니다. 최적화가 잘 되어 있다는 뜻입니다.
이게 왜 필요하냐면 노트북이나 스마트폰에서도 AI를 써야 하기 때문입니다. 성능 좋은 반도체는 크기도 커서 스마트폰에 넣을 수 없습니다. 그러니 작은 크기에서도 돌아가는 최적화된 모델이 필요합니다. 그래서 우리나라도 가능성이 있다고 보고 국내 최고 투자자들이 주목하고 있습니다.
AI 덕분에 반도체 시장은 PC, 스마트폰에 이어 새로운 국면에 접어들었습니다. 크리스 밀러 교수에 따르면 AI 모델을 만드는 기업들은 최신 엔비디아 칩에 수십억 달러를 기꺼이 쓰고 있고, 마이크로소프트나 테슬라 같은 기술 기업들도 GPU에 큰 관심을 가지고 있습니다. 그다음 투자처는 아마도 데이터센터와 칩 설계 소프트웨어가 될 것으로 보입니다. AI 시스템이 아직 보편화되지 않았기 때문에 앞으로 몇 년간은 GPU로 가득 찬 데이터센터를 구축하는 데 투자가 많을 것이라고 합니다.
엔비디아는 최근 8월 들어 크게 떨어졌지만, 지난 5년 동안 약 2,000% 올랐습니다. 여러분이 다음 엔비디아를 찾는다면, 새로운 GPU 강자가 아니라 새로운 데이터센터 인프라의 강자일 가능성이 높습니다. 혹은 전혀 다른 구조의 칩을 만드는 기업일 수도 있습니다.
많은 석학과 기업인, 투자자들이 예측하듯 분명 GPU 다음에는 완전히 새로운 칩 아키텍처가 등장할 겁니다. 10년 후에는 현재 GPU 구조를 대체할 무언가가 분명 나올 것입니다. 더 빠른 AI를 위해서는 에너지 효율을 높여야 하고, 성능과 효율이 지금보다 월등히 뛰어나야 하는데 현재 방식으로는 어렵기 때문입니다. 어마어마한 전력을 먹기 때문이죠.
젠슨 황조차 2024년 2월 두바이에서 열린 월드 거버먼트 서밋에서 이런 말을 남겼습니다. "데이터센터 지출은 급증할 것이다. 우리는 새로운 시대의 시작에 서 있다."
Comments 0