저자: 김정호 · 한국인
요약 보기
AI 시대는 학습(GPU·미분)에서 추론(메모리·컨텍스트)으로 넘어갔고, 토큰 생산량과 KV캐시가 메모리 수요를 키운다. 에이전트·멀티에이전트 확산으로 메모리 수요가 크게 늘며 HBM·HBF·낸드 등 메모리 중심 아키텍처가 중요해진다. 메모리가 AI 시대의 돈을 벌 것이라는 주장.
다듬은 글
AI의 능력이 바뀌고 있습니다. 리사 수가 한국을 찾아오고, 젠슨 황의 눈빛이 흔들리고 있습니다. 인공지능의 게임이 지능에서 토큰으로 넘어갔습니다. 토큰 생산량은 결국 메모리이고, 얼마나 많은 메모리를 밀어 넣느냐가 중요합니다. 금광을 팔 때 금으로 돈을 번 것이 아니라 청바지로 돈을 벌었듯이, AI 시대의 돈은 메모리가 벌 것입니다.
저는 AI를 가능하게 하는 반도체 혁신에 대해 말씀드리려 합니다. 간단히 요약하면 판별형 인공지능 시대에서 생성형 인공지능 시대를 거쳐, 지금은 에이전틱 AI 시대를 이제 시작하고 있습니다. 곧 피지컬 AI 시대로 가서 인간의 정신적 노동과 육체적 노동을 AI가 대신하게 될 과정에 있습니다.
AI 반도체를 집중해서 연구하면서 최근에 깨달은 사실이 있습니다. 지능이란 무엇인가 생각해 보니, 지능이란 결국 기억 용량이었습니다. AI가 많은 일을 똑똑하게 할 수 있는 이유가 알고 보니 메모리였고, 피지컬 AI로 가면 그 점은 더 분명해집니다.
작년 여름까지는 학습, 즉 프리트레이닝이 중요하다고 생각했습니다. GPT의 P가 바로 프리트레이닝입니다. 학습량이 많을수록, 인터넷에 데이터가 많을수록, 모델이 커질수록 AI가 똑똑해졌고, 모델 크기의 싸움이 벌어졌습니다.
그런데 세상의 모든 것을 다 학습할 수는 없었습니다. 특히 최근 뉴스는 모르고, 그래서 할루시네이션 문제가 생겼습니다. 이제는 실시간으로 배우면서 일하는, 실시간 평생 학습의 방향으로 가고 있습니다. 사전 학습이 아니라 추론으로 넘어왔고, 얼마나 실시간으로 많은 데이터를 공급하고 탐색할 수 있느냐로 AI의 능력이 바뀌고 있습니다.
사전 학습 때는 GPU가 메인이었지만, 추론으로 가면서 메모리가 더 중요해졌습니다. 작년부터 메모리 수요가 갑자기 늘었고, 젠슨 황과 리사 수가 한국을 찾았으며, 테슬라 CEO가 테라팹을 짓겠다고 했습니다. 이 모든 변화가 작년 여름에 시작되었습니다.
학습은 수학적으로 정답에 맞추기 위해 모델 변수를 조정하는 과정이고, 여기에는 미분이 들어갑니다. 미분을 잘하는 반도체가 GPU이고, 그중 특화된 것이 NPU, 더 특화된 것이 TPU입니다. 그런데 할루시네이션 문제 때문에 모든 데이터로 사전 학습하는 것은 불가능하다는 것을 깨달았습니다. 또 GPU의 성능을 높이는 데에도 한계가 왔습니다. 젠슨 황의 자신감이 줄어든 이유입니다.
지금의 추론은 사전 학습이 아니라, 현존하는 데이터를 최대한 밀어 넣어 결과를 얻는 방식입니다. 이때 중요한 것은 미분이 아니라 밀어 넣는 메모리의 양입니다. 그래서 지금은 메모리 시대입니다.
메모리에 밀어 넣는 양을 토큰으로 표현하며, 이를 컨텍스트라고 부릅니다. 과거에는 질문을 잘하는 것이 중요했지만, 이제는 내가 원하는 데이터를 얼마나 많이 넣어 주느냐가 중요합니다. 그래서 프롬프트 엔지니어링은 컨텍스트 엔지니어링으로 바뀌었습니다.
B2C의 경우 나에 대한 모든 정보를 알고 있을수록 정확한 답을 줍니다. 어제 물어본 것을 기억하고, 내 감정의 기록까지 알고 있어야 합니다. 이전 프롬프트, 내가 만든 결과물, 이메일, 위치, 파일, 검색 기록, 구매 기록을 모두 넣어야 나를 잘 아는 진정한 비서가 될 수 있습니다. 결국 컨텍스트의 길이가 AI의 개인화를 좌우합니다.
LLM은 트랜스포머 모델이 되면서 더 이상 발전이 없고, GPU도 발전이 멈춘 것과 거의 같습니다. 제미나이, GPT, 클로드는 거기가 거기입니다. 앞으로 AI의 능력은 메모리에 의해 결정됩니다. 에이전틱 AI는 엑셀, PPT, 예약 사이트, 생산 현장의 소프트웨어까지 다룰 수 있어야 하고, 반도체 제조 공정에서는 약 1천 개의 소프트웨어가 쓰입니다. 이 모든 것이 메모리에 의해 결정됩니다.
사용자가 "오늘 날씨 어때?"라고 물으면, 먼저 우리 말을 인공지능의 언어로 번역해야 합니다. 이 번역 결과가 KV 캐시이고, GPU가 처리합니다. 컨텍스트가 길어질수록 KV 캐시 크기는 거의 제곱에 비례해서 커집니다. 지금은 킬로바이트 수준이지만, 곧 기가바이트 단위가 되면 1인당 천 테라바이트가 필요하게 됩니다. 엄청난 메모리 용량이 필요한 것입니다.
단어를 하나씩 쏟아내는 디코더의 속도도 메모리가 결정합니다. 메모리 증가 속도는 시퀀스 길이, 즉 컨텍스트 양에 비례하고, 배치(동시 사용자 수)와 표현 비트 수에도 영향을 받습니다. 최근 터보퀀트는 16비트 표현을 3비트로 줄였지만, 이는 논문 수준에 그쳤고 정확성이 떨어지면 할루시네이션이 생깁니다. 그래서 AI의 게임은 지능이 아니라 토큰으로 넘어갔습니다.
클로드 코드의 유출 자료를 보면, 실제로는 예상보다 여덟 배 많은 메모리가 필요합니다. 보고서를 쓰라고 하면 한 개의 에이전트가 아니라 여러 에이전트가 병렬로 보고서를 쓰고, 평가 에이전트가 그중 하나를 골라 보내줍니다. 이때 KV 캐시가 서너 배 더 동작합니다.
또 10분 전에 챗GPT와 대화했다고 해서 세션을 꺼 버리지 않고 살려 두어야 합니다. 짧은 시간 안에 계속 대화하려면 백그라운드 세션이 유지되어야 하기 때문입니다. 클로드, 퍼플렉시티, 노트북LM을 동시에 쓰면 세션이 모두 켜져 있는 것입니다. 이 둘을 곱하면 메모리는 여덟 배로 커집니다. AI는 완전히 메모리 게임입니다.
12시간 전에 쓴 기록을 평생 메모리에 둘 수는 없으니, 오토드림이라는 작업으로 압축해서 낸드 플래시에 쌓아 둬야 합니다. 요즘 낸드 플래시 가격이 오르는 이유입니다.
한 가지 일만 시키는 것이 아니라, 클라이언트 에이전트가 서브 에이전트와 계약을 맺어 수십 개의 에이전트를 동시에 씁니다. 최근 기업들은 개인 평가를 토큰을 얼마나 많이 쓰느냐로 하고 있고, 애플 같은 회사도 그렇습니다. 언젠가는 토큰 대비 성과, 즉 ROI 대신 ROT(Return of Token)라는 개념이 들어갈 것입니다. 토큰이 전기 비용과 메모리, 인프라 비용을 차지하기 때문입니다. 뉴욕타임스는 이를 토큰 맥싱이라고 표현했습니다.
처음 단어가 나오기까지 1, 2분 걸리는 지연 시간인 레이턴시는 GPU가 결정합니다. 그 후 단어가 한 개씩 튀어나오는 속도인 스루풋은 HBM이 결정합니다. 결국 AI 경쟁은 새벽 배송 경쟁처럼 시간 싸움이고, 그 시간을 메모리가 결정합니다.
AMD의 MI455X는 GPU를 두 개밖에 붙이지 못했습니다. GPU를 더 붙이면 통신에 시간이 걸려 오히려 손해입니다. 반면 MI455X에는 HBM이 16개 붙습니다. 16층이 되면 메모리의 면적이 실리콘 면적보다 커집니다. 리사 수가 한국에 와서 평택 공장을 오간 이유입니다. 젠슨 황의 엔비디아는 네 개만 붙입니다. 삼성과 SK하이닉스에 끌려가기 싫은 자존심 싸움입니다. 기술의 방향에는 리사 수가 더 솔직해 보입니다.
HBM4에서는 베이스 다이가 중요합니다. GPU의 일부 기능을 HBM 안에 넣자는 것이 제 생각입니다. 인코딩은 GPU가, 디코딩은 HBM이 맡아 로컬에서 처리하자는 것입니다. 전통적으로 분리되어 있던 메모리와 시스템 반도체가 합쳐지고 있습니다. SK하이닉스는 베이스 다이를 TSMC, 엔비디아와 함께 만들고, 삼성은 자체적으로 4나노 공정을 씁니다. 삼성이 자신의 운명을 더 많이 결정할 수 있는 상황입니다.
HBM5에서는 1층에 GPU를 넣으면 너무 뜨거워집니다. 온돌방에 있으면 성능이 떨어지니 옥상으로 올리자는 것이 저희 연구실의 아이디어입니다. HBM5부터는 메모리 용량과 대역폭이 두 배가 되어야 합니다. 집 앞 신세계 백화점에 가듯이 1층에서 쇼핑하는 것이 가장 좋습니다. GPU를 HBM 옥상에 넣는 아키텍처가 그런 발상입니다. HBM5에서 삼성, 하이닉스, TSMC, 엔비디아의 운명이 바뀔 것입니다.
메모리가 부족하면 HBM 뒤에 HBF를 붙이자는 것이 제 주장입니다. 지금은 데이터센터에서 SSD의 데이터가 CPU와 GPU를 거쳐 전달됩니다. 컴퓨터 구조에서 CPU가 왕이고, GPU가 왕자이며, 메모리가 하인입니다. 왕자인 GPU의 힘이 커져서 반란이 일어난 상황입니다. 이제 메모리가 기술적으로 반란을 일으킬 수 있습니다.
CPU와 GPU를 거치지 않고 메모리 네트워크를 자체적으로 가지는 것이 핵심입니다. GPU의 일부 기능을 우리가 직접 보유하자는 것이며, 이를 메모리 센트릭 컴퓨팅이라고 부릅니다. HBM은 최소 100GB, 테라바이트 수준의 메모리가 필요하고, 그 뒤에 낸드 플래시 기반의 HBF를 쌓습니다. 제가 보기에 1인당 천 테라바이트가 필요합니다. 우리가 일하려면 자동차와 아파트가 필요하듯, 국가가 1인당 천 테라바이트를 제공해야 빈부 격차가 생기지 않습니다.
HBF 뒤에 네트워크를 붙여 백 테라바이트, 천 테라바이트를 확장하는 것이 HBM7입니다. 엔비디아는 HBM과 HBF로 가면 삼성과 SK하이닉스에 의존도가 커지기 때문에, 직접 메모리 스토리지 네트워크를 만들고 있습니다. 엔비디아가 만든 ICMS가 그것이며, 그 때문에 최근 샌디스크 주가가 오르고 있습니다. 엔비디아는 메모리 데이터의 주도권을 자기가 갖겠다는 것입니다.
제 주장은 이더넷이나 PCI 익스프레스로 연결하면 시간이 너무 걸린다는 것입니다. 그래서 우리가 가진 HBM, HBF, 소켓 같은 메모리 네트워크를 PCI 젠6, 젠7로 연결해 인공 메모리끼리 네트워크를 구성하고, 이로써 인공지능을 컨트롤하자는 것입니다. 저희 학생 연구에 따르면, 4050억 파라미터 모델의 추론에서 처리량이 거의 100배 증가했습니다. 지금 1초에 열 단어가 나온다면 천 단어가 나올 수 있다는 뜻입니다. 이 자료로 전 세계 회사들에 마케팅하고 있습니다.
다만 GPU와 메모리가 너무 뜨거워지므로 냉각이 필요하고, 반도체 내부로 물이 통과해야 하는 시대가 올 것입니다. 이것이 10년 후 전 세계 반도체 회사의 운명을 가를 것으로 생각합니다.
과거의 메모리 스토리지는 CPU에 붙어 있었지만, 이제는 S램부터 메모리 팩토리까지 우리만의 하이어라키를 가져야 합니다. 메모리가 중심이 되고, CPU와 GPU를 옆에 붙이는 구조입니다.
금광을 팔 때 금으로 돈을 번 것이 아니라 청바지로 돈을 벌었듯이, AI 시대의 돈은 메모리가 벌 것입니다. 2038년에는 추론 전용 메모리인 HBF의 수요가 더 커질 것입니다. 이상으로 20분 강의를 마치겠습니다. 경청해 주셔서 대단히 감사합니다.
Comments 0