AI 학습과 추론은 무엇이 다른가: 추론은 그 안에서 또 한 번 갈린다

MLPerf 추론 v6.1에서 눈에 띄는 숫자가 하나 있습니다. 엔비디아의 GB300 NVL72가 하드웨어를 하나도 바꾸지 않고 이전 라운드보다 최대 1.6배 빨라졌습니다. 엔비디아가 밝힌 기여 요인은 KV 캐시 정밀도를 낮춘 것, 커널 퓨전, 더 나은 커널, 그리고 디스어그리게이티드 서빙입니다.

마지막 것이 흥미롭습니다. 추론을 두 조각으로 쪼개 서로 다른 자원에 맡기는 기법인데, 쪼개면 왜 빨라질까요. 그 답을 알려면 학습과 추론이 어떻게 다른지, 그리고 추론이 그 안에서 다시 어떻게 갈리는지 봐야 합니다.

먼저 용어 하나: 추론의 두 가지 뜻

한국어 “추론”은 영어 두 단어를 덮고 있어서 검색하면 두 이야기가 섞여 나옵니다.

이 글은 앞의 것, 실행 쪽입니다. 인프라 이야기에서 추론이라고 하면 거의 항상 이쪽을 말합니다.

학습과 추론은 무엇이 다른가

하는 일 자체는 한 줄로 갈립니다.

• 학습: 데이터를 보고 가중치를 고칩니다. 앞으로 계산하고(순전파), 얼마나 틀렸는지 재고, 거꾸로 되짚어 가며 각 가중치의 책임을 계산하고(역전파), 갱신합니다.
• 추론: 가중치를 고정한 채 답만 만듭니다. 순전파 한 번이면 끝입니다.

여기까지는 교과서적인 설명이고, 실제로 인프라를 가르는 것은 그다음입니다. 역전파를 하려면 무엇을 들고 있어야 하는지가 문제입니다.

ZeRO 논문이 이것을 정확히 계산해 놓았습니다. 파라미터 수를 Ψ라고 할 때, 혼합 정밀도로 Adam 옵티마이저를 써서 학습하려면 이만큼이 필요합니다.

논문이 든 예시가 이 차이를 잘 보여줍니다. 파라미터 15억 개인 GPT-2는 가중치만 담으면 3GB인데, 학습에는 최소 24GB가 듭니다. 8배입니다.

이 블로그가 계속 다뤄 온 70B 모델로 환산해 보겠습니다.

H100 8장을 묶은 서버 한 대의 메모리가 640GB입니다. 이 블로그는 추론이라면 그 한 대에 가중치 140GB를 올리고 남은 500GB로 동시 11명을 받는다고 썼습니다. 같은 모델을 학습하려면 모델 상태만으로 1,120GB가 필요해서 그 서버 한 대에 들어가지도 않습니다.

추론은 그 안에서 또 한 번 갈린다

여기가 이 글의 핵심입니다. 추론을 하나의 작업으로 보면 성능이 설명되지 않습니다. 실제로는 성격이 정반대인 두 구간이 붙어 있습니다.

두 구간의 병목이 정반대라는 것이 문제를 만듭니다. 같은 GPU에 둘을 섞어 올리면 이렇게 됩니다.

어느 순간에도 GPU의 절반은 놀고 있습니다. 게다가 긴 프리필 하나가 들어오면 그 뒤에 줄 서 있는 디코드들이 다 멈춥니다. 한 사람의 긴 질문이 다른 사람들의 응답을 늦추는 것입니다.

그래서 나오는 해법이 디스어그리게이티드 서빙입니다. 프리필과 디코드를 아예 다른 기계에 맡기고, 프리필이 만든 KV 캐시를 디코드 쪽으로 넘깁니다. 프리필 담당 기계는 연산이 센 것으로, 디코드 담당 기계는 대역폭이 넓은 것으로 고르면 됩니다.

이것이 서두의 1.6배를 설명합니다. 칩을 바꾸지 않았는데 성능이 오른 이유는, 같은 칩을 쓰던 방식이 잘못됐던 것이기 때문입니다.

측정하는 방식까지 다르다

차이는 기계에서 끝나지 않습니다. 성능을 재는 방식도 갈립니다. MLPerf 추론 벤치마크의 시나리오 정의를 보면 그 구분이 형식으로 박혀 있습니다.

이 두 정의가 학습과 서비스 추론의 차이를 그대로 옮겨 놓은 것입니다.

학습은 오프라인의 성질을 갖습니다. 데이터가 이미 다 있고, 어떤 순서로 먹일지 내가 정하고, 기다려주는 사람이 없습니다. 반면 서비스 추론은 서버입니다. 사용자가 무작위로 도착하고, 응답이 늦으면 그 자체로 실패입니다.

여기서 짚어야 할 단서

엔비디아가 이번 라운드에서 GB300 NVL72를 72장에서 288장으로, 랙 하나에서 넷으로 늘려 99% 스케일링 효율을 냈다고 발표했습니다. 하드웨어를 4배 늘리니 처리량이 거의 4배가 됐다는 뜻이고, 대규모 확장이 낭비 없이 된다는 좋은 근거입니다.

다만 이 수치는 오프라인 시나리오에서 측정된 값입니다. 순서를 마음대로 정할 수 있을 때의 숫자입니다. 포아송 분포로 도착하는 실제 서비스에서 같은 99%가 나온다는 뜻은 아닙니다. 대규모 배치 작업과 실시간 서비스는 같은 하드웨어에서도 다른 곡선을 그립니다.

이번 라운드에 새 벤치마크 두 개가 들어온 이유도 같은 자리에 있습니다. End-to-End RAG는 질의응답을 위해 여러 모델이 엮인 파이프라인 전체를 재고, Edge Agentic Inference는 엣지 기기에서 여러 차례 주고받는 에이전틱 작업을 잽니다. MLCommons 쪽 설명은 질의응답이 “코퍼스로 학습된 LLM 하나” 수준을 넘어섰고 에이전틱 성질을 가진 복잡한 추론 시스템이 엣지로 올라가고 있다는 것입니다. 참여도 역대 최다인 30개 기관이었고, 가속기 512개를 묶은 역대 최대 시스템도 제출됐습니다.

평가 축이 모델 한 번 돌리기에서 서비스 전체 흐름으로 옮겨가고 있다는 뜻입니다.

그래서 필요한 기계가 다르다

지금까지의 차이를 한 표로 모으면 이렇게 됩니다.

정밀도 항목을 하나만 풀어 보겠습니다. 엔비디아가 이번 라운드에서 내세운 NVFP4는 가중치와 어텐션과 KV 캐시의 메모리 사용량을 줄이는 4비트 형식입니다. 추론에서 이렇게까지 내릴 수 있는 이유는 기울기를 다루지 않기 때문입니다. 학습에서는 가중치를 아주 조금씩 고쳐 나가는데, 자료형이 거칠면 그 작은 변화가 반올림에 먹혀 사라집니다. 추론은 고칠 것이 없으니 그 문제가 없습니다.

그래서 속도조절은 인프라 수요 감소를 뜻하지 않는다

최근 프런티어 모델의 성능 향상 속도를 늦추자는 제안이 나왔고, 시장은 이를 AI 투자 사이클 둔화 신호로 읽었습니다. 이 글의 구분을 적용하면 그 읽기가 절반만 맞습니다.

최전선을 미는 일은 학습입니다. 학습을 늦추면 학습용 클러스터 수요가 줄어듭니다. 파라미터당 16바이트를 요구하고 수만 장이 한 덩어리로 묶여야 하는 그 수요입니다.

그런데 추론 수요는 다른 곡선을 그립니다. 모델을 얼마나 키우느냐가 아니라 몇 명이 얼마나 오래 쓰느냐에 비례합니다. 국내에서도 그 숫자가 구체적으로 제시됐습니다. 카카오와 LG유플러스가 카카오톡을 진입점으로 삼는 AI 서비스를 10월 베타로 내놓고 2030년 월간활성이용자 3,000만 명을 목표로 걸었습니다. 카카오톡의 현재 월간활성이용자가 약 4,850만 명이니 60% 남짓입니다. LG유플러스가 AI 모델 운영과 GPU 통합을 맡습니다.

이 목표는 학습 수요가 아닙니다. 전부 추론 수요입니다. 그리고 추론 수요가 커질 때 조여드는 것은 학습과 다릅니다.

정리하면 이렇습니다. “AI 투자가 둔화된다”는 문장은 학습 쪽인지 추론 쪽인지를 나눠서 읽어야 합니다. 둘은 다른 기계를 요구하고, 다른 병목에 걸리고, 다른 속도로 움직입니다. 한쪽이 식는 것이 다른 쪽이 식는다는 뜻이 아닙니다.

자주 묻는 질문

학습과 추론에 같은 GPU를 쓰나요

쓸 수 있지만 최적은 아닙니다. 학습은 파라미터당 16바이트를 감당할 용량과 수만 장을 한 몸처럼 묶는 인터커넥트가 필요하고, 추론은 대역폭과 낮은 지연이 필요합니다. 실제로 추론에 특화된 가속기들이 따로 나오는 이유이고, 같은 회사의 제품군 안에서도 학습용과 추론용 구성이 갈립니다. 다만 최전선 모델을 다루는 기업들은 대체로 같은 계열의 고성능 GPU를 양쪽에 쓰고 구성만 바꿉니다.

추론이 학습보다 싸나요

한 번 돌리는 비용은 훨씬 쌉니다. 그런데 총액은 반대가 될 수 있습니다. 학습은 한 번 끝나고 추론은 서비스가 살아 있는 동안 계속됩니다. 사용자가 늘고 대화가 길어지면 추론 비용은 계속 늘어납니다. 그래서 모델을 만드는 단계에서는 학습이 지배적인 비용이고, 서비스가 자라면 추론이 넘어섭니다.

왜 추론에서는 4비트까지 내려갈 수 있나요

학습은 가중치를 아주 작은 폭으로 계속 고쳐 나가는 작업입니다. 자료형이 거칠면 그 작은 변화가 반올림에 먹혀 사라져서 학습이 진행되지 않습니다. 추론은 가중치를 고치지 않으니 그 문제가 없고, 답을 만드는 데 필요한 만큼의 정확도만 있으면 됩니다. 그래서 메모리와 대역폭을 아끼는 쪽으로 자료형을 낮춥니다.

프리필과 디코드를 나누면 항상 이득인가요

아닙니다. 나누면 프리필이 만든 KV 캐시를 디코드 담당 기계로 넘겨야 하고, 그 전송이 느리면 나눠서 얻은 이득을 다 잡아먹습니다. 그래서 이 방식은 기계 사이를 잇는 연결이 충분히 빠를 때만 성립합니다. 입력이 짧고 출력도 짧은 작업이라면 나눌 이유도 별로 없습니다.

같이 읽을 글

• 2.5D와 3D 패키징은 무엇이 다른가: HBM은 왜 GPU 위에 올라가지 않나
• 8,560억 달러는 어디로 가나: 비용이 줄어든 게 아니라 장부를 옮겨 탔다
• 12개월 정지와 5배 밀도: 전력 병목은 세 층에서 값이 매겨진다
• KV 캐시란 무엇인가: 가중치는 고정이고 대화는 자란다
• 메모리 대역폭이란 무엇인가: 용량은 담는 양, 대역폭은 꺼내는 속도
• GPU 가동률 97.9%: 문제는 파는 값이 아니라 사는 값이다
• 에이전트는 계산보다 기억을 더 쓴다: 아스트라가 인프라에 던진 숙제

참고한 1차 자료: MLCommons의 MLPerf 추론 v6.1 결과 발표(2026년 9월 16일)와 MLPerf 추론 벤치마크 논문(arXiv 1911.02549)의 시나리오 정의, 엔비디아의 Vera Rubin NVL72 MLPerf 추론 v6.1 발표, ZeRO 논문(arXiv 1910.02054)의 모델 상태 메모리 계산, 카카오와 LG유플러스의 모두의 AI 발표(2026년 9월 17일).

글: Watt