2.5D와 3D 패키징은 무엇이 다른가: HBM은 왜 GPU 위에 올라가지 않나

퀄컴이 스냅드래곤 서밋에서 HBC(High Bandwidth Compute)를 스마트폰으로 내린다고 밝혔습니다. 데이터센터용으로 만든 구조를 단말로 가져오는 것인데, 핵심은 메모리를 연산 칩 옆이 아니라 위에 둔다는 데 있습니다.

여기서 자연스럽게 따라오는 질문이 하나 있습니다. 위에 쌓는 게 그렇게 좋으면, AI 가속기에서 가장 비싼 메모리인 HBM은 왜 지금도 GPU 옆에 앉아 있을까요. HBM은 이미 D램을 열두 장씩 세로로 쌓는 물건입니다. 쌓는 기술이 없어서가 아닙니다.

답은 열입니다. 그리고 그 답을 숫자로 보여주는 자료가 최근에 나왔습니다.

2.5D와 3D는 어떻게 나뉘나

먼저 불편한 사실부터 말하는 게 정확하겠습니다. 2.5D와 3D를 가르는 표준 정의는 없습니다.

JEDEC은 HBM 표준에서 D램 자체만 규정하고 통합 방식은 다루지 않습니다. HBM4 표준(JESD270-4)도 HBM3 표준(JESD238)도 “D램이 호스트 연산 다이와 긴밀하게 결합된다”는 수준의 서술만 두고, 인터포저나 2.5D 같은 말은 쓰지 않습니다.

IEEE의 이종집적 로드맵(HIR)은 한 발 더 나갑니다. 2020년판 22장은 2D를 “두 개 이상의 활성 실리콘 소자가 패키지 위에 나란히 놓여 패키지에서 연결되는 구조”, 3D를 “두 개 이상의 활성 실리콘 소자가 적층되어 패키지를 거치지 않고 연결되는 구조”로 정의한 뒤, 2.1D와 2.3D와 2.5D 같은 용어는 공통된 합리적 근거가 없다고 보고 전부 “2D 확장(2D enhanced)”으로 묶어야 한다고 적었습니다. 즉 이 용어를 다룬 유일한 표준 단체는 그 용어를 폐기했습니다.

그럼에도 업계가 2.5D와 3D로 말하는 이유는, 벤더들의 정의가 서로 일관되기 때문입니다.

세 회사의 표현은 다르지만 가르는 선은 같습니다. 신호가 옆으로 도느냐, 위아래로 통하느냐입니다. 그리고 피치 숫자가 그 차이를 그대로 보여줍니다. 옆으로 도는 쪽은 36마이크로미터, 위아래로 통하는 쪽은 10마이크로미터 이하입니다. 같은 면적에 훨씬 많은 배선이 지나갈 수 있다는 뜻입니다.

HBM은 2.5D인가 3D인가

둘 다입니다. 층위를 나눠서 봐야 답이 나옵니다.

HBM 안쪽은 3D입니다. D램 다이 여러 장을 TSV로 수직 관통해 연결합니다. SK하이닉스는 TSV를 “D램 칩에 수천 개의 미세한 구멍을 세로로 관통하는 전극으로 위아래 칩을 잇는 기술”이라고 설명합니다. 이 구조는 앞선 글에서 자세히 다뤘습니다.

그런데 HBM이 GPU에 대해서는 2.5D입니다. SK하이닉스 자신이 TSMC의 CoWoS를 “GPU/xPU와 로직 칩, HBM을 특수 기판 위에서 연결하는 2.5D 패키징”이라고 부르고, 맨 아래 베이스 다이가 GPU와 연결된다고 적습니다. 삼성 파운드리도 로직 칩과 HBM 다이를 실리콘 인터포저 위에 수평으로 배치한다고 씁니다.

그래서 “HBM은 2.5D인가 3D인가”라는 질문 자체가 잘못 놓여 있습니다. 정확히는 3D로 쌓은 메모리 덩어리를 2.5D로 GPU 옆에 앉힌 것입니다.

대역폭이 부족해서 옆에 둔 것도 아닙니다. JEDEC의 HBM4 표준은 2048비트 인터페이스에서 핀당 최대 8Gbps로 스택당 최대 2TB/s를 규정합니다. 채널 수도 HBM3의 16개에서 32개로 두 배가 됐습니다(왜 빨라진 게 아니라 넓어졌는지는 여기). NVIDIA가 공개한 블랙웰 울트라(B300)는 HBM3E 12단 스택 여덟 개로 288GB, 패키지당 8TB/s입니다. 옆에 두고도 이 숫자가 나옵니다.

그러면 왜 위에 쌓지 않나: imec의 141.7도

2025년 12월 IEDM에서 벨기에 연구기관 imec이 이 질문을 그대로 실험 조건으로 만들었습니다. 하이브리드 본딩한 D램 열두 장짜리 HBM 스택 네 개를 GPU 위에 마이크로범프로 직접 얹고, 냉각은 HBM 위쪽에서 하는 구조를 모델링했습니다.

결과는 이렇습니다.

imec이 밝힌 원인은 두 가지입니다. 국부 전력 밀도가 올라가고, 수직 방향 열 저항이 커진다는 것입니다. 쉽게 말하면 열이 한곳에 몰리는데 빠져나갈 길은 좁아집니다.

141.7도는 GPU도 HBM도 동작할 수 없는 온도입니다. imec은 완화 기법을 차례로 얹었습니다. HBM 스택을 합치고 방열용 실리콘을 최적화하는 공정 쪽 대응, 그리고 양면 냉각과 GPU 주파수 조절이라는 시스템 쪽 대응입니다. 전부 적용하면 최고 온도는 70.8도까지 내려갑니다. 대신 AI 학습 작업이 28% 느려집니다.

이 중 가장 눈에 걸리는 문장은 따로 있습니다. GPU 코어 주파수를 절반으로 낮추자 최고 온도가 120도에서 100도 아래로 떨어졌고, imec은 이것을 메모리 동작을 위한 핵심 목표라고 표현했습니다. 즉 3D 구조에서 온도의 상한을 정하는 쪽은 연산 칩이 아니라 그 위에 얹힌 메모리입니다.

왜 메모리가 온도 상한을 정하나

D램은 전하를 축전기에 담아 두는 소자라서, 가만히 둬도 전하가 새어 나갑니다. 그래서 주기적으로 다시 채워 넣어야 하고 이것이 리프레시입니다. 그런데 새는 속도는 온도를 따라 올라갑니다.

마이크론이 공개한 8Gb DDR4 데이터시트를 보면 리프레시 주기가 영하 40도에서 85도 사이에서는 64밀리초인데, 85도를 넘어 95도 구간에서는 32밀리초로 줄어듭니다. 데이터를 유지할 수 있는 시간이 절반이 되니 리프레시를 두 배로 자주 해야 합니다. 리프레시를 하는 동안 그 뱅크는 읽을 수도 쓸 수도 없습니다.

그래서 열은 성능을 두 번 깎습니다. 한 번은 연산 칩의 클럭을 낮춰서, 또 한 번은 메모리가 자기 자신을 돌보는 시간을 늘려서. 대역폭을 늘리려고 메모리를 위에 올렸는데 그 때문에 대역폭이 줄어드는 구간이 생기는 셈입니다.

AMD가 이미 실험을 끝냈다: 캐시를 위에 올렸다가 아래로 내린 이야기

데이터센터 밖에서 이 문제가 상품으로 나온 적이 있습니다. AMD의 3D V-Cache입니다. SRAM 캐시 다이를 CPU 코어 다이 위에 얹어 L3 캐시를 32MB에서 96MB로 세 배 늘린 제품입니다.

1세대인 라이젠 7 5800X3D와 같은 세대의 비적층 제품인 5800X를 AMD 자신의 제품 페이지에서 나란히 놓으면 이렇습니다.

전력 한도도 같고 허용 온도도 같은데 클럭만 깎였습니다. 기본에서 400MHz, 분스트에서 200MHz. 캐시를 위에 얹은 대가입니다.

흥미로운 것은 AMD가 2세대에서 내놓은 해법입니다. 대역폭을 더 늘리지도, 접합을 더 촔촐하게 하지도 않았습니다. 순서를 뒤집었습니다. 라이젠 7 9800X3D부터 캐시 다이가 코어 다이 아래로 내려갔습니다.

AMD가 제품 페이지에 적은 이유는 짧고 분명합니다. 메모리가 코어 아래로 내려가면 코어가 냉각 장치에 직접 닿게 되고, 칩이 시원하게 돌면 더 빨리 돌 수 있다는 것입니다. 9800X3D 보도자료도 64MB 캐시를 프로세서 아래로 옮겨 코어 다이를 냉각 솔루션에 더 가깝게 뒀다고 설명하면서, 이 제품이 처음으로 완전히 배수가 풀린 X3D라고 밝혔습니다. 1세대에서는 오버클럭이 잠겨 있었습니다.

결과는 숫자로 드러납니다. 9800X3D의 기본 클럭은 4.7GHz로, 적층이 없는 같은 세대 9700X의 3.8GHz보다 높습니다. 적층한 쪽이 더 높은 기본 클럭을 갖게 된 것입니다.

그래도 방향은 분명합니다. 3D 적층의 대가는 대역폭이 아니라 열 경로이고, 해법도 전기가 아니라 순서였습니다. imec이 GPU에서 모의실험으로 보여준 것을 AMD는 두 세대에 걸쳐 상품으로 보여줬습니다.

그리고 이 대목이 퀄컴 발표와 곧바로 이어집니다. 업계 보도에 따르면 퀄컴 HBC는 연산 다이가 D램 아래에 깔리는 구조입니다. AMD가 1세대에서 겪고 2세대에서 뒤집은 바로 그 배치입니다.

그러면 퀄컴 HBC는 어떻게 되나

여기서부터는 발표 내용을 원문과 대조해 읽는 부분입니다. 국내에 전해진 내용과 회사가 실제로 쓴 문장 사이에 차이가 꽤 있습니다.

HBC는 이번에 처음 나온 기술이 아니다

퀄컴은 2026년 6월 24일 데이터센터 로드맵인 드래곤플라이 포트폴리오를 발표하면서 HBC를 처음 이름 붙였습니다. 스냅드래곤 서밋에서 나온 것은 새 기술 공개가 아니라, 그 구조를 스마트폰으로 내린다는 이야기입니다. 크리스티아노 아몬 CEO는 HBC를 스냅드래곤의 코프로세서라고 표현했습니다.

그리고 중요한 단서가 하나 있습니다. 이번에 발표된 스냅드래곤 8 엘리트 익스트림 젠 6와 8 엘리트 젠 6에는 HBC가 들어 있지 않습니다. 나중에 붙는 별도 코프로세서이고, 제품명도 출시 시점도 나오지 않았습니다. 더 자세한 내용은 모바일 월드 콩그레스에서 공개하겠다는 수준입니다.

숫자는 회사가 쓴 대로 읽어야 한다

국내 보도에 “HBM 대비 6배 대역폭”, “GPU 대비 최대 8배 토큰 처리량”으로 정리된 두 숫자는 퀄컴의 표현과 단위가 다릅니다.

와트당 값과 절대값은 다른 이야기입니다. 와트당 6배는 전력을 같게 맞췄을 때의 비교이고, 같은 카드에서 대역폭이 여섯 배가 된다는 뜻이 아닙니다.

“HBM은 지금 21~22TB/s”라는 숫자

이 문장은 퀄컴 문서에 없습니다. 임원이 한 콘퍼런스에서 구두로 말한 값이고, 어떤 가속기인지도 HBM 세대도 스택 수도 붙지 않았습니다. 그리고 지금 출하되는 실리콘의 값이 아닙니다.

즉 21~22TB/s는 오늘의 HBM이 아니라 차세대 Rubin(HBM4)에 대해 NVIDIA가 발표한 값입니다. 오늘 최상위 제품인 B300은 패키지당 8TB/s입니다. 미래 제품을 현재 기준으로 놓고 자기 미래 제품과 비교하면 배수가 흐려집니다.

덧붙이면 NVIDIA 자신의 표기도 갈립니다. Rubin 아키텍처 문서는 peak 22TB/s를 쓰는데, 베라 루빈 NVL72 제품 페이지는 GPU 72장에 20.7TB HBM4, 1,400TB/s로 적어 역산하면 GPU당 약 19.4TB/s입니다. peak 값과 랙 구성값의 차이입니다.

삼성과 SK하이닉스가 맡는다는 이야기

국내에서 가장 관심이 큰 대목일 텐데, 이 부분은 특히 조심해서 읽어야 합니다. 퀄컴이 설계와 시스템 통합을 맡고 삼성전자와 SK하이닉스가 D램 적층을, TSMC가 통합쪼 패키징을 맡는다는 역할 분담은 네 회사 어느 곳도 확인한 바 없습니다.

확인해 보면 이 내용은 한 전문 매체의 설명 문장이고, 인용 출처나 취재원이 붙어 있지 않습니다. 이후 다른 곳들은 그 매체를 출처로 달아 다시 옮겼습니다. 기록으로 남은 퀄컴 측 발언은 임원이 콘퍼러스에서 “한국에서 메모리 업체 두 곳을 만났다”, “TSMC 같은 곳과 함께 붙여야 한다”고 말한 정도이고, 회사 이름을 특정하지 않았습니다. 퀄컴의 6월 발표문은 삼성과 SK하이닉스를 데이터센터 생태계 파트너로 언급하지만 HBC 적층 역할로 적지는 않았고, TSMC는 아예 나오지 않습니다.

확정된 공급 구조로 읽기에는 아직 근거가 얇습니다.

밸류체인에서 이게 뭘 뜻하나

1. 같은 구조가 아니라 같은 전력에서만 같은 문제가 생긴다

imec의 141.7도와 퀄컴의 구조를 나란히 놓고 “퀄컴도 안 될 것”이라고 읽으면 틀립니다. 열 문제의 크기는 배치가 아니라 아래 깔린 칩이 내는 전력이 정합니다. imec이 모델링한 것은 최대 1,400W급 AI GPU이고, 퀄컴이 LPDDR 밑에 넣는 것은 그보다 훨씬 낮은 전력의 추론용 연산 다이입니다. 스마트폰으로 내려가면 자릿수가 더 달라집니다.

그래서 이 구조의 경계선은 “3D가 되느냐 안 되느냐”가 아니라 “몇 와트까지 밑에 깔 수 있느냐”입니다. 저전력 추론 쪽에서 먼저 3D가 열리고, 고전력 학습 쪽은 2.5D에 남는 그림이 자연스럽습니다. 이것은 학습과 추론이 같은 인프라를 같은 방식으로 쓰지 않는다는 구분이 패키징 층위에서 다시 나타나는 것이기도 합니다.

2. 파운드리는 어느 쪽이 이겨도 손해가 없고, 갈리는 쪽은 그 아래다

CoWoS는 실리콘 인터포저 면적을 파는 사업입니다. CoWoS-S 기준 레티클 3.3배, 약 2,700제곱밀리미터짜리 판을 만들어 그 위에 칩을 올립니다. SoIC는 10마이크로미터 이하 본드 피치를 파는 사업입니다. 둘 다 TSMC 것입니다. 3D가 늘어도 TSMC는 다른 쪽 매출로 받습니다.

위치가 흔들리는 쪽은 그 아래입니다. 인터포저 면적이 줄면 인터포저 소재와 대면적 패키지 공정의 수요 곡선이 바뀌고, 반대로 하이브리드 본딩 장비와 초미세 정렬 쪽 수요가 올라갑니다. 밸류체인 지도에서 병목으로 표시했던 적층과 테스트 구간이 그대로 이 경계선 위에 있습니다.

3. 냉각이 칩 문제에서 랙 문제로 올라간다

imec이 141.7도를 70.8도로 끌어내린 수단 목록의 마지막 두 개를 다시 보면, 양면 냉각과 GPU 주파수 조절입니다. 양면 냉각은 패키지 설계가 아니라 랙과 냉각 루프 설계고, 주파수를 낮춘다는 것은 성능을 열로 되사는 일입니다. 어느 쪽도 칩 회사 혼자 결정할 수 없습니다.

이것은 DSX 인증 이야기와 같은 방향입니다. 파는 단위가 커질수록 아래 단계 규격을 정하는 쪽이 위로 올라갑니다. 3D 패키징이 요구하는 것은 결국 더 좋은 칩이 아니라 더 좋은 냉각 루프이고, 그 청구서는 데이터센터로 갑니다.

4. 그리고 HBM 쪽에 유리하기만 한 방향은 아니다

지금 HBM의 값을 떠받치는 것은 단수와 폭입니다. 몇 단을 쌓았느냐, 인터페이스가 몇 비트냐. 그런데 메모리를 연산 위로 올리는 구조가 퍼지면 경쟁의 축이 단수에서 열로 옮겨갑니다. 열에서는 많이 쌓을수록 불리합니다. 위로 갈수록 아래 칩의 열 경로가 길어지기 때문입니다.

동시에 저전력 메모리가 고대역폭 영역으로 올라오는 경로가 열립니다. 퀄컴이 AI250에서 쓰는 것은 HBM이 아니라 LPDDR 계열이고, 비교 기준으로 삼는 것도 자사의 LPDDR5X 제품입니다. 이 방향이 계속 가면 “고대역폭은 HBM만”이라는 전제가 흔들립니다. 수혜만 세지 않으려면 이쪽도 같이 봐야 합니다.

자주 묻는 질문

2.5D와 3D 패키징은 무엇이 다른가요?

2.5D는 연산 칩과 메모리를 실리콘 인터포저 위에 나란히 올려 옆으로 연결하는 방식이고, 3D는 다이를 위로 쌓아 수직으로 연결하는 방식입니다. 접합 피치가 차이를 보여줍니다. 인텔 기준으로 2.5D 쪽은 36마이크로미터 마이크로범프, 3D 쪽은 10마이크로미터 이하입니다. 다만 이 구분은 표준 정의가 아니라 벤더들이 공유하는 관용입니다. IEEE의 이종집적 로드맵은 2.5D라는 용어에 공통된 근거가 없다고 보고 사용하지 않습니다.

HBM은 2.5D인가요, 3D인가요?

둘 다입니다. HBM 자체는 D램 다이를 TSV로 관통 연결해 세로로 쌓은 3D 구조입니다. 그런데 그렇게 만든 스택이 GPU에 붙는 방식은 2.5D입니다. 실리콘 인터포저 위에서 GPU 옆에 나란히 앉아 옆으로 연결됩니다. SK하이닉스도 TSMC의 CoWoS를 2.5D 패키징이라고 부릅니다. 그래서 정확한 표현은 “3D로 쌓은 메모리를 2.5D로 붙인다”입니다.

왜 HBM을 GPU 위에 바로 쌓지 않나요?

열이 빠져나갈 길이 막히기 때문입니다. imec이 2025년 IEDM에서 HBM 네 스택을 GPU 위에 직접 얹은 구조를 모의실험한 결과, 같은 냉각 조건에서 2.5D는 최고 69.1도인데 3D는 141.7도가 나왔습니다. 위에 얹힌 메모리가 아래 GPU의 열 경로를 막기 때문입니다. 완화 기법을 모두 적용하면 70.8도까지 내려가지만 AI 학습 작업이 28% 느려집니다. 대역폭이 아니라 온도가 이 구조를 막고 있습니다.

퀄컴 HBC는 HBM을 대체하나요?

현재 공개된 범위로는 같은 자리를 놓고 겨루는 제품이 아닙니다. HBC가 들어가는 AI250은 2027년 중 상용 샘플, AI300은 2028년 일정이고, 퀄컴이 제시한 배수의 비교 기준도 경쟁사 HBM 제품이 아니라 자사의 이전 LPDDR5X 제품입니다. 스마트폰용은 아직 제품명도 시점도 나오지 않은 코프로세서 계획 단계입니다. 다만 저전력 메모리가 고대역폭 영역으로 올라오는 경로가 열리고 있다는 신호로는 읽을 수 있습니다.

같이 읽을 글

• 네오클라우드란 무엇인가: GPU를 빌려주는 회사의 손익은 6년과 4년 사이에서 갈린다
• TSV란 무엇인가: 구멍 6만 개가 D램을 세로로 세운다
• HBM3E와 HBM4는 무엇이 다른가: 빨라진 게 아니라 넓어졌다
• 메모리 대역폭이란 무엇인가: 용량은 담는 양, 대역폭은 꺼내는 속도
• HBM 16단은 왜 어려운가: 높이가 775마이크로미터로 묶여 있다
• 52%와 마이너스 10.8%: 파는 단위가 서버에서 랙으로 올라갔다

참고한 자료
TSMC CoWoS 기술 페이지 · TSMC SoIC 기술 페이지 · 삼성 파운드리 이종집적 페이지 · 인텔 EMIB 제품 브리프 · 인텔 Foveros Direct 3D 브리프 · IEEE 이종집적 로드맵 2020 22장 · JEDEC HBM4(JESD270-4) 발표문 · SK하이닉스 TSMC 협력 뉴스룸 · SK하이닉스 12단 HBM3E 양산 · imec IEDM 2025 3D HBM 열 병목 발표 · NVIDIA 블랙웰 울트라 기술 블로그 · NVIDIA Rubin 아키텍처 블로그 · NVIDIA 베라 루빈 NVL72 제품 페이지 · AMD 3D V-Cache 기술 페이지 · AMD 라이젠 7 9800X3D 보도자료 · AMD 5800X3D 제품 사양 · 마이크론 8Gb DDR4 데이터시트 · 퀄컴 드래곤플라이 데이터센터 로드맵 발표문 · 퀄컴 HBC vs HBM vs SRAM 기술 블로그

이 글은 공개된 자료를 바탕으로 AI 인프라 밸류체인의 구조를 설명한 정보 제공 글입니다. 투자 판단의 근거로 삼기 위한 것이 아니며, 인용한 수치는 각 기관과 기업이 공개한 값을 그대로 옮긴 것입니다.