HBM이란? AI 반도체에서 메모리가 병목이 된 이유

HBM이란 무엇인가?

HBM은 High Bandwidth Memory, 우리말로 고대역폭 메모리다. 이름 그대로 대역폭에 모든 것을 건 D램이다.

일반 PC의 D램은 메인보드 위 슬롯에 꽂혀 CPU와 제법 떨어져 있다. 그래픽카드에 쓰이는 GDDR도 GPU 칩 주변 기판에 흩어져 배치된다. HBM은 다르다. D램 칩 여러 장을 수직으로 쌓아 올린 뒤, 그 덩어리를 GPU와 같은 패키지 안에, 바로 옆에 붙여 놓는다.

쌓인 칩들 사이는 실리콘을 수직으로 관통하는 미세한 구멍(TSV, Through-Silicon Via)으로 연결된다. 층과 층이 배선으로 돌아가지 않고 곧장 위아래로 통하는 구조다.

왜 지금 메모리가 병목이 되었나?

지난 20여 년간 연산 성능은 빠르게 올랐지만, 그 연산 장치에 데이터를 공급하는 속도는 그만큼 따라오지 못했다. 이 격차를 업계에서는 메모리 벽(memory wall)이라고 부른다.

평소에는 이 벽이 잘 드러나지 않았다. 일반적인 프로그램은 같은 데이터를 반복해 쓰기 때문에, 칩 안의 작은 캐시 메모리로 상당 부분을 감당할 수 있었다.

그런데 대규모 AI 모델은 성격이 다르다. 수천억 개의 파라미터를 한 번의 연산마다 훑고 지나간다. 캐시에 담아둘 수 있는 양이 아니다. 결국 매 순간 외부 메모리에서 막대한 양을 끌어와야 하고, 이 지점에서 GPU는 계산을 하는 게 아니라 데이터를 기다리게 된다.

연산 유닛을 아무리 늘려도 데이터가 도착하지 않으면 놀 뿐이다. AI 시대에 메모리가 갑자기 주인공이 된 이유가 이것이다.

HBM은 어떻게 대역폭을 늘리나?

여기서 많은 사람이 오해한다. HBM은 더 빠른 메모리가 아니다. 개별 신호선의 속도만 보면 오히려 GDDR 계열보다 느리다.

HBM이 택한 방법은 속도가 아니라 폭이다. 도로에 비유하면 이렇다.

• GDDR 방식 — 차선은 적지만 제한속도가 매우 높은 고속도로
• HBM 방식 — 제한속도는 낮추고 차선을 수천 개로 늘린 도로

시간당 통과 차량 수, 즉 대역폭은 후자가 압도적으로 크다. 그리고 이 선택에는 부수 효과가 하나 더 있다. 신호선 하나하나를 느리게 굴리면 전력 효율이 좋아진다. 수십만 개의 칩이 한 건물에서 돌아가는 데이터센터에서 이 차이는 전기요금 문제로 직결된다.

다만 차선을 수천 개 깔려면 조건이 있다. 거리가 짧아야 한다. 기판을 가로질러 수천 개 배선을 끌고 가는 것은 물리적으로 불가능하다. 그래서 HBM은 반드시 GPU 옆에, 같은 패키지 안에 있어야 한다. HBM이 첨단 패키징과 한 몸인 이유가 여기서 나온다.

HBM3E와 HBM4는 무엇이 다른가?

JEDEC은 2025년 4월 HBM4 표준(JESD270-4)을 확정했다. 세대 교체의 핵심은 다시 한번 “폭”이다.

구분	HBM3E	HBM4
인터페이스 폭	1,024비트	2,048비트
채널 수	16채널	32채널
핀당 전송률	약 9.6Gb/s급	최대 8Gb/s
스택당 대역폭	약 1.2TB/s	최대 2TB/s
적층 구성	8~12단 중심	4·8·12·16단, 최대 64GB

표에서 눈여겨볼 대목은 핀당 전송률이 오히려 낮아졌다는 점이다. 개별 신호선을 더 빠르게 몰아붙이는 대신 선의 개수를 두 배로 늘려 총량을 키웠다. 앞서 말한 “속도가 아니라 폭”이라는 원칙이 세대 교체에서도 그대로 반복된 셈이다.

대신 대가가 있다. 신호선이 2,048개로 늘어나면 그 선을 다 받아내야 하는 베이스 다이와 인터포저의 부담이 커진다. HBM4에서 베이스 다이를 파운드리 로직 공정으로 만드는 흐름이 나온 배경이다. 메모리 회사가 혼자 끝내던 일에 파운드리가 개입하기 시작했다는 뜻이기도 하다.

이 구조가 밸류체인에 시사하는 것

여기까지 왔으면 “HBM 관련주”라는 말이 왜 너무 뭉뚱그린 표현인지 보인다. HBM은 단일 부품이 아니라 여러 공정이 직렬로 엮인 사슬이고, 사슬의 각 고리는 성격이 전혀 다르다.

1. D램 제조 — 스택을 이룰 개별 칩. 기존 메모리 3사의 영역이다.
2. 적층·본딩 — 얇게 간 칩을 정밀하게 쌓아 붙이는 단계. 수율이 갈리는 지점이고, 업체별 공정 방식 차이가 실제 점유율 차이로 이어졌다.
3. 베이스 다이 — 스택 맨 아래에서 GPU와 대화하는 층. HBM4부터 로직 공정 비중이 커지며 파운드리가 들어온다.
4. 패키징 — 인터포저 위에 GPU와 HBM을 함께 얹는 단계. 여기가 실질적인 공급 상한선이다.
5. 테스트 — 12단, 16단으로 쌓을수록 불량 하나의 손실이 커진다. 검사 수요가 단수에 비례해서가 아니라 그보다 가파르게 는다.

실제로 시장 점유율도 이 사슬의 어느 고리를 잘 쥐었느냐로 갈렸다. 업계 전망치를 종합하면 2026년 엔비디아 공급망 기준 HBM 점유율은 SK하이닉스가 절반 이상, 삼성전자와 마이크론이 나머지를 나누는 구도로 추정된다. 삼성전자는 HBM4를 반격 카드로 삼아 2026년 2분기부터 출하를 본격화하고, 3분기 중 HBM3E와 물량이 교차할 것으로 전망된다.

다만 점유율 숫자만 외우는 것은 별 소용이 없다. 분기마다 바뀌기 때문이다. 오래 유효한 것은 “어느 고리가 병목인가”를 묻는 습관 쪽이다. 병목이 어디로 옮겨가느냐에 따라 협상력과 마진이 함께 움직인다.

자주 묻는 질문

HBM은 일반 D램보다 얼마나 비싼가?

공개된 정가는 없지만, 업계에서는 같은 용량 기준 범용 D램의 수 배 수준으로 본다. 제조 난이도가 높고 여러 칩을 쌓는 과정에서 하나만 불량이 나도 전체를 버려야 하기 때문이다. 이 가격 프리미엄이 메모리사 실적을 끌어올린 직접적인 배경이다.

HBM은 GPU에만 쓰이나?

아니다. 대역폭이 병목인 곳이라면 어디든 쓰인다. 빅테크가 만드는 자체 AI 가속기, 일부 고성능 네트워크 칩도 HBM을 채택한다. 다만 물량의 절대다수는 AI 가속기 쪽에서 나온다.

HBM 공급 부족은 언제 풀리나?

메모리 생산 능력만의 문제가 아니라는 점이 중요하다. HBM을 아무리 많이 만들어도 그것을 GPU와 함께 얹을 패키징 캐파가 따라오지 않으면 완제품 출하는 늘지 않는다. 그래서 공급 전망을 읽을 때는 메모리 증설 뉴스와 패키징 증설 뉴스를 함께 봐야 한다.

HBM 다음 세대는 무엇인가?

HBM4 이후로는 고객사별로 베이스 다이를 다르게 설계하는 이른바 커스텀 HBM 논의가 이어지고 있다. 표준 부품이 주문 제작 부품으로 성격이 바뀌는 흐름이며, 이는 메모리사와 고객사의 관계 자체를 바꾼다.

정리

HBM을 한 문장으로 줄이면 이렇다. 연산이 아니라 데이터 공급이 병목이라는 사실을 인정하고, 속도 대신 폭으로 그 병목을 뚫은 메모리.

그리고 그 “폭”을 확보하려면 메모리가 GPU 옆에 붙어 있어야 하고, 붙이는 일은 패키징의 몫이다. 메모리 이야기가 자꾸 패키징 이야기로 흘러가는 것은 그래서 자연스럽다. 다음 글에서는 그 패키징 쪽, 즉 CoWoS를 다룬다.

---

면책 고지
이 글은 AI 인프라 산업의 기술 구조를 이해하기 위한 정보 제공 목적으로 작성되었으며, 특정 종목의 매수 또는 매도를 권유하지 않습니다. 언급된 기업명은 산업 구조를 설명하기 위한 예시입니다. 시장 점유율과 출하 시점 등 전망치는 발행 시점의 공개 자료를 종합한 것으로 이후 변경될 수 있습니다. 투자 판단과 그 결과에 대한 책임은 투자자 본인에게 있습니다.