HBM

TSV란 무엇인가: 구멍 6만 개가 D램을 세로로 세운다

작성자:
12단 HBM 한 패키지에 TSV 구멍 6만 개가 들어간다는 것을 보여주는 표지

TSV는 실리콘 다이를 관통하는 구리 기둥입니다. 지름 5마이크로미터, 깊이 50마이크로미터. HBM4의 입출력 2,048개를 칩 테두리로는 뺄 수 없어서 바닥으로 뚫습니다. 그리고 진짜 병목은 구멍이 아니라 다이를 얼마나 얇게 깎느냐입니다.

KV 캐시란 무엇인가: 가중치는 고정이고 대화는 자란다

작성자:
KV 캐시란 무엇인가: 컨텍스트를 채운 대화 하나가 GPU 메모리 42.9GB를 쓴다

KV 캐시는 계산을 메모리로 바꾸는 거래입니다. 라마 3 70B 기준 토큰 하나가 320KB, 12만 8천 토큰이면 42.9GB. 가중치는 고정인데 KV 캐시만 자라기 때문에 컨텍스트 길이가 동시 처리 인원의 상한을 정하고, 그래서 HBM은 용량과 대역폭을 동시에 올려야 합니다.

메모리 대역폭이란 무엇인가: 용량은 담는 양, 대역폭은 꺼내는 속도

작성자:
인프라장 해설 커버. 메모리 대역폭이란 무엇인가, 용량은 담는 양 대역폭은 꺼내는 속도.

메모리 대역폭은 1초에 옮길 수 있는 데이터의 양이고, 용량과는 다른 축입니다. 버스 폭 곱하기 전송률 나누기 8로 계산합니다. DDR5 듀얼채널 102GB/s, HBM3E 한 스택 1229GB/s, HBM4 최대 2048GB/s를 실제 수치로 비교하고, AI 생성 속도가 왜 이 숫자에 묶이는지 설명합니다.

미국에서 만들지 않으면 관세: 공정의 위치가 원가가 된다

작성자:
인프라장 데일리 커버. 미국에서 만들지 않으면 관세, 공정의 위치가 원가가 된다.

미 상무장관이 표적 관세를 공식화했고, 범위를 칩이 들어간 제품까지 넓히는 것도 검토 중이다. 브로드컴 AI 반도체는 221% 늘었지만 마벨을 보면 커스텀 칩보다 광학이 앞선다. 그리고 병목 얘기가 전력과 냉각으로 내려오고 있다.

HBM 밸류체인 지도: 어느 공정이 병목이고 어느 공정이 범용인가

작성자:
인프라장 해설 커버. HBM 밸류체인 지도, 어느 공정이 병목이고 어느 공정이 범용인가.

HBM의 병목은 D램을 만드는 공정이 아니라 그 뒤에 쌓고 검사하는 공정에 있다. 수율 계산이 곱셈이라서 16장을 쌓다가 한 장이 불량이면 16장을 버리기 때문이다. 공정 10단계를 순서대로 짚어 어디가 범용이고 어디가 병목인지 정리했다.

엔비디아 구매 약정이 한 분기에 두 배: 선구매가 정상 거래를 대체한다

작성자:
인프라장 데일리 커버. 엔비디아 구매 약정이 한 분기에 두 배, 선구매가 정상 거래를 대체한다.

엔비디아의 공급·생산능력 구매 약정이 한 분기에 1,190억에서 2,790억 달러로 뛰었고 증가분 대부분이 메모리다. 3년치를 미리 묶은 이 계약이 수출 물량과 재고 숫자를 어떻게 뒤집어 놓는지, 그리고 엔비디아가 커스텀 메모리로 무엇을 내놨는지 정리했다.