해설

TSV는 실리콘 다이를 관통하는 구리 기둥입니다. 지름 5마이크로미터, 깊이 50마이크로미터. HBM4의 입출력 2,048개를 칩 테두리로는 뺄 수 없어서 바닥으로 뚫습니다. 그리고 진짜 병목은 구멍이 아니라 다이를 얼마나 얇게 깎느냐입니다.

KV 캐시는 계산을 메모리로 바꾸는 거래입니다. 라마 3 70B 기준 토큰 하나가 320KB, 12만 8천 토큰이면 42.9GB. 가중치는 고정인데 KV 캐시만 자라기 때문에 컨텍스트 길이가 동시 처리 인원의 상한을 정하고, 그래서 HBM은 용량과 대역폭을 동시에 올려야 합니다.

메모리 대역폭은 1초에 옮길 수 있는 데이터의 양이고, 용량과는 다른 축입니다. 버스 폭 곱하기 전송률 나누기 8로 계산합니다. DDR5 듀얼채널 102GB/s, HBM3E 한 스택 1229GB/s, HBM4 최대 2048GB/s를 실제 수치로 비교하고, AI 생성 속도가 왜 이 숫자에 묶이는지 설명합니다.

아스트라 발표에서 인프라 관점의 핵심 숫자는 벤치마크가 아니라 작업 하나에 약 40분입니다. 작업이 길어지면 KV 캐시가 그만큼 오래 HBM을 붙잡고, 병목은 연산이 아니라 메모리 용량과 대역폭으로 옮겨갑니다.