2028년 10기가와트: 세는 단위가 칩 개수에서 와트로 바뀌었다

2028년 10기가와트. 세는 단위가 칩 개수에서 와트로 바뀌었다

브로드컴이 고객사별 자체 칩 배치 계획을 칩 개수가 아니라 기가와트로 공시했습니다. 같은 주에 엔비디아와 오라클과 마이크로소프트가 모두 와트로 사업을 설명했고, 오픈AI는 용량이 없어 가장 비싼 요금제의 판매를 멈췄습니다. 세는 단위가 바뀐 이유는 칩이 부족해서가 아니라 칩을 꽂을 자리가 부족해서입니다.

KV 캐시란 무엇인가: 가중치는 고정이고 대화는 자란다

KV 캐시란 무엇인가: 컨텍스트를 채운 대화 하나가 GPU 메모리 42.9GB를 쓴다

KV 캐시는 계산을 메모리로 바꾸는 거래입니다. 라마 3 70B 기준 토큰 하나가 320KB, 12만 8천 토큰이면 42.9GB. 가중치는 고정인데 KV 캐시만 자라기 때문에 컨텍스트 길이가 동시 처리 인원의 상한을 정하고, 그래서 HBM은 용량과 대역폭을 동시에 올려야 합니다.

멈춘 원전을 2029년에 다시 켠다: 병목이 칩 바깥으로 나갔다

인프라장 데일리 커버. 멈춘 원전을 2029년에 다시 켠다, 병목이 칩 바깥으로 나갔다.

미 에너지부가 19억 달러를 대출해 2020년 멈춘 615MW 원전을 되살립니다. AI 코딩 회사 한 곳의 올해 현금 소진은 8억 달러로 추정되고, 삼성은 반도체 공정용 AI를 사내 인프라에서만 돌립니다. 세 건 다 칩이 아니라 칩을 둘러싼 조건 이야기입니다.

메모리 대역폭이란 무엇인가: 용량은 담는 양, 대역폭은 꺼내는 속도

인프라장 해설 커버. 메모리 대역폭이란 무엇인가, 용량은 담는 양 대역폭은 꺼내는 속도.

메모리 대역폭은 1초에 옮길 수 있는 데이터의 양이고, 용량과는 다른 축입니다. 버스 폭 곱하기 전송률 나누기 8로 계산합니다. DDR5 듀얼채널 102GB/s, HBM3E 한 스택 1229GB/s, HBM4 최대 2048GB/s를 실제 수치로 비교하고, AI 생성 속도가 왜 이 숫자에 묶이는지 설명합니다.

미국에서 만들지 않으면 관세: 공정의 위치가 원가가 된다

인프라장 데일리 커버. 미국에서 만들지 않으면 관세, 공정의 위치가 원가가 된다.

미 상무장관이 표적 관세를 공식화했고, 범위를 칩이 들어간 제품까지 넓히는 것도 검토 중이다. 브로드컴 AI 반도체는 221% 늘었지만 마벨을 보면 커스텀 칩보다 광학이 앞선다. 그리고 병목 얘기가 전력과 냉각으로 내려오고 있다.

HBM 밸류체인 지도: 어느 공정이 병목이고 어느 공정이 범용인가

인프라장 해설 커버. HBM 밸류체인 지도, 어느 공정이 병목이고 어느 공정이 범용인가.

HBM의 병목은 D램을 만드는 공정이 아니라 그 뒤에 쌓고 검사하는 공정에 있다. 수율 계산이 곱셈이라서 16장을 쌓다가 한 장이 불량이면 16장을 버리기 때문이다. 공정 10단계를 순서대로 짚어 어디가 범용이고 어디가 병목인지 정리했다.