네오클라우드란 무엇인가: GPU를 빌려주는 회사의 손익은 6년과 4년 사이에서 갈린다
네오클라우드는 GPU를 시간 단위로 빌려주는 회사다. CoreWeave의 손익이 감가상각 내용연수 6년과 4년 사이에서 갈리는 이유를 숫자로 본다.
삼성전자 5억 달러: 부품을 파는 자리에서 발주를 내는 자리로
삼성 6개사가 KKR이 세운 AI 인프라 회사 헬릭스에 10억 달러를 넣었습니다. CDU도 UPS도 EPC도 팔 수 있는 회사가 파는 대신 샀습니다.
2.5D와 3D 패키징은 무엇이 다른가: HBM은 왜 GPU 위에 올라가지 않나
2.5D는 옆에 두고 3D는 위에 쌓습니다. imec 모의실험에서 HBM을 GPU 위에 직접 얹자 같은 냉각 조건에서 141.7도가 나왔습니다.
52%와 마이너스 10.8%: 파는 단위가 서버에서 랙으로 올라갔다
2분기 세계 서버 지출이 1,663억 달러로 52% 늘었는데 GPU 시스템 출하 대수는 10.8% 줄었습니다. 파는 단위가 서버에서 랙으로 올라간 것이고, 그러면 설비 부품의 합격선을 정하는 사람도 바뀝니다.
TSV란 무엇인가: 구멍 6만 개가 D램을 세로로 세운다
TSV는 실리콘 다이를 관통하는 구리 기둥입니다. 지름 5마이크로미터, 깊이 50마이크로미터. HBM4의 입출력 2,048개를 칩 테두리로는 뺄 수 없어서 바닥으로 뚫습니다. 그리고 진짜 병목은 구멍이 아니라 다이를 얼마나 얇게 깎느냐입니다.
8,560억 달러는 어디로 가나: 비용이 줄어든 게 아니라 장부를 옮겨 탔다
오픈AI의 컴퓨팅 청구서는 2월 6,000억에서 7월 8,560억 달러로 늘었는데 현금흐름 적자 전망은 오히려 줄었습니다. 지출이 자기 장부에 남지 않기 때문이고, 그 장부를 누가 들고 있는지는 엔스케일의 상장 신청서에 적혀 있습니다.
12개월 정지와 5배 밀도: 전력 병목은 세 층에서 값이 매겨진다
9월 16일 하루에 전력 관련 세 건이 겹쳤습니다. 라우던 카운티는 인허가를 12개월 멈췄고, 엔비디아와 구글은 계통에 유연성을 파는 연합을 만들었고, onsemi는 전력 밀도 3~5배를 들고 나왔습니다.
AI 학습과 추론은 무엇이 다른가: 추론은 그 안에서 또 한 번 갈린다
같은 모델인데 학습은 파라미터당 16바이트, 추론은 2바이트를 요구합니다. 그리고 추론은 그 안에서 프리필과 디코드로 다시 갈립니다. 병목이 정반대인 두 구간입니다.
GPU 가동률 97.9%: 문제는 파는 값이 아니라 사는 값이다
오라클의 2027 회계연도 1분기 GPU 가동률이 97.9%였고 IaaS 매출의 88%가 연산 용량 판매였습니다. 같은 분기에 하드웨어 총마진은 73%대에서 63.7%로 내려갔습니다. 부품을 비싸게 샀기 때문입니다. 수요는 확실해졌고 공급은 비싸졌습니다. 그리고 KT클라우드가 1기가와트를 20여개 거점으로 쪼개는 이유는, 미국인 10명 중 7명이 자기 지역 데이터센터에 반대한다는 숫자와 같은 자리를 가리킵니다.
AI 데이터센터는 전력을 어디에 쓰나: PUE 하나가 GPU 10만 장을 가른다
데이터센터 전력의 약 60%는 서버가 씁니다. 이 몫은 거의 고정이고, 차이가 벌어지는 곳은 냉각입니다. 그 비율을 하나의 숫자로 표현한 것이 PUE이고, 세계 평균 PUE는 2020년 이후 1.5대에서 멈춰 있습니다. 같은 900메가와트를 확보해도 PUE가 1.2인지 1.56인지에 따라 GPU 약 10만 장이 왔다 갔다 합니다.