더 세세하게 살펴보자면 첫째, AI 연산의 병목이 연산 능력에서 메모리 대역폭으로 옮겨갔다. 지난 10여 년간 GPU의 연산 성능(FLOPS)은 세대마다 크게 뛰었지만, 데이터를 연산 유닛에 공급하는 메모리 대역폭은 그 속도를 따라가지 못했다.

이른바 '메모리 월' 문제다. 특히 클로드나 GPT 같은 LLM의 추론 단계에서는 토큰 하나를 생성할 때마다 수천억 개의 파라미터를 메모리에서 읽어와야 하므로, 실제 처리 속도는 연산 유닛보다 메모리 대역폭에 의해 결정되는 경우가 많다. 결국 GPU의 실질 성능을 끌어올리는 가장 확실한 방법은 더 넓은 대역폭과 더 큰 용량의 메모리를 사용하는 것이고, 이를 완화할 수 있는 사실상 유일한 방법이 HBM이며, HBM4가 출하된 지금까지도 이 문제는 해결되지 못하고 있다.

또한, GPU 한 개당 탑재되는 HBM 용량이 세대를 거듭하며 가파르게 늘고 있다. 엔비디아 기준으로 H100은 80GB, H200은 141GB, B200은 192GB, B300은 288GB의 HBM을 탑재했고, 차세대 루빈 플랫폼은 HBM4로 넘어가면서 용량과 대역폭이 다시 한 단계 올라가며, 미래로 갈수록 증가폭은 더욱 가팔라진다. 모델 파라미터 규모, 긴 컨텍스트 처리를 위한 KV 캐시, 그리고 추론형 모델의 확산이 모두 메모리 수요를 키우는 방향으로 작용하기 때문이다. 따라서, 시간이 지남에 따라 GPU 출하량 증가에 GPU당 탑재량 증가가 곱해지는 구조이기에 HBM 수요는 GPU 시장 자체보다 더 빠르게 성장하고, 이는 곧 HBM 기업들의 매출 급증으로 이어진다.

마지막으로, HBM은 공급을 늘리기가 매우 어려운 제품이다. HBM은 여러 장의 DRAM 다이를 수직 적층한 구조로, 업계에서는 동일한 비트를 만드는 데 일반 DDR5 대비 약 세 배 수준의 실리콘 웨이퍼 면적이 소요되는 것으로 추정한다. 추가로, 적층 단수가 8단에서 12단, 16단으로 높아질수록 수율 관리 난도도 기하급수적으로 올라가게 되며, 여기에 HBM4부터는 베이스 다이에 로직 공정이 적용되면서 파운드리(생산기업)과의 협업까지 필요해졌다. 이처럼 생산 난도가 높다 보니 시장은 SK하이닉스, 삼성전자, 마이크론 세 업체의 과점 구조로 굳어졌으며, 신규 진입자가 단기간에 공급을 늘릴 여지는 거의 없다.

(이미지 출처: AMD)

이와 연결되어, HBM 기업 주가 상승의 본질은 실적 증가 자체와 밸류에이션 체계의 변화에 있다. 과거 메모리 반도체는 수요와 공급이 엇박으로 움직이며 가격이 급등락하는 대표적인 경기순환 업종으로 분류되어, 호황기에도 낮은 멀티플(이익 대비 주가)을 받는 것이 일반적이었다. 그러나 HBM은 고객사와 사전에 물량과 가격을 협상하는 장기 계약 성격이 강하고, HBM4 이후로는 고객 맞춤형(custom HBM) 설계까지 확대되면서 범용 원자재보다는 주문형 고부가 부품에 가까운 성격을 띠게 되었다.

이러한 변화에 따라 시장이 메모리 업체의 이익을 '언젠가 꺾일 사이클의 정점'이 아니라 '구조적 성장의 초입'으로 재해석한 것, 그리고 폭발적인 실적 증가에 리레이팅이 더해진 것. 이것이 HBM 섹터 주가 급등의 핵심 동력이다.