11분 분량PacketStream
GPU 서버는 일반 서버를 두던 랙에 그대로 넣기 어렵습니다. 전력·냉각·네트워크·스토리지 조건과 시간 단위 임대, 전용 클러스터 구축, 코로케이션의 차이를 살펴봅니다.
이 글의 목차
GPU 서버를 들이기로 하면 GPU 모델과 수량부터 정하게 됩니다. 그런데 장비가 정해져도 그 장비를 켤 전력과 식힐 냉각이 준비된 자리가 없으면 설치할 수 없습니다. GPU 서버는 둘 곳과 구하는 방식이 서로 묶여 있어 한쪽만 먼저 정하기 어렵습니다. 데이터센터에서 무엇을 확인하는지, 빌리기와 맡기기와 직접 넣기 중 무엇이 맞는지 차례로 보겠습니다.
GPU 서버를 일반 서버 랙에 그대로 넣기 어려운 이유
GPU 서버는 같은 랙 공간에서 일반 서버보다 훨씬 많은 전력을 쓰고 그만큼 열을 냅니다. 서버가 쓴 전력은 대부분 열로 바뀌므로 전력을 더 받으려면 열을 빼는 방법도 함께 바뀝니다. 랙에 빈 공간이 있다는 것만으로는 GPU 서버를 넣을 수 있는지 알 수 없습니다.
NVIDIA의 DGX Vera Rubin NVL72 사용자 가이드가 이 차이를 보여 줍니다.
- 랙마다 들어가는 파워 셸프
- 4개
- 파워 셸프 하나의 정격
- 110kW
- 랙 안에 분배하는 직류 전압
- 54V
110kW는 파워 셸프 하나의 정격입니다. 네 셸프의 정격을 합해도 랙의 실제 소비전력을 알 수는 없습니다. 파워 셸프는 교류 전력을 직류로 바꿔 버스바로 랙 안에 분배합니다. 컴퓨트 트레이는 매니폴드와 콜드 플레이트를 흐르는 액체로 식힙니다.
PacketStream Colocation의 Full 랙(47U) 계약에는 10A/220V(2.2kVA)가 기본으로 포함됩니다. 이는 장비의 소비전력이 아니라 랙에 공급하는 기본 용량입니다. 추가 용량은 1.1kVA 단위로 신청합니다.
그다음에 볼 조건은 다섯 가지입니다.
GPU 서버 데이터센터에서 확인할 다섯 가지
GPU 서버를 둘 데이터센터는 전력, 냉각, 노드 간 통신, 데이터 경로, 데이터 보관 위치로 확인합니다.
| 조건 | 물어볼 것 | 맞지 않으면 생기는 일 |
|---|---|---|
| 전력 | 랙 하나에 공급되는 전력, 데이터센터의 전력 여유와 증설 조건 | 장비를 여러 랙에 나누거나 증설을 기다립니다 |
| 냉각 | 공랭만 가능한지, 수냉 설비가 있는지 | 수냉을 전제로 한 장비는 설치할 수 없습니다 |
| 노드 간 통신 | GPU 노드를 잇는 패브릭의 종류와 토폴로지 | 노드를 늘려도 학습 시간이 줄지 않습니다 |
| 데이터 경로 | 데이터를 들여오고 내보낼 회선, 스토리지의 위치 | 데이터를 옮기는 시간이 작업의 대기 시간이 됩니다 |
| 데이터 보관 위치 | 데이터가 머물러야 하는 국가와 지역, 접근 경로 | 요건을 맞추려고 구성을 처음부터 다시 잡습니다 |
전력은 장비를 늘릴 때도 고려합니다. 지금 쓸 랙에 전력이 충분해도 데이터센터에 남는 전력이 없으면 랙을 추가하기 어렵습니다. 냉각 방식은 장비가 정합니다. 수냉을 전제로 만든 장비는 냉각수를 분배하는 장치인 CDU(Coolant Distribution Unit)가 있는 시설에만 들어갑니다.
PacketStream E1의 조건은 다음과 같습니다.
- 최대 전력
- 14.2MW
- 동당 최대 전력
- 4.8MW
- 구성
- 3개 동
14.2MW는 E1 전체의 최대 전력입니다. 특정 GPU 서버를 설치할 수 있는지는 해당 랙에 공급할 수 있는 전력과 냉각 방식으로 판단합니다. E1은 CDU 기반 수냉을 기본으로 지원합니다. NVIDIA Rubin 기반 시스템을 고려한 OCP 타입으로 설계했으며 DC Power Shelf 구성도 지원합니다.
전력과 냉각은 건물이 갖춘 조건입니다. 나머지 세 가지는 건물 안팎을 어떻게 잇느냐에 달려 있습니다.
노드 간 통신과 스토리지 배치
GPU 노드가 두 대 이상이면 노드 사이의 통신과 스토리지 위치가 학습 속도를 좌우합니다. 분산 학습에서는 노드들이 계산 결과를 계속 주고받으므로 이 통신이 느리면 GPU가 다음 데이터를 기다리며 쉽니다. 일손을 늘렸는데 재료를 나르는 통로가 하나뿐인 주방과 같습니다.
그래서 GPU 클러스터는 노드 간 통신에 쓰는 패브릭을 서비스용 네트워크와 따로 설계합니다. PacketStream GPU Server는 노드 간 통신을 InfiniBand NDR/XDR로 처리하며 토폴로지는 규모와 통신 패턴에 따라 결정합니다.
스토리지도 같은 이유로 GPU 가까이에 둡니다. 학습 중에 읽고 쓰는 데이터와 체크포인트가 먼 스토리지에 있으면 저장할 때마다 학습이 지연됩니다. PacketStream은 데이터를 성격에 따라 두 곳에 나눠 저장하도록 권장합니다.
병렬 파일 스토리지(PFS)
- NVMe 기반이며 GPU 노드와 같은 패브릭에 연결됩니다
- 학습 중에 읽고 쓰는 데이터를 저장합니다
- 체크포인트를 저장합니다
Object Storage
- S3 호환 스토리지입니다
- 자주 쓰지 않는 데이터셋 원본을 보관합니다
- 산출물 아카이브를 보관합니다
이 조건들은 시설 사양서에 나오지 않아 놓치기 쉽습니다. 전력과 냉각은 건물의 사양이지만 패브릭과 스토리지는 클러스터를 누가 어떻게 설계하느냐에 따라 달라집니다. 건물 밖으로 나가는 경로도 마찬가지입니다.
데이터 반입·반출 경로와 데이터 보관 위치
클러스터 바깥과의 연결은 데이터를 옮기는 데 걸리는 시간과 데이터가 머물 수 있는 지역을 정합니다. 새 데이터가 들어오고 모델과 산출물이 나가는 일은 운영 내내 반복됩니다.
데이터가 다른 클라우드나 사내 스토리지에 있다면 그곳과 GPU 클러스터 사이의 회선 대역폭과 전송 비용을 미리 계산합니다. PacketStream은 데이터 반입·반출을 자체 백본과 ISP 직접 연결로 처리합니다. 코로케이션 랙에 둔 장비라면 Cloud Connect로 퍼블릭 클라우드와, Metro Connect로 수도권의 다른 데이터센터와 전용회선을 구성할 수 있습니다.
이 조건은 다음에 볼 도입 방식까지 좁힙니다.
GPU 서버를 구하는 세 가지 방식
GPU 서버를 구하는 방식은 시간 단위로 빌리기, 전용 클러스터 구축을 맡기기, 보유한 장비를 코로케이션에 넣기로 나뉩니다. PacketStream에서는 각각 GPU Cloud, Cluster Build, Colocation이 맡습니다.
| 기준 | 시간 단위 임대 (GPU Cloud) | 전용 클러스터 구축 (Cluster Build) | 코로케이션 (Colocation) |
|---|---|---|---|
| 장비 | 공용 클러스터 안의 인스턴스 | 고객 전용 클러스터 | 고객이 보유한 장비 |
| 과금·계약 | 시간 단위 과금 또는 1개월 이상 예약 | 구축 계약과 운영 계약 | 랙 크기와 추가 전력에 따른 월 요금 |
| 네트워크·토폴로지 | 표준 구성 | 요건에 맞춰 설계 | 고객이 직접 구성 |
| 전력·냉각 | 사업자가 준비한 시설 그대로 | 랙 밀도에 맞춰 방식을 정하고 사이트를 준비 | 계약 전에 랙 조건을 장비와 대조 |
| 위치 | 제공 리전 중 선택 | 리전 지정 또는 고객 사이트 | 서울의 데이터센터 중 선택 |
| 장애 대응 | 장애 노드를 격리하고 다른 노드로 재배치 | 운영 계약 범위에 부품 교체 포함 | 장비 운영은 고객이 담당 |
- GPU Cloud: Portal에서 GPU를 선택해 인스턴스를 생성합니다. 온디맨드는 생성한 시점부터 삭제할 때까지 시간 단위로 과금하며 약정이 없고 가용 자원 범위 안에서 제공합니다. 예약 인스턴스는 1개월 이상 기간을 정해 자원을 먼저 확보하는 방식입니다.
- Cluster Build: GPU·노드 선정, 인터커넥트 설계, 스토리지 구성, 전력·냉각, 인계 방식, 운영·모니터링 가운데 필요한 항목만 맡길 수 있습니다. 요건 정리, 설계·견적, 발주·구축, 인계·운영 순서로 진행합니다. 완성된 클러스터는 OS와 드라이버까지 설치한 베어메탈 상태나 Kubernetes와 스케줄러를 구성한 상태로 인계받습니다. 배치 위치는 PacketStream 데이터센터, 고객이 계약한 코로케이션, 데이터 보관 위치 제약이 있는 지역 안의 폐쇄망 구성 가운데 정합니다.
- Colocation: 고객의 서버와 네트워크 장비를 데이터센터에 설치해 직접 운영하는 방식입니다. 물리 보안, 전력, 냉각, 네트워크 연결은 PacketStream이 제공하고 장비 구성과 운영은 고객이 맡습니다.
표만 보면 하나를 고르면 끝날 것 같지만 방식마다 맞지 않는 경우가 따로 있습니다.
세 방식이 각각 맞지 않는 경우
세 방식은 서로의 약점을 메우므로 어떤 방식이 맞지 않는지는 워크로드에 따라 다릅니다.
- 시간 단위로 빌린다 → 필요한 날에 가용 자원이 없을 수 있습니다. PacketStream GPU Cloud도 수십 장 이상을 한 번에 요청하거나 특정 리전을 지정하면 배정에 며칠이 걸릴 수 있습니다. 네트워크가 표준 구성이라 특정 토폴로지나 폐쇄망 요건은 맞추기 어렵습니다.
- 전용 클러스터 구축을 맡긴다 → 설계와 발주, 사이트 준비를 거치므로 당장 쓸 수 없습니다. 규모와 통신 패턴이 아직 드러나지 않은 실험 단계라면 설계의 근거가 될 숫자부터 부족합니다.
- 보유한 장비를 코로케이션에 넣는다 → 장비 조달, 패브릭 설계, 장애 대응, 부품 교체가 모두 운영팀의 일이 됩니다. 랙의 전력과 냉각 방식이 장비와 맞는지도 계약 전에 직접 대조합니다.
어느 쪽도 모든 단계에 맞지는 않습니다. 그래서 하나만 고르기보다 단계마다 방식을 바꾸는 구성도 검토할 수 있습니다.
- 실험 단계약정 없는 온디맨드로 시작합니다.
- 사용량이 일정해진 뒤예약 인스턴스로 옮겨 자원을 먼저 확보합니다.
- 규모와 통신 패턴이 드러난 뒤요건에 맞춘 전용 클러스터를 설계합니다.
직접 넣기와 맡기기 사이에도 중간 지점이 있습니다. Cluster Build는 고객이 계약한 코로케이션에도 구축할 수 있고 이때는 사이트의 전력 조건부터 확인합니다. 남은 일은 우리 워크로드가 어느 경우에 해당하는지 가리는 것입니다.
워크로드에 맞춰 정하는 순서
장소와 방식은 데이터 조건, 사용 기간, 규모, 운영 인력 순서로 좁힙니다. 앞 단계에서 빠진 선택지는 뒤 단계에서 다시 비교하지 않아도 됩니다.
- 데이터 조건: 데이터가 정해진 국가나 지역을 벗어날 수 없는지 확인합니다. 그렇다면 그 지역 안에서 가능한 구성만 남깁니다.
- 사용 기간: 실험과 단기 학습에는 약정 없는 시간 단위 이용이 맞습니다. 몇 달 이상 꾸준히 쓰는 작업은 예약과 전용 구축의 총비용을 같은 기간으로 놓고 비교합니다.
- 규모와 통신 패턴: 단일 노드 작업이나 추론은 표준 구성으로 충분할 수 있습니다. 멀티노드 분산 학습이라면 패브릭 토폴로지와 스토리지 대역폭을 요건에 넣습니다.
- 장비와 운영 인력: 장비를 이미 보유했고 하드웨어를 다룰 인력이 있으면 코로케이션을 검토합니다. 이때 장비의 소비 전력과 냉각 방식을 랙 조건과 대조합니다.
- 데이터 경로: 데이터셋이 있는 곳과 GPU 사이의 회선, 학습용 스토리지와 보관용 스토리지의 위치를 정합니다.
GPU 모델과 수량은 견적서의 첫 줄입니다. 장비를 켤 전력, 식힐 냉각, 노드를 이을 패브릭, 데이터가 오갈 경로가 함께 정해져야 그 견적이 운영 계획이 됩니다. 어디에 둘지와 어떻게 구할지를 한 표에 놓고 비교하면 빠진 조건이 먼저 드러납니다.
관련 제품
다른 인사이트
인사이트 전체
전용회선 고르는 법: 데이터센터 안, 데이터센터 사이, 클라우드까지
공용 인터넷과 VPN으로 충분한 구간과 전용회선이 필요한 구간을 가르고 같은 데이터센터 안, 데이터센터 사이, 퍼블릭 클라우드까지의 연결을 계층·이중화·가격 요소로 비교합니다.기술 이야기11분 분량

DDoS 방어란: 공격 규모를 읽는 법부터 도입 전 확인할 질문까지
DDoS 방어는 공격과 정상 트래픽을 가려내는 일입니다. L3/L4와 L7 공격, bps·pps·rps 지표, Always-On과 On-Demand, WAF와의 관계, 도입 전 질문과 대응 순서를 살펴봅니다.기술 이야기8분 분량

VPS란? 가상 서버를 고를 때 먼저 확인할 것
VPS의 개념부터 공유 호스팅과의 차이, CPU·메모리·스토리지 선택, 트래픽 과금과 백업까지. 처음 가상 서버를 선택할 때 필요한 판단 기준을 살펴봅니다.기술 이야기9분 분량
