AI 시대, 기존 데이터센터는 왜 한계에 부딪히는가
들어가며: AI 시대, 데이터센터의 기준이 바뀌고 있습니다
성형 AI와 대규모 언어모델의 확산은 데이터센터의 역할을 크게 바꾸고 있습니다.
과거의 데이터센터는 서버와 네트워크 장비를 안정적으로 수용하는 공간에 가까웠습니다. 그러나 AI의 발전에 따라 데이터센터는 단순한 서버 보관 공간이 아니라, GPU 서버의 전력 소비량, 발열량, 랙 밀도, 냉각 방식, 운영 효율성까지 함께 고려해야 하는 복합 인프라가 되었습니다.
AI 경쟁은 더 이상 모델 성능만의 경쟁이 아닙니다.
기업이 AI를 실제 서비스와 비즈니스에 적용하기 위해서는 고성능 GPU 서버, 고속 네트워크, 대용량 스토리지, 안정적인 전력 공급, 효율적인 냉각 시스템, 그리고 이를 통합적으로 운영할 수 있는 데이터센터 인프라가 함께 필요합니다.
즉, AI 시대의 데이터센터는 “서버를 수용하는 공간”에서 “AI 인프라를 안정적으로 운영하고 비용 효율성을 높이는 전략적 인프라”로 변화하고 있습니다.
AI 인프라 변화가 기존 데이터센터에 부담을 주는 이유
GPU 중심의 AI 인프라는 더 많은 전력과 냉각을 요구합니다
AI 인프라에서 가장 큰 변화는 GPU 서버의 고성능화입니다.
AI 모델이 커질수록 더 많은 연산 자원이 필요해지고, 이를 처리하기 위해 고성능 GPU 서버가 사용됩니다. 하지만 GPU 성능이 높아질수록 전력 소비량도 증가하고, 서버에서 발생하는 열도 함께 많아집니다.
특히 최근 AI 인프라에서는 랙 전력 밀도가 빠르게 증가하고 있습니다. 약 18~24개월을 주기로 급격히 증가하는 전력 밀도와 새로운 냉각 방식의 등장은 기존 데이터센터의 전면 재설계를 요구하고 있습니다.
예를 들어 A100 기반 AI 인프라에서는 랙당 전력 밀도가 약 25kW 수준이었다면, GB200 기반 인프라에서는 약 140kW/rack 수준까지 증가할 수 있습니다. 최근 5년간 랙당 전력 요구량이 약 5.6배 증가한 것입니다.
랙당 전력 요구량이 급격히 높아지면, 기존 데이터센터의 전력 분배 구조와 냉각 방식만으로는 고밀도 GPU 서버를 안정적으로 운영하기 어렵습니다.
냉각 방식도 함께 바뀌고 있습니다. 과거에는 공랭 기반 냉각 방식으로도 충분히 대응할 수 있는 경우가 많았습니다. 그러나 고밀도 GPU 서버가 늘어나면서 공랭만으로는 발열을 감당하기 어려운 환경이 증가하고 있습니다.
특히 NVIDIA Blackwell 기반 시스템과 같은 차세대 AI 인프라는 Direct Liquid Cooling, 즉 DLC와 같은 액체 냉각 방식 없이는 구축이 어려운 방향으로 변화하고 있습니다.
이제 AI 데이터센터는 서버를 넣은 뒤 냉각 설비를 맞추는 방식이 아니라, GPU 서버의 전력 밀도와 냉각 요구사항을 기준으로 처음부터 설계되어야 합니다.
기존 데이터센터의 한계: 왜 지금 방식으로는 부족한가
기존 데이터센터는 안정성과 규모 측면에서 강점을 가지고 있습니다.
하지만 AI 인프라처럼 기술 변화가 빠르고, 전력·냉각 요구사항이 급격히 높아지는 환경에서는 기존 방식만으로 대응하기 어려운 문제가 발생합니다.
한계 1. 데이터센터 구축 기간이 GPU 세대 전환 속도를 따라가지 못합니다
기존 데이터센터의 가장 큰 한계 중 하나는 구축 기간입니다.
일반적인 데이터센터는 부지 확보, 인허가, 건축 설계, 전력 인입, 냉각 시스템 구축, 서버 설치, 테스트까지 많은 시간이 소요됩니다. 특히 대규모 데이터센터의 경우 지역 주민 민원, 인허가 지연, 전력 공급 협의 등의 변수가 더해져 계획보다 구축 기간이 훨씬 길어질 수 있습니다.
이러한 구축 지연은 AI 인프라에서 더 큰 문제가 됩니다. AI 서버와 GPU 세대는 빠르게 바뀌고 있기 때문입니다. GPU 세대는 18~24개월 단위로 빠르게 전환되고, 새로운 서버 아키텍처와 냉각 방식도 계속 등장하고 있습니다.
데이터센터 설계 시점에는 적합했던 인프라가 완공 시점에는 이미 구형 구조가 되어 있을 수 있습니다.
TEN의 한 고객사에서도 이와 유사한 문제가 있었습니다.
H100 GPU 512대를 선구매한 고객사는 기존 방식으로 데이터센터를 구축하는 과정에서 인허가 지연과 지역 민원을 겪으며 구축 기간이 26개월까지 늘어났습니다. 당초 계획보다 8개월 초과된 것입니다.
이 기간 동안 고가의 GPU는 설치되지 못하고 대기 상태였습니다. 보관 비용, 감가상각, 기회비용을 포함한 GPU 유휴 비용은 약 400만 달러, 즉 USD 4M 수준으로 추산되었습니다. 또한 H200 출시 이후 H100 가격이 약 30% 하락하면서 자산가치 손실도 발생했습니다.
데이터센터 구축 지연은 단순한 일정 문제가 아닙니다. GPU를 유휴 자산으로 만들고, 전체 AI 인프라의 비용 구조에 직접적인 부담을 주는 원인이 됩니다.
한계 2. 완공 이후 구조 변경이 어렵습니다
기존 데이터센터의 또 다른 문제는 구조적 경직성입니다.
한 번 완공된 데이터센터는 나중에 요구사항이 바뀌어도 쉽게 바꾸기 어렵습니다.
예를 들어 공랭 기반으로 설계된 데이터센터에 액체 냉각 GPU 서버를 나중에 도입하려면, 단순히 냉각 장비를 추가하는 것으로 끝나지 않습니다. 냉각수 배관을 새로 설치해야 하고, 전력 분배 구조를 변경해야 하며, 랙 배치도 다시 조정해야 할 수 있습니다.
경우에 따라 운영을 일부 중단하고 추가 공사비와 장비 교체 비용을 감수해야 합니다.
AI 인프라처럼 기술 변화가 빠른 영역에서는 이러한 구조적 경직성이 큰 리스크가 됩니다.
한계 3. AI 데이터센터에서는 TCO 관리가 핵심 경쟁력입니다
AI 인프라 구축에서 중요한 것은 초기 구축비만이 아닙니다.
GPU 구매 비용, 전력 비용, 냉각 비용, 데이터센터 임대 또는 구축 비용, 운영 인력 비용, 유지보수 비용, 유휴 자산 비용까지 모두 고려해야 합니다. 이를 TCO, Total Cost of Ownership이라고 합니다.
고성능 GPU를 확보하더라도 이를 안정적으로 운영할 데이터센터가 준비되지 않거나, 운영 과정에서 전력·냉각 비용이 과도하게 발생한다면 전체 비용 부담은 커질 수밖에 없습니다.
따라서 AI 데이터센터의 핵심 질문은 “얼마나 큰 규모로 구축할 것인가”가 아닙니다.
“얼마나 빠르게 구축하고, 얼마나 유연하게 확장하며, 얼마나 효율적으로 운영할 것인가”가 실질적인 경쟁력을 결정합니다.
결론: AI 데이터센터에는 새로운 구축 방식이 필요합니다
GPU 세대는 빠르게 바뀌고 있습니다.
랙 전력 밀도는 높아지고 있으며, 냉각 방식은 공랭에서 액체 냉각 중심으로 이동하고 있습니다. 이러한 변화 속에서 기존의 고정형 데이터센터 구축 방식은 속도와 유연성 측면에서 한계를 드러내고 있습니다.
앞으로의 AI 데이터센터는 단순히 더 큰 건물을 짓는 방식만으로는 충분하지 않습니다.
변화하는 GPU 세대, 전력 밀도, 냉각 방식, AI 워크로드에 맞춰 빠르게 구축하고 유연하게 확장할 수 있어야 합니다.
이러한 문제의식에서 등장한 대안이 바로 모듈형 데이터센터, 즉 MDC입니다.
다음 글에서는 모듈형 데이터센터가 무엇인지, 기존 데이터센터와 무엇이 다른지, 그리고 TEN의 MDC가 AI 인프라 구축에서 어떤 차별점을 가지는지 살펴보겠습니다.