Надо сказать, что российскому рынку ЦОДов есть чем гордиться. По классификации Uptime Institute, в нашей стране 10 дата-центров уровня TIER III и один — TIER IV, высшего уровня с точки зрения сертифицирующей организации. Более того, в России есть своё подразделение и представитель Uptime Institute, что само по себе говорит не только о доверии, но и о возросшей необходимости в сертификации отечественных проектов.
О том, что в России построен ЦОД высшего уровня надёжности, мы уже писали, проведя небольшой тур по объекту. А сегодня у нас экскурсия на один из самых технологически совершенных и крупных ЦОДов на сегодня. Это новый проект SuperNAP 8 от компании Switch. Эта компания, как вы знаете, постоянно попадает в новостные сводки в связи с какими-то невообразимыми проектами. А CEO и основатель компании Роб Рой (Rob Roy) знаменит тем, что запатентовал 218 изобретений для дата-центров, включая решения в области охлаждения, ЦОДов повышенной плотности, сетевого оборудования, борьбы с последствиями для окружающей среды.
В 2009 году Switch обосновались на рынке, построив первый SuperNAP — технологичный ЦОД с почти 40 тысячами квадратных метров полезной площади. Он до сих пор сдаётся в аренду крупнейшим технологическим компаниям мира и более чем 40 облачным провайдерам. А сегодня мы говорим о SuperNAP 8, поскольку это очередной уникальный проект компании, напичканный всевозможными технологическими новшествами и к тому же получивший сертификат уровня TIER IV от Uptime Institute. Надо ли говорить, что это знак отличия, фактически позволяющий рассматривать каждый такой ЦОД отдельно?
SuperNAP 8 — это кульминация всех исследований, находок, изобретений и попыток Роба Роя переосмыслить дата-центр как таковой. Проект построен таким образом, что ЦОД может работать в любом климате: это, конечно, является претензией на глобальную экспансию. Об этом намерении компании говорит и тот факт, что Switch сделали из своего нового ЦОДа своеобразный эффективный шаблон для строительства и распространения дата-центров.
Модульный подход при строительстве коммерческих ЦОДов позволяет, во-первых, сократить до минимума капитальные затраты, так как используется именно такое количество модулей, которое необходимо в данный момент или с небольшим запасом для клиентов. Во вторых, унификация инженерных и модулей со стойками к разработанному стандарту удешевляет производство и расширение мощностей ЦОДа. То есть, мы имеем набор типовых модулей по принципу Lego и из этих «кирпичиков» можем создать ЦОД, который необходим для практически любых задач клиента, тиражирование такого решения состоящим из модулей, открывает широкие возможности по принципу «собери свой ЦОД сам». – представитель компании Contain-RZ Андрей Горемульта.
«Мы были серьёзно сфокусированы на том, чтобы создать лучший в мире дата-центр, — говорит Роб Рой. — SuperNAP 8 — это конечная точка наших усилий. Мне просто хотелось понять, сможем ли мы разработать глобальный стандарт для наших дата-центров».
Как я уже говорил, у нас действительно есть повод для гордости, поскольку далеко не каждый регион на карте может отметиться наличием ЦОДа высшего уровня надёжности и таким количеством центров уровня TIER III. И статистика это только подчёркивает, поскольку на рынке США, традиционно считающемся развитым, всего четыре дата-центра TIER IV. Но все они, как и наш, построены с учётом требований одного заказчика — и, соответственно, там располагаются мощности только одной компании. Стоит заметить, что SuperNAP 8 стал первым в истории Uptime Institute ЦОДом, который получил пресловутый «четвёртый уровень», будучи колокейшен-центром. То есть у него будет множество клиентов со своими предпочтениями и запросами, но все они уложатся в рамки требований TIER IV.
SuperNAP 8 построен с использованием модульных компонентов, произведённых все той же Switch. Основной блок, известный как MacroMOD, вмещает в себя два коридора со стойками: именно здесь будут размещаться клиентские серверы. Для собственного пользования Switch предусмотрели ещё один такой же блок. MacroMOD позволил добиться значительного прогресса в значении весьма важного для ЦОДов параметра PUE (эффективность использования электроэнергии), который у SuperNAP 8 составляет 1,18, в то время как средняя эффективность дата-центров Google колеблется на уровне 1,12. Притом что Google использует свои ЦОДы единолично, не сдавая в аренду. А колокейшен-центры менее гибки в энергопотреблении, поэтому такой уровень PUE о многом говорит. SuperNAP 8 работает при температуре +69 C° и влажности 40%. ЦОДы масштабных игроков ИТ-рынка, таких как Google и Facebook, находятся ближе к отметке в 80 градусов.
С точки зрения дизайна со времён первого SuperNAP (теперь известного как SuperNAP 7) поменялась внутренняя структура ЦОДа. В предыдущей версии энергоблоки размещались в центре зала с рядами стоек и щитовыми по бокам. Теперь все энергоблоки и щитовые находятся в одной части здания, вдоль внешней стены, а ряды серверных стоек расположены на всей остальной территории. Охлаждающие модули, о которых стоит поговорить отдельно, находятся снаружи здания. Инфографика внизу показывает, как расположены генераторы, щитовые, энергоблоки, охлаждение. Разделение электрооборудования и серверов с охлаждающими системами позволяет достичь высокой надёжности, даже в случае проблем с электроснабжением.
Для нового ЦОДа в Switch разработали специальную, увеличенную версию кастомных модулей охлаждения, каждый из которых способен кондиционировать до 1 000 тонн воздуха (в предыдущей версии было всего 600 тонн). Модули интересны тем, что они поддерживают шесть различных режимов охлаждения. Специальная софтверная платформа управляет системой, выбирая метод в соответствии с температурой снаружи и внутри помещения. Нехарактерные для подобных модулей выступы в верхней части предназначены для того, чтобы отводить горячий воздух и при необходимости разогревать за счёт этого наледь и снег, что актуально для холодного климата. Ещё одной отличительной особенностью охлаждающих модулей является система Rotofly. Это ротационные маховики, встроенные в каждый HVAC-модуль. В случае отказа системы электроснабжения они ещё долгое время будут охлаждать серверное помещение, прокачивая холодный воздух сквозь коридоры с оборудованием.
Ещё одним пунктом нашей экскурсии станет изобретение CEO Роба Роя — архитектура Black Iron Forest. Это система распределения пространства внутри дата-центра, построенная на специальных стальных стойках, и впрямь напоминающих лес. У этого «леса» есть две функции — физически поддерживать модули ЦОДа (как на сваях) и охлаждать их, поскольку сплав хорошо поддерживает заданную температуру, выполняя функцию радиатора.
Другой элемент ЦОДа, о котором обычно не говорят, — это… крыша! Дело в том, что 99% дата-центров сталкиваются с необходимостью менять крышу в течение срока службы, а во время демонтажа центр оказывается весьма уязвимым. Поэтому в SuperNAP8 применили технологию SwitchSHIELD — по сути, это двойная укреплённая крыша, спокойно выдерживающая ветер вплоть до 90 м/c. Ну и, конечно, если крышу придётся менять, то это не создаст угрозу работе дата-центра.
Таким образом, Switch прямо на наших глазах устанавливает новые индустриальные стандарты для глобального рынка ЦОДов. Поскольку в том, что рынок будет развиваться в сторону большей отказоустойчивости, нет никаких сомнений. И здесь важна будет каждая деталь — от материала контейнеров модульных центров до крыш и маховиков в системе охлаждения. Самое время озадачиться вопросом надёжности для операторов дата-центров. А Switch тем временем планирует строить SuperNAP 9 — дата-центр на 56 000 квадратных метров.