В телекоммуникационных компаниях год от года растет потребность в новых мощностях дата-центров. Например, «ВымпелКом» начал ощущать нехватку вычислительных мощностей с 2010г. У компании был выбор: построить свой или взять ЦОД в аренду. В итоге выбрали первый вариант и реализовали несколько инновационных технологий. О них рассказал в интервью «Компьютерра» заместитель директора Ярославского технического центра (ЯТЦ) Иван Прокофьев.
— Иван, по какой причине в “Вымпелком” задумались над строительством нового ЦОДа?
— Еще в 2005 г. технический директор и вице-президент по ИТ “ВымпелКом” дал поручение разработать стратегию развития вычислительных мощностей до 2020 г.
В результате анализа мы поняли, что ежегодно количество стоек в наших ЦОД увеличивается на 100 единиц. Для их подключения требуются дополнительные мощности электричества, а также специализированные площади, которые к тому времени заканчивались. Например, начиная с 2010 года, по этой причине мы не строили ничего нового на своих площадках, а только перестраивали и оптимизировали. Это помогло нам внедрить новые технологии, такие как виртуализация и программа экономии электроэнергии, но ресурсы существующих дата-центров на ул. 8 Марта и в Сокольниках заметно истощались и в компании приняли решение, что ЦОД нужен, как воздух.
— Какие приоритетные площадки для строительства нового ЦОДа вы рассматривали?
— Мы рассматривали вариант покупки готового ЦОД в Москве. Думали над тем, чтобы приобрести площадку, сделать ремонт и переоборудовать ее под ЦОД. Внимательно изучив технические и экономические вопросы, выяснили, что самый неэффективный регион для инвестиций — московский. Потому что Москву и московскую область инвесторы обычно рассматривают как потенциальное место для торгового центра или какого-то другого бизнеса. Так мы пришли к выводу, что нужно искать greenfield в других регионах. Посмотрели множество площадок, в то числе и в Твери, Новгороде, Владимире и Ярославле, на котором и остановили свой выбор.
При выборе места для строительства для нас играли значение следующие параметры:
— совокупная стоимость владения ЦОД в 10 летнем периоде
— экономическая целесообразность: более дешевое строительство по сравнению с московским регионом и оптимизация операционных затрат, таких как оплата счетов за электроэнергию, например,
— выгоды от географического расположения;
— стоимость подведения электроэнергии,
— инвестиционный климат региона;
— транспортная доступность;
— развитая оптико-волоконная сеть;
— другие параметры, которые используются при выборе проектов технологической недвижимости
В Ярославле как раз все эти факторы сошлись воедино. Здесь и земля дешевле, и транспортное оптоволоконное кольцо «ВымпелКом» проходит, чистое поле – возможность реализации смелых задумок-оптимальных и эффективных технологий.
— Из-за того, что на российском рынке ЦОДы, подобные ярославскому, единичны, не возникали ли у компании трудности со строительством?
— Начало строительства ЦОДа было намечено на начало 2012 год. Но выяснилось, что российский строительный рынок не готов к созданию объектов такой сложности. Специалисты в области капитального строительства хорошо умеют строить «коробки» с, в крайнем случае, элементами «умного дома», а специалисты по цодостроению в большинстве своем владеют технологиями вписывать ЦОДы в существующие здания. При этом строить капитальное здание под технологичный ЦОД с полной интеграцией уже на этапе возведения монолитных конструкций у нас пока не умеют. А также строители не понимают, что монолит, т.е здание, это не самое важное и дорогое на строительной площадке и чаще всего не лежит на критическом пути. По этой причине мы заменили первого генерального подрядчика. Конечно, это повлияло на сроки, но научило внимательно подходить к выбору подрядчика и привлекать опытных зарубежных консультантов. В итоге строительство началось 12 декабря 2012 года.
— Иван, что ЦОД в Ярославском техническом центре выгодно отличает его от других площадок?
— Обычно в нашей компании для ЦОД покупаются объекты недвижимости, потом делается ремонт, ставятся инженерные системы, и площадка запускается в работу. По ходу проекта возникает очень много проблем. Арендованные площадки мы вообще не рассматриваем, потому что нельзя исключать риск переезда, а это стоит недешево. Да и других ограничений множество.
Поэтому при создании нового дата-центра мы искали greenfield, чтобы создать такой ЦОД, который бы отвечал всем нашим требованиям. Основой для стабильного роста компании и предоставлении новых услуг для клиентов является минимальный показатель T2M (time to market), а также эффективность, энергоэффективность и совокупная стоимость владения.
Немаловажным фактором является актуальность ЦОД, его технологий, предоставляемых услуг. Все эти показатели оптимально реализовались в ЯТЦ. Когда мы задумались о технологиях, которые планируем использовать, то рассматривали самые разные варианты, в том числе и такие нестандартные для российского рынка ЦОД решения, как использование ветряков и солнечных батарей.
Мы провели консультации с зарубежными экспертами, создали профайл, в который заносили наиболее интересные технологические решения и предложения (тригенерация, колеса Киото для охлаждения, свободное охлаждение внешним воздухом и т.д.). Учли совокупную стоимость владения технологиями и надежность эксплуатации, а также немаловажный аспект – доступность ЗИП (ремонтного фонда).
В итоге при проектировании ЦОДа в Ярославле был использован ряд инновационных технологий, которые отдельно присутствуют в дата-центрах России, но в комплексе не применяются. Такая комбинация уникальная сама по себе. Например, использование технологии natural freecooling совместно с адиабатическим охлаждением или бесперебойное питание систем резервного охлаждения от ДДИБП (динамический дизельный источник бесперебойного питания). Вопросам экологичности и зеленым технологиям мы также уделили внимание, например, отказались от использования химических батарей, утилизация которых нетривиальная для России задача.
Наши ДДИБП имеют наивысший класс по минимизации выбросов и эффективности работы TUV и соответствуют нормам Евро5. За счет использования охлаждения наружным воздухом, будет тратиться меньшее количество электроэнергии, хладогент в системе охлаждения – вода, а не вредный гликоль, в строительстве и отделке здания и офиса мы использовали перерабатываемые материалы и вторсырье.
А принцип “мощности по требованию” (capacity on demand) позволил нам грамотно распределить инвестиции. Сейчас мы подготовили площадку, необходимую инфраструктуру, первый из шести модулей, далее дополнительные мощности будут вводится в эксплуатацию постепенно по мере возникновения потребностей у компании или корпоративных клиентов.
В сентябре 2014 года мы получили сертификат Tier III Uptime института, согласно которому ЦОД отвечает требованиями надежности, что гарантирует надежность и бесперебойность бизнес-процессов.
— Расскажите, пожалуйста, о параметрах энергоэффективности вашего ЦОДа?
— В области строительства и эксплуатации ЦОД есть такое понятие, как энергоэффективность или PUE (отношение общей затрачиваемой объектом мощности, к мощности на ИТ-нагрузку). Этот параметр должен стремится к единице, тогда ЦОД будем максимально энергоэффективен. Так, среднегодовой показатель PUE ярославского ЦОДа — 1,3. То есть всего около 23-24% энергии будет тратиться на вспомогательные системы: охлаждение, освещение, системы мониторинга, а вся остальная энергия будет тратиться на энергоснабжение оборудования. Классическая схема питания предыдущих поколений ЦОДов, работающих в России, обеспечивает в среднем PUE 2-2,3, т.е. более 50% подведенной энергии отдается на вспомогательные системы.
Наш ЦОД имеет 4 независимых городских ввода от двух независимых подстанций с двумя независимыми генерациями. При этом в системе бесперебойного энергоснабжения, построенной на основе ДДИБП, есть устройство, которое выполняет роль гаранта качественного электропитания для серверного и телекоммуникационного оборудования до 90-95% общего времени. Описанная схема при минимальных потерях максимально эффективно обеспечивает заданный уровень надежности и качества энергопитания. Дизель подключается только в крайних случаях.
Климат в Ярославле и выбранная технология natural Freecooling с адиабатическим охлаждением позволяет до 85-88% использовать охлаждение за счет внешнего воздуха, при этом энергия тратиться только на вращение вентиляторов, клапаны и насос, подающий воду на форсунки. Даже резервная система охлаждения построена с внедрением энергоэффективных систем – аккумулятор холода (180 тонн воды находятся в своего рода термосе), а также постепенное включение мощности, что в купе дает возможность эффективно и экономно расходовать энергоресурсы.
— Вы отметили, что главным принципом, которым вы руководствовались при строительстве ЦОДа в Ярославле, стал принцип “мощности по требованию”. В связи с этим, не будет ли ЦОД испытывать вынужденных простоев, ведь пуско-наладочные работы в дата-центрах — достаточно продолжительные по времени.
— Наша главная идея — “мощности по требованию” (capacity on demand). Именно поэтому внедрение новых технологий и дополнительных модулей в ярославском ЦОДе будет происходить по мере появления потребности у бизнеса. Суть в том, что мы можем модернизировать работающие модули, вводить в эксплуатацию новые без перерыва в работе остальных. Всего в ЦОДе шесть модулей: это полторы тысячи стоек, 10 мегаватт-энергии. Возведение каждого модуля — полугодовой цикл. Грамотное планирование позволяет нам просчитать, когда необходимо активировать новый модуль.
— Если Ярославский ЦОД — инфраструктурный проект только для нужд компании, то, получается, об окупаемости проекта говорить не приходится.
— «ВымпелКом» – коммерческая компания, поэтому любая инвестиция должна приносить доход. Сначала мы планировали использовать ЦОД только для внутренних нужд, компании необходим надежный дата-центр для обеспечения непрерывности собственных бизнес-процессов, это нужно прежде всего нашим абонентам. Сегодня принято решение не ограничиваться только внутренними сервисами. ЦОД может и должен предоставлять комплексные услуги нашим корпоративным клиентам: хостинг, облачные сервисы, колакейшн.
— На сколько лет вам хватит мощностей Ярославского ЦОДа?
— Когда мы планировали стратегию ЦОДа в Ярославле, мы закладывали, что его хватит на 10 лет. Но ситуация на рынке меняется, как и стратегия развития компании. С уверенностью можно сказать, что ресурсов нового ЦОД нам хватит на ближайшие 5 лет.
— Делитесь ли вы опытом с представителями операторов связи — владеющими ЦОДами?
— Мир телекома и ЦОДостранения — достаточно тесный. Мы, конечно же, общаемся между собой, встречаемся на различных семинарах и конференциях, делимся опытом, которым можем поделиться, не нарушая корпоративной политики. Коллеги интересуются нашими технологиями, ведь наш опыт уникален и вызывает интерес. Насколько мне известно, большинство текущих ЦОДов, которые запущены или только строятся, реализуются на базе более классических технологий, проверенных временем. Так что пока что «ВымпелКом» является технологическим лидером среди представителей отрасли.
— Как вы считаете, необходимо ли безоговорочно доверять новым технологиям?
— Я считаю, что технология должна быть опробована, обкатана, чтобы не получить детских ошибок. В Европе, например, есть не только ЦОДы но и целые города, питающиеся исключительно за счет солнечной энергии. Для таких случаев солнечное затмение и пасмурные дни представляют серьезную проблему. Не так давно инновационным считалось использование воды в системе охлаждения процессоров. Через некоторое время вода зацветала, начинала жить своей жизнью, а процессор перегревался. Так что не все новые технологии нужно сразу внедрять — должен пройти стабилизационный период.
На стратегию развития дата-центров операторов «большой четверки» влияют динамика рост абонентской базы, увеличение потребности корпоративных клиентов в различных сервисах, телематическим М2М-продуктам и т.д. «Компьютерра» поинтересовалась у остальных представителей «большой четверки» о планах по наращиванию мощностей существующих и строительстве новых ЦОДов.
Сергей Никифорец, директор по инфраструктурным проектам ОАО «МегаФон»:
Возможны обе модели использования ЦОД: аренда и владение. Все зависит от той потребности, и какие задачи нам нужно решить в определенном регионе (в. т.ч. используется ли ЦОД под собственные нужды или же для размещения клиентов).
Что касается собственных дата-центров, то мы постоянно работаем над оптимизацией использования площадей. Эффективность размещения оборудования один из ключевых вопросов оптимального функционирования сети МегаФон и всех собственных ресурсов. В данный момент идет модернизация ЦОДа в Самаре для расширения доступных площадей для размещения оборудования. В 2014-м году мы также закончили проектирование ЦОД в Северо-Западном филиале.
Помимо стандартных сервисов (сетевого оборудования, различных платформ, биллинга), на базе ЦОДов МегаФона активно развивается направление облачных сервисов (как для собственных нужд, так и для клиентов МегаФон). Такие технологии позволяют еще более эффективно использовать ресурсы дата-центра и получить максимальную эффективность использования площадей при минимальных затратах.
Дмитрий Милов, директор департамента тестирования и развития инфраструктуры МТС:
Стратегия развития дата-центров МТС, в связи с географическим распределением бизнеса компании, направлена на создание сети собственных крупных дата-центров в макрорегионах. Сегодня в собственную сеть центров обработки данных МТС в России входит семь крупных технологических площадок: три ЦОДа в Москве, по одному в Самаре, Нижнем Новгороде, Новосибирске и Владивостоке.
В ближайшее время МТС намерена запустить еще один ЦОД. Он предназначен для обеспечения надежного функционирования ключевых объектов инфраструктуры оператора: автоматизированных систем расчетов, ERP-системы, интеллектуальных платформ, систем online-обслуживания абонентов, систем предотвращения мошенничества и управления доходами, оборудования, обеспечивающего работоспособность сетей 3G/4G и т.д. На текущий момент в московском ЦОДе, помимо обеспечения собственных нужд, МТС предоставляет сервисы коммерческого ЦОД сторонним компаниям — это традиционные услуги сo-location, доступ к облачным технологиям и так далее.
Ольга Мордкович, ИТ-директор Tele2 Россия:
Стратегия Tele2 предполагает существенное расширение доли рынка за счет строительства сетей нового поколения и выхода в новые регионы. Наша цель как нового федерального мобильного оператора – полное покрытие территории России. В 2015 году мы планируем запуски сетей в новых регионах и запуск бренда Tele2 в регионах «Ростелекома». Для достижения поставленных задач компания реализует план по консолидации и масштабированию информационных систем, подразумевающий в том числе и обеспечение необходимой инфраструктурой.
При принятии решения о дальнейшем развитии ЦОД компания внимательно изучила возможные альтернативы и пришла к выводу, что на настоящем этапе для нас выгоднее развивать собственные площадки. Мы планируем модернизацию трех ЦОДов, используемых компанией в настоящее время, и строительство нового.