К мировым трендам с локальными особенностями «великой степи»

ИКС №07-8 2016

Рынок услуг дата-центров Казахстана, занимающего девятое место среди государств планеты по площади, можно охарактеризовать как миниатюрный, но многообещающий. Перспективы роста привлекают и производителей оборудования, и поставщиков решений мирового уровня.

Операторы на коне

Особенность рынка дата-центров Страны великой степи, как с некоторых пор именует себя Казахстан, заключается в том, что его ведущие игроки – это местные операторы связи. Лидером среди них является «Казахтелеком», который владеет сетью из 15 ЦОДов. Самый крупный его объект – дата-центр в Павлодаре, имеющий машинные залы общей площадью 1000 кв. м, где установлено 320 стоек. Подведенная мощность – 4,2 МВт. Это единственный в Казахстане ЦОД, обладающий сертификатом Uptime Institute на проектную документацию уровня Tier III (получен в далеком 2012 г.). Уровень надежности остальных своих дата-центров, расположенных в областных центрах, «Казахтелеком» характеризует как Tier II. По размерам они относятся, скорее, к категории серверных комнат, поскольку в них установлено в сумме всего 80 стоек. Провайдер продвигает также облачные сервисы (Office 365, Exchange, Lotus Notes, ВКС и т.д.), но доля таких услуг на рынке Казахстана, по данным iKS-Consulting, пока невелика и составляет лишь 3%.

Дискуссия о направлениях развития рынка дата-центров Казахстана развернулась на прошедшей в Астане конференции «ЦОД-2016: модели, сервисы, инфраструктура», организованной «ИКС-Медиа». Главный архитектор казахстанского системного интегратора ARLAN SI Сергей Афанасьев указал, что телеком-операторы должны использовать свои ЦОДы не только для предоставления услуг colocation, но и для повышения эффективности функционирования собственной сети, чтобы поддерживать постоянный рост интернет-трафика. Сделать это можно за счет виртуализации сетевых функций NFV (Network Functions Virtualization), т.е. путем переноса в облако сложных функций сетевой обработки и упрощения функций сетевого оборудования (его задача теперь сводится к простой передаче пакетов данных между портами).

Еще один крупный игрок на казахстанском рынке – оператор электронного правительства Казахстана компания «Национальные информационные технологии» (НИТ) – сейчас предоставляет государственным организациям сервис электронной почты, а в рамках программы «Цифровой Казахстан 2020» готовит к запуску в эксплуатацию еще около двух десятков IaaS-, SaaS- и PaaS-сервисов. У НИТ имеется распределенная сеть из 14 небольших ЦОДов (в самом крупном 145 стоек), загрузка которых составляет от 25 до 85%.

Как видим, определенный запас «на вырост» есть, но его явно не хватит, если, как прогнозируют аналитики iKS-Consulting, рынок вплоть до 2020 г. будет расти со скоростью 35% в год. То есть строительство новых дата-центров в Казахстане неизбежно. И тут главное – изначально строить с учетом перспектив будущего развития, модернизации и мировых тенденций.

Модульность как тренд

Одна из составляющих мирового тренда, как рассказал управляющий директор российского отделения Uptime Institute Алексей Солодовников,  – это создание модульных prefabricated дата-центров. Такие ЦОДы делятся на три типа – контейнеризованные решения, ЦОДы высокой заводской готовности (непосредственно prefabricated) и пока не очень популярные микромодульные дата-центры. Из них в Казахстане уже известны контейнерные ЦОДы. Но это уходящая натура, поскольку практика эксплуатации показала, что в таких контейнерах тесно и неудобно работать. Модульные prefabricated дата-центры, наоборот, сейчас на подъеме, их рынок растет со скоростью более 30% в год. И это вполне объяснимо: заказчик получает почти готовый ЦОД, который предварительно был собран и протестирован в заводских условиях. Причем разница в цене между prefabricated и традиционно построенными ЦОДами быстро сокращается. Еще пять-семь лет назад, когда такие решения только появились на рынке, они были в два-три раза дороже обычных дата-центров той же мощности, а сегодня разница составляет всего 15–20%. В сочетании с существенным выигрышем в сроках строительства такие объекты могут составить серьезную конкуренцию традиционным площадкам.

У нас уже привыкли к тому, что проект каждого дата-центра получается уникальным. Обычно он предполагает интеграцию элементов инженерных систем от разных производителей и проведение полного цикла проектирования. Однако, по мнению системного архитектора Schneider Electric Алексея Соловьева,  нельзя сделать ЦОД более эффективным, надежным, предсказуемым по характеристикам, гибким и т.п., просто улучшая его компоненты (стойки, ИБП, системы охлаждения, распределения питания, управления). Все эти задачи можно решить при использовании модульной архитектуры со стандартизированными подсистемами. При таком подходе максимально упрощаются проектирование, установка, внедрение и последующее наращивание емкости ЦОДа. Такой дата-центр не требует ручной доработки на площадке, а ответственность за достижение заявленных показателей эффективности и надежности его работы несет производитель.

Производителями модульных дата-центров обычно являются серьезные компании. Такие как, скажем, Huawei, в арсенале которой в настоящее время есть два модульных решения IDS2000U и IDS5000U, рассчитанных соответственно на 4–18 и 10–18 шкафов с энергопотреблением 3–7 кВт на шкаф. Отличаются они не только емкостью, но и организацией системы охлаждения: в IDS2000U это внутрирядные кондиционеры NetCol5000-C и NetCol5000-A мощностью 25–35 кВт, а в IDS5000U – шкафные кондиционеры NetCol8000-A и NetCol8000-C на охлажденной воде мощностью от 50 до 150 кВт. В этих решениях Huawei использует свои ИБП мощностью от 1 до 800 кВт, которые имеют КПД 96% даже при 40%-ной нагрузке. Например, в рассчитанном на 200 стоек ЦОДе компании «Акадо Телеком», запущенном в эксплуатацию в феврале 2016 г. в Москве, были задействованы модульные решения IDS2000 с прецизионными кондиционерами NetCol5000-C и модульными ИБП UPS5000-E, а общий PUE этого дата-центра составил 1,4.

Модульные ЦОДы продвигает и российская компания GreenMDC. Как подчеркнул директор компании Федор Клименко, они сочетают возможность транспортировки контейнерного ЦОДа с внутренним антуражем стационарного дата-центра. Поэтому в них высокие потолки, а холодные и горячие коридоры имеют достаточную для удобной эксплуатации ширину. Сейчас компания выпускает несколько вариантов модулей FixedSizedMDC Outdoor высотой внутри 3,6 м и шириной от 3,5 до 7,5 м и емкостью от 12 до 32 стоек и ScalableMDC Telecom Outdoor NGm высотой внутри 2,8 м, шириной 6 м и емкостью от двух до 18 стоек. Ширина холодного коридора везде составляет 1,3 м, т.е. стойки не надо двигать для обслуживания и нет проблем с заменой любой из них. Благодаря таким габаритам в модулях можно использовать самые разные схемы охлаждения (канальные, внутрирядные или шкафные кондиционеры). Причем новая модель ЦОДа FixedSizedMDC – Telecom Outdoor NGm – допускает возможность «горячего» масштабирования, благодаря которой без отключения серверов можно в любой момент увеличить размеры машинного зала.

Искусство получения разрешений и согласований

Как показывает практика российского рынка дата-центров, кроме навыков правильного проектирования и возведения этих объектов заказчиками очень ценятся способности получения всевозможных разрешений и согласований для строительства. Причем правила игры, освоенные в России, обычно нельзя применить где бы то ни было еще. Как считает Андрей Павлов,  генеральный директор компании «ДатаДом», выполнившей проект по поиску площадки и разработке концепции ЦОДа в Астане, Казахстан сильно отличается от России в отношении ситуации с недвижимостью и энергооснащением объектов, правил подключения к электросетям и земельных вопросов, поэтому необходим местный партнер (в данном случае им была компания CBSEngineering).

Главное же отличие казахстанского рынка от российского состоит в том, что в России 90% ЦОДов построены в имеющихся зданиях (и часто это бывшие производственные здания), поэтому электричество нужной мощности в них обычно есть, а в Казахстане найти площадку с промышленным электричеством довольно сложно и подвести его далеко не всегда возможно. Упомянутый проект в итоге был успешно выполнен: для будущего ЦОДа емкостью 165 стоек был найден подходящий ангар с расположенной неподалеку трансформаторной подстанцией. Внутри помещения был построен внутренний ангар со стальным каркасом, что позволило сэкономить на отоплении и на фальшполе и обезопасить оборудование от протечек.

Электричество и холод для больших

Динамические ИБП (ДИБП) на российском рынке появились относительно недавно – когда мощности дата-центров стали серьезно превышать 1 МВт. На рынке Казахстана инсталляций ДИБП пока не было. Подавляющее большинство местных ЦОДов по подведенной мощности пока не дотягивают до мегаваттного уровня, но в ближайшие годы такие объекты наверняка появятся. И тогда очень кстати могут оказаться изделия компаний «Евро-Дизель» и Hitec. Как указывает технический менеджер «Евро-Дизель» Александр Бунзя, при оценке возможности использования ДИБП следует учитывать, что это устройство заменяет собой не только сам статический ИБП, но и оборудование, которое в обязательном порядке идет с ним в комплекте (байпасный шкаф, ДГУ, система автоматического включения резервного генератора). С ДИБП нет необходимости и в специальных помещениях для батарей, не говоря уже о замене этих батарей раз в пять лет. Кроме того, ежегодные расходы на обслуживание ДИБП обычно сводятся к смазке подшипников, а их замена производится не чаще чем раз в 10 лет. Причем в ДИБП от «Евро-Дизель» нет подшипников, которые вращаются быстрее, чем 1500 об./мин, что обеспечивает длительный срок службы. Рене Лацина,  директор по продажам Hitec в Центральной и Восточной Европе, добавляет, что ДИБП позволяют построить более компактную и простую схему электроснабжения ЦОДа, т.е. сделать ее более надежной. В новых ДИБП PowerPRO от Hitec реализована также возможность задержки старта дизеля до 2 с, что актуально при кратковременных отключениях питания в сети. Кроме того, Hitec одним из своих приоритетов считает минимизацию габаритов ДИБП, стремясь сэкономить даже 5–10% занимаемой ими площади.

Для крупных дата-центров предназначены и системы охлаждения немецкой компании Cabero. Инсталляций этих систем в Казахстане тоже пока нет, но, как подчеркнула генеральный директор Cabero Александра Эрлих,  климат в Астане хорошо подходит для применения фрикулинга и даже в самый теплый год для охлаждения ЦОДа можно использовать только драйкулеры в течение четырех месяцев (а в холодные года – в течение семи месяцев). Для работы в течение всего года необходимы комплексные системы чилер-драйкулер, задействующие и фрикулинг, и испарительное охлаждение. Cabero предлагает устанавливать системы орошения высокого давления HPSS (High Pressure Spray System), не требующие сложной и дорогой водоподготовки: вода вбрасывается под давлением внутрь теплообменника, стекает по его поверхности и испаряется, за счет чего получается стабильное интенсивное охлаждение. Правда, начальные инвестиционные затраты на систему охлаждения HPSS будут выше, чем для систем с воздушным охлаждением и систем с дисперсным адиабатическим охлаждением LPSS, однако, по подсчетам Cabero, по общей стоимости владения за счет более низкого энергопотребления системы HPSS обходят конкурентов уже через год.

Комплексные решения для модулей и не только

В модульных prefabricated ЦОДах вполне логично смотрятся комплексные решения для инженерной и ИТ-инфраструктуры, отлаженные и протестированные вендором. Например, компания Delta Electronics предлагает интегрированное масштабируемое решение Delta InfraSuite, в которое входят модульные ИБП серии DPH, внутрирядные прецизионные кондиционеры RowCool мощностью от 7 до 180 кВт, система распределения электропитания, стойки для размещения серверов и DCIM-система InfraSuite Manager. Как рассказал руководитель направления ЦОД подразделения Delta MCIS Дмитрий Гуляев,  такое решение, дополненное системой управления расходом воздуха и изоляцией холодных коридоров, позволило в одном проекте снизить PUE дата-центра с 2,1 до 1,4 и сократить тем самым затраты на электроэнергию на 44%.

Комплексное решение для ЦОДа любого размера готова собрать из своей продукции и компания Tripp Lite. В мини-ЦОДах можно организовать систему электропитания непосредственно в стойке с использованием ИБП мощностью от 6 до 20 кВА с возможностью «горячей» замены, а на более крупные дата-центры ориентированы централизованные системы электропитания с трехфазными модульными ИБП мощностью от 20 до 120 кВА. В решение также входят управляемые блоки распределения питания, монтажные шкафы размером от 42U до 48U, внутрирядные кондиционеры, системы мониторинга и управления электропитанием с ПО PowerAlert Network Management System.

Мировой тренд использования в дата-центрах гиперконвергентных решений теперь может быть реализован не только на импортных продуктах. Вот уже больше года на российском рынке присутствует программно-аппаратное решение СКАЛА-Р, созданное консорциумом производителей – компаниями IBS, Depo Computers, «Росплатформа», Mellanox, Raidix и Parallels. Как отметил директор IBS InterLab Андрей Сунгуров, СКАЛА-Р – это недорогая полностью сконфигурированная система, включающая оборудование и ПО для виртуализации, контроля и защиты информации, которая позволяет буквально за несколько часов собрать ЦОД и начать его эксплуатацию. В нее входят все компоненты ИТ-инфраструктуры дата-центра (вычислители, сеть с пропускной способностью 56 Гбит/с, СХД, виртуализация, функции управления, мониторинга и информационной безопасности), которые оптимально настроены для совместной работы. Разработчики также указывают на адекватную реалиям российского рынка цену, отсутствие проблем с совместимостью, готовность к сертификации, наличие предварительно инсталлированных и настроенных типовых модулей, высокий уровень поддержки.

От «железного» к программному ЦОДу

Соединить «железо» и ПО и облегчить работу приложений компания Cisco предлагает с помощью своей ориентированной на приложения инфраструктуры ACI (Application Centric Infrastructure), которая, по словам менеджера Cisco по продвижению новых технологий Алексея Бронникова, уже работает по всему миру у 1500 заказчиков. Это решение учитывает тот факт, что современные приложения довольно быстро меняются, вследствие чего меняются и требования к сетям дата-центров. Инфраструктура ACI строится на платформе Nexus 9000 и позволяет не только выбирать параметры сети в дата-центре в соответствии с потребностями работающих в нем приложений, но и строить программируемую сеть с поддержкой интерфейсов, имеющихся в серверах (в частности, Nexus 9000 уже работают с интерфейсами 25 Гбит/с и 100 Гбит/с).

Линия на виртуализацию ключевых компонентов инфраструктуры ЦОДа логично продолжается концепцией программно определяемых дата-центров (software-defined data center, SDDC), в которых развертывание, настройка, управление и эксплуатация всей инфраструктуры абстрагированы от «железа» и реализованы с помощью программных средств, что позволяет более эффективно использовать ресурсы ЦОДа. Важное преимущество SDDC – возможность задействовать недорогие физические серверы, сетевое оборудование и СХД, в том числе устаревшее «железо». Кроме того, в программно определяемом ЦОДе достаточно легко автоматизировать процессы управления и контроля ресурсов, да и с модернизацией такого дата-центра особых проблем нет – программный код модифицируется проще, чем «железо». Сейчас рынок продуктов для SDDC, по подсчетам аналитиков ResearchAndMarkets, растет со скоростью около 30% в год. И, конечно же, строиться такой программный ЦОД, по мнению управляющего директора компании SUSE в России и странах СНГ Владимира Главчева, должен на базе технологий open source. Во всяком случае уже разработаны все необходимые продукты для предоставления сервисов IaaS и PaaS, обработки больших данных (Hadoop), контейнеризации приложений (Docker), оркестрации работы виртуализированных серверов, СХД и сети.

Защитить созданное

Неотъемлемая часть любого ЦОДа – система пожаротушения. И это вполне объяснимо, поскольку дата-центр – это объект с повышенной пожарной нагрузкой. В нем работает серверное оборудование, активно генерирующее тепло, проложено множество силовых и слаботочных кабелей, установлены системы статических или динамических ИБП с запасом топлива. Причем, как напоминает исполнительный директор ГК «Пожтехника» Антон Анненков,  огонь в ЦОДе распространяется очень быстро: за 30–60 с выгорает один юнит, за 60 с – 5 мин – первая стойка, а через пять минут уже горят соседние стойки. А. Анненков подчеркивает, что для построения системы пожаротушения в ЦОДе мало развесить дымовые извещатели и поставить баллоны с тушащим газом, нужно учитывать специфику объекта.

Оптимальный вариант – это активная противопожарная защита с применением средств сверхраннего обнаружения признаков возгорания и систем безо­пасного и эффективного тушения. Для сверхраннего обнаружения возгорания предлагается использовать аспирационные датчики (обычный дымовой извещатель сработает, когда начинают гореть первые стойки и ЦОД уже заполнен дымом), а для борьбы с огнем – систему с огнетушащим веществом нового поколения Novec 1230. Оно хранится и транспортируется в виде жидкости, не проводит электричество, не требует герметизации помещений и позволяет сделать защиту от возгорания безопасной не только для оборудования, но и для персонала и окружающей среды. На его основе можно сделать и систему для тушения одной стойки, и систему для всего ЦОДа. Возможна также переделка имеющихся систем пожаротушения с хладоном для использования Novec 1230.

* * *