Без инженерной инфраструктуры не бывает ЦОДов, а они, как известно, фундамент цифровой экономики. Неудивительно, что вендоры, поставляющие решения для таких объектов, вносят изменения в свои концепции и продуктовые линейки с прицелом на цифровизацию.
Свои продукты и решения, позволяющие оптимизировать работу дата-центров сегодня и без потерь войти в эпоху цифровой экономики, ведущие зарубежные и российские производители представили на 13-й международной конференции «ЦОД-2018», организованной «ИКС-Медиа».
Из «одних рук»
Инженерная инфраструктура – это совокупность систем, каждая из которых работает на обеспечение отказоустойчивой работы ИТ-систем и сервисов. Гарантировать совместимость и интеграцию всех подсистем, а также их корректное взаимодействие на этапе эксплуатации помогает использование оборудования «из одних рук», считает Алексей Волков, менеджер по работе с партнерами Trippe Manufacturing Company, американского производителя систем защиты электропитания с 80-летней историей. Ставка на комплексность – принципиальная позиция вендора. В его продуктовом портфеле -- электротехническое оборудование, кабельная продукция, конструктивы и ПО, необходимые для организации системы гарантированного бесперебойного электропитания в ЦОДе. Под торговой маркой Tripp Lite он выпускает, в частности, трехфазные ИБП мощностью от 10 до 400 кВА с коэффициентом мощности 0,9--1, блоки распределения питания, среди которых есть устройства базового уровня, а также измерительные и дистанционно управляемые БРП.
Системы защиты питания вписываются в напольные шкафы и открытые стойки серии SMARTRACK, предназначенные для ИТ- и телеком-оборудования. Все эти конструктивы поддерживают размещение оборудования с высокой плотностью. Их отличает высокая несущая способность – до 1360 кг, а площадь перфорации дверей у них больше, чем этого требуют производители серверов. Контроль за состоянием ИБП и сетевых блоков распределения питания обеспечивает бесплатное ПО Power Alert Network Management System, способное собирать по SNMP-протоколу данные с 250 разных устройств.
Весь спектр продуктов и услуг от концептуальной модели до сервисного обслуживания «из одних рук» предлагает компания Rittal. Немецкий производитель сфокусировал свою продуктовую стратегию на дата-центрах, поддерживающих граничные вычисления, которых по мере перехода экономики на цифровые рельсы будет требоваться все больше.
Фокусными для новой стратегии стали гибкость, стандартизируемость и масштабируемость инженерной инфраструктуры – свойства, приобретающие все большую ценность в глазах заказчиков Edge-ЦОДов. Для периферийных дата-центров в портфеле Rittal есть широкий спектр законченных решений – от микроЦОДов до преднастроенных и протестированных в фабричных условиях модульных и контейнерных решений.
Впрочем, при построении ЦОДов любого масштаба спрос на стандартизованные решения для всех инженерных задач будет расти: ведь стандартизация – это залог быстрого масштабирования. А, кроме того, как заметил Кирилл Дмитриев, менеджер по продукции (ИT-охлаждение) компании Rittal, благодаря ей можно подобрать лучшее решение для любой отрасли.
Так, для «умных» больниц и поликлиник, которым критически важна высоконадежная защита персональных медицинских данных пациентов, подойдет микроЦОД, в корпус которого заключена вся инженерная инфраструктура. Задачам операторов связи, которые готовятся к развертыванию сетей 5G, вполне соответствуют prefabricated-решения в формате модуля или контейнера. А кредитным организациям, пристально наблюдающим за обработкой платежных транзакций, стоит остановиться на другом преднастроенном на заводе Rittal решении – «ЦОДе из коробки», обеспечивающем к тому же мониторинг всех процессов.
ИБП с проверенными и новыми возможностями
Продукция мирового поставщика решений в области безопасного и устойчивого управления энергией, KEHUA Tech, известного как в Китае, так и за его пределами, стала доступна и российским цодостроителям с подачи его официального поставщика в России компании «Абитех».
Источники бесперебойного питания KEHUA производит на базе компонентов собственной разработки, и это наряду с системой контроля качества на всех этапах положительно сказывается на надежности однофазных и трехфазных ИБП, трансформаторных и бестрансформаторных.
Для ЦОДов у KEHUA есть несколько серий такого оборудования. Серия KEHUA KR 33 объединяет системы защиты электропитания мощностью от 10 до 200 кВА с КПД 95%. Благодаря модульной архитектуре их ремонт сводится к замене неисправного модуля новым в «горячем» режиме.
Более мощные ИБП (25--600 кВА) серии KEHUA MR 33 отличает особая гибкость. Для построения этих систем могут использоваться три типа силовых модулей мощностью 25, 40 или 50 кВА и пять конструктивов шкафов. На плановый КПД -- 96% -- эти источники выходят уже при 10%-ной нагрузке. Достижению такого показателя способствует и наличие функции «спящего» режима, в который могут переходить ненагруженные силовые модули.
Повышенной надежностью отличаются ИБП KEHUA серии FR-UK с однофазным или трехфазным выходом, которые производитель позиционирует как системы защиты питания в промышленности. Для обеспечения надежности в конструкции этих модульных трансформаторных ИБП предусмотрены электромагнитное экранирование основной управляющей платы, два воздуховода для защиты от перегрева ключевых компонентов, функция управления синхронизацией с двойной шиной и замена вентиляторов в режиме онлайн. В портфеле вендора есть также трехфазные ИБП с литий-ионными батареями.
Число поставщиков систем защиты электропитания с батареями этого типа увеличивается. Не так давно их ряды пополнила компания Vertiv -- так с конца 2016 г. называется подразделение Network Power корпорации Emerson, перешедшее в собственность компании Platinum Equity. В качестве поставщиков литий-ионных элементов питания Vertiv выбрала Samsung SDI и LG Chem. По словам Евгения Журавлева, руководителя направления продаж ИБП и модульных ЦОДов представительства Vertiv в России и Белоруссии, системы с литий-ионными батареями все более востребованы заказчиками, в том числе и потому, что во все такие АКБ обязательно встраиваются системы управления и мониторинга.
Также за время, прошедшее после смены собственника, компания Vertiv обновила продуктовую линейку моноблочных систем и модульных ИБП под брендом Liebert. После вывода на рынок модульной системы Liebert АРМ 600 с двойным преобразованием, предназначенной для защиты критически важных систем и обладающей децентрализованной архитектурой, компания «закрывает» весь спектр запросов заказчиков. Номинальная мощность Liebert АРМ 600 -- от 50 до 400/600 кВА (с шагом 50 кВА), КПД в режиме VFI (voltage frequency independent), при котором система питает нагрузку напряжением, полностью стабилизированным по частоте и амплитуде, -- 96,3%, выходной коэффициент мощности равен 1. ИБП совместим как с индуктивной, так и с емкостной нагрузкой, поддерживает параллельное подключение двух устройств.
Помимо линейки источников бесперебойного питания, компания Vertiv обновила и линейку стандартизированных решений для Edge-ЦОДов – All-in-one. Сегодня в ней есть микроЦОД EDGE Solution Small Size в формфакторе ИТ-шкафа, укомплектованный всеми системами жизнеобеспечения дата-центра, и типовые контейнерные решения – EDGE Solution Medium Size.
Больше надежности и эффективности
Компания ДКС, которая позиционирует себя как лидер российского электротехнического рынка, поставляет в центры обработки данных около 20 видов продуктов, хорошо зарекомендовавших себя в крупных российских дата-центрах. Так, щитовое оборудование, кабеленесущие системы и молниезащита производства ДКС используются в ЦОДе «Авантаж» и в мегаЦОДе Сбербанка в Сколково.
Производит вендор и напольные шкафы разного назначения -- универсальные напольные, для распределения электроэнергии, а также для ИТ- и телеком-оборудования. Универсальные сборные напольные шкафы выполняются из листовой стали толщиной не менее 1,5 мм, соответствуют как международным, так и российским стандартам (IP-55, IP-65, IK10, УХЛ1 по ГОСТ 15150), выдерживают нагрузку в 1000 кг и совместимы с активным оборудованием ведущих мировых и отечественных производителей. Шкафы для распределения электроэнергии с максимальной силой тока до 6300 А устойчивы к току короткого замыкания 100 кА и отличаются степенью секционирования (4b), обеспечивающей отделение функциональных узлов друг от друга и от шин, что повышает безопасность обслуживающего персонала.
ДКС выпускает модернизированные шкафы для ИТ-оборудования
В этом году компания ДКС существенно модернизировала линейку ИТ- и телекоммуникационных шкафов. Теперь их производство осуществляется полностью роботизированной линией на универсальной пыле- и влагозащищенной платформе (от IP25 до IP55), что обеспечивает высокую степень стандартизации всех компонентов. В линейке представлены шкафы для ИТ- и телеком-оборудования высотой 24, 38, 42 и 47U, шириной 600 или 800 мм и глубиной 600, 800, 1000 и 1200 мм. Заказчикам на выбор предлагается дверь из тонированного закаленного стекла, перфорированная или сплошная дверь. Распределенная несущая способность каждого такого шкафа – 1500 кг.
В процессе цифровизации экономики, когда дата-центров требуется много, их владельцам важно оптимизировать операционные издержки на этапе эксплуатации. По данным компании CyberPower Systems, 50% всех случаев возникновения перебоев в работе ЦОДов имеют причиной неисправные (27%) и разряженные (23%) свинцово-кислотные или никель-кадмиевые аккумуляторные батареи. Также нужно принимать во внимание, что примерно 5% батарей этих типов выходят из строя в течение гарантийного срока.
Для того чтобы быстро выявить в большом батарейном массиве деградирующую АКБ и своевременно ее заменить, компания CyberPower Systems предлагает свою систему управления батарейным комплексом (Batteries Management System). Она представляет собой совместимый с ИБП контроллер и набор датчиков. Датчики устанавливаются на каждую батарею и с заданной периодичностью передают контроллеру информацию о ее температуре, напряжении и внутреннем сопротивлении. На сегодняшний день к одному контроллеру с помощью датчиков можно подключить 200 батарей, но к концу текущего года это количество вырастет до 600, заверяет Алексей Лобов, директор по развитию бизнеса CyberPower.
По его словам, система управления батареями может сыграть важную роль в повышении эффективности крупных ЦОДов. Применение BMS на объектах такого масштаба увеличивает срок службы аккумуляторных батарей до 20%, сокращает время на замену вышедшей из строя батареи на 30% и снижает издержки на эксплуатацию АКБ до 50%.
Однако, какой бы запас надежности не имела инженерная инфраструктура дата-центра, для обеспечения бесперебойного питания оборудования и его охлаждения с минимальными простоями требуется дублировать ИБП дизель-генераторными установками. Выбирая поставщика ДГУ для дата-центров уровня Tier III и Tier IV, нужно обращать внимание на соответствие его оборудования требованиям Uptime Institute для таких объектов, требованиям NFPA 110 и, конечно же, на его оперативную готовность, считает Рустем Давыдов, инженер по применению дизель-генераторных установок компании «МТУ Рус», официального дистрибьютора оборудования MTU.
Для критически важных объектов, коими являются ЦОДы, вендор предлагает ДГУ MTU 2000 мощностью 624--1250 кВт и высокооборотные ДГУ MTU 4000 DS мощностью 1200--3000 кВт. Отличительными особенностями этого оборудования являются высокий предел снижения мощности, высокая приемистость нагрузки, высокая гибкость для сложных индивидуальных решений, а также низкая концентрация загрязняющих веществ в выбросах.
Рецепты экономии на охлаждении
Еще один путь снижения операционных затрат ЦОДов, приобретающий особое значение при увеличении доли высоконагруженных стоек в машзалах, -- повышение энергоэффективности систем охлаждения.
Для того чтобы спроектировать «идеальный» ЦОД, по мнению Алексея Харитонова, руководителя технического отдела компании Daichi, мало знать ответы на вопросы, касающиеся выбора принципа построения холодильного центра, производителя оборудования, типа компрессора, его привода и, наконец, алгоритмов работы, поскольку такое знание не гарантирует результат. Необходимо найти основной критерий, принципиально важный для заказчика. В случае с компанией КРОК, которая привлекла Daichi к организации охлаждения своего нового ЦОДа, таким критерием явились минимальные приведенные затраты в течение трех лет эксплуатации.
Для анализа различных вариантов инженерами Daichi была применена специальная методика, основанная на климатических данных. На их базе была составлена таблица, в которой было перечислено все оборудование хладоцентра и для каждой температуры воздуха указано соответствующее значение потребляемой им энергии. В результате изучения таблицы заказчиком была выбрана простая, но энергоэффективная схема системы охлаждения. В рабочем режиме действуют три группы воздушных винтовых инверторных чиллеров Daikin, нагруженных на 60--66%. При выходе из строя одной группы две оставшиеся берут нагрузку на себя и загружаются на 100%, обеспечивая на выходе температуру 15--20°С. При этом в холодных коридорах дата-центра она составляет 22°С. На полный фрикулинг система выходит при +12°С.
Решение оказалось экономически выгодным, поскольку установленная мощность воздушного инверторного чиллера Daikin на 28% меньше, чем у стандартных холодильных машин.
Оптимизацию инвестиций в систему охлаждения ЦОДов обеспечивает правильный выбор между испарительными (мокрыми) градирнями, закрытыми сухими градирнями и гибридными системами, построенными на основе первых или вторых. Опыт известного производителя драйкулеров, немецкой компании Cabero, приобретенный в ходе реализации ряда крупных проектов в Германии и в России, по словам Александры Эрлих, сеньор-консультанта этой компании и генерального директора компании profITcool, говорит о том, что у гибридных аппаратов на основе сухих градирен есть целый ряд преимуществ перед их «мокрыми» собратьями.
Гибридные аппараты на основе испарительных и сухих градирен
Так, «сухие» гибриды хороши тем, что при температуре воздуха до 21°C не требуют использования воды. И даже при максимальных температурах внешнего воздуха потребляют в 2 раза меньше воды, что уже обеспечивает экономию этого ресурса. К тому же в режим полного свободного охлаждения такой аппарат переходит при глубоко плюсовых температурах, что дает дополнительно 500--1500 ч работы в режиме фрикулинга в год и также позволяет экономить. Таким образом, заключает А. Эрлих, драйкулер обходится дешевле решений на основе испарительных градирен на 20--50%.
Еще один вызов для проектировщиков систем охлаждения в дата-центрах – ограниченный размер площадей, выделяемых для этой цели. Иногда эти ограничения связаны с нехваткой площадей, иногда с желанием заказчика отвести больше места под стойки с ИТ-оборудованием. Ответ на вопрос, как организовать энергоэффективную систему охлаждения на небольших площадях, нашли в компании HTS, авторизованном поставщике оборудования прецизионного кондиционирования воздуха и холодоснабжения компании STULZ в России.
В 2017 г. ее специалисты реализовали сразу два проекта, в каждом из которых было найдено решение проблемы ограниченных площадей. Так, в дата-центре «Первой грузовой компании», расположенном в здании ее офиса, они отказались от фреоновых труб в пользу водяного охлаждения, выбрав компактные чиллеры STULZ со встроенной системой фрикулинга. Благодаря наличию насосной группы и теплообменника внутри этих машин их удалось разместить очень компактно. К тому же выбранная конфигурация может около полугода работать с минимальным потреблением электроэнергии.
Заказчиком другого проекта выступила компания SafeDATA, которой было необходимо обеспечить наименьшее потребление энергии при минимизации площади, занимаемой системой охлаждения в ЦОДе «Москва-II». Использование прецизионных кондиционеров STULZ ASR 1360 CW и чиллеров STULZ CSO ESO 12 602 позволило не только решить эту задачу, но и добиться суммарного потребления электроэнергии всех чиллеров на 200 кВт*ч меньше, чем у ближайшего конкурента.
Готовим почву для будущего
По данным агентства «Литвинчук маркетинг», в 2017 г. объем рынка промышленного холодильного и климатического оборудования в ЕАЭС составил 20--25 млрд руб., и потребности в таких системах продолжают расти. Для их удовлетворения ГК «ТЕРМОКУЛ» в январе 2018 г. начала в свободной экономической зоне на границе Московской и Калужской областей строительство завода «Рефкул» общей площадью 13 тыс. кв. м, из которых около 8,5 тыс. кв. м – производственные и складские помещения.
По словам Алексея Морозова, заместителя генерального директора ГК «ТЕРМОКУЛ», завод «Рефкул» позиционируется как OEM-производство, которое будет задействовано для выпуска оборудования «ТЕРМОКУЛ» (холодильных аппаратов мощностью до 3 МВт, моноблочных чиллеров мощностью 1,4--1,5 МВт, технологических установок мощностью до 12 МВт и презиционных кондиционеров 50--300 кВт). Также здесь будет изготавливаться HVACR-оборудование для отдельных российских производителей и нестандартные единицы климатического оборудования для ряда телекоммуникационных компаний. Кроме того, производственные линии «Рефкул» будут использоваться для локализации производства оборудования иностранных компаний. Первым заказчиком и партнером стала итальянская компания HiRef, разместившая на заводе, неофициальное открытие которого намечено на декабрь, партию из 50 презиционных кондиционеров шкафного типа мощностью 10--50 кВт. Ее выпуск начнется в январе 2019 г., а на второе полугодие запланирован старт производства межрядных кондиционеров HiRef. По словам А. Морозова, оборудование будет полностью сертифицировано по системе европейских стандартов.
Рынок климатического и холодильного оборудования РФ и ЕАЭС |
Еще большую экономию площадей, занимаемых в ЦОДах системами охлаждения, а заодно и снижение затрат на их эксплуатацию более чем на 90% обещает переход на технологию иммерсионного, или двухфазного жидкостного охлаждения, разработанную компанией 3М. В состав этой системы входит металлический резервуар, конденсатор с радиатором, управляющие компоненты и сенсоры и охлаждающая жидкость Novec 7100.
По словам Антона Анненкова, исполнительного директора ГК «Пожтехника», эта тихая система без вентиляторов обеспечивает высокие эффективность отвода тепла и теплоемкость, а также возможность использовать энергию тепла повторно, например, для обогрева. Но главное ее преимущество – экономия до 90% затрат на охлаждение и увеличение плотности вычислений на заданной площади.
«Пожтехника» разработала прототип решения иммерсионного охлаждения
В настоящее время «Пожтехника», где уже разработан прототип системы иммерсионного охлаждения, ищет партнеров для совместного их продвижения в дата-центры.
* * *
Словом, поставщики оборудования и решений для инженерной инфраструктуры ЦОДов сегодня активно работают над повышением готовности этих сложных объектов к цифровизации экономики.