Фрикулинг в ЦОДе: варианты, проекты, перспективы
13.05.2019
Сегодня большинство крупных дата-центров строится на базе технологий свободного охлаждения, и нет практически ни одного объекта, где возможность их применения не рассматривалась бы на этапе концептуального проектирования.
.jpg)
Хотя доверие специалистов в сфере ЦОДов фрикулинг завоевал далеко не сразу.
Предпосылки и опасения
Долгое время концепция свободного охлаждения «пылилась» в умах проектировщиков систем охлаждения. Идея, по сути, здравая казалась вместе с тем столь опасной, что складывалось впечатление, будто в ЦОДе ей не место. Предпосылками ее появления явились счета за электричество в дата-центрах и разработка жаростойкого ИТ-оборудования.
На традиционную систему кондиционирования на базе фреоновых агрегатов приходится до 30% энергопотребления ЦОДа, на системы с чиллерами и водяными кондиционерами – до 50%. Желание уменьшить эти цифры сначала побудило разработать рекомендации по повышению температуры холодоносителя в системах охлаждения, а потом стимулировало появление режима свободного охлаждения в кондиционерах всех видов.
Следующий шаг – создание серверного оборудования, предназначенного для работы при относительно высоких температурах воздуха (до 40°С в штатном режиме). От систем кондиционирования стали требовать подавать чистый наружный воздух в холодные коридоры машинных залов и отводить нагретый воздух из горячих коридоров. То есть, по сути, выполнять функции скорее системы вентиляции, нежели кондиционирования.
Но столь кардинальные перемены в архитектуре систем охлаждения встретили серьезные возражения. Все-таки традиционные системы кондиционирования работали достаточно надежно и обеспечивали комфортные температуры. Кроме того, трудно найти ЦОД, в котором абсолютно всё ИТ-оборудование было бы жаростойким. Да и жаростойкое ли оно на самом деле или это лишь маркетинговый ход производителей серверов?
Наконец, фреоновые системы кондиционирования весьма компактны – несколько блоков внутри, несколько блоков снаружи и по паре труб между ними. В расчетах чисто воздушной системы охлаждения расход воздуха составлял тысячи и десятки тысяч кубометров в час. Сечения таких воздуховодов измерялись квадратными метрами. Их размещение в здании, выбранном для строительства ЦОДа, казалось неразрешимой задачей.
Первые проекты
Коренной перелом в ситуации наступил несколько лет назад. Сначала всё больше ЦОДостроителей присматривались к фрикулингу и изучали западный опыт, где технология уже была отработана многократно. Одной из первых компаний в России, рискнувшей применить фрикулинг, стал «Яндекс». Анализ данных, собранных на объекте, позволил прийти к заключению, что следующий дата-центр «Яндекса» также будет построен на основе технологии свободного охлаждения.
Одновременно с этим будущие хозяева центров обработки данных осознали, что предпочтительнее строить для ЦОДа новое здание, нежели втискивать его в существующее. У дата-центров много специфических требований к зданиям, их конфигурации и архитектуре, и эти требования гораздо проще выполнить при возведении нового объекта, чем при поиске готовой площадки. Да и бетонное строительство – далеко не основная часть затрат при создании ЦОДа.
Итак, пилотные проекты фрикулинга и переход к строительству дата-центров с нуля позволили технологии свободного охлаждения прочно обосноваться в ИТ-отрасли. За последние пять лет практически все крупные (более чем на 1000 стоек) ЦОДы построены на базе фрикулинга. Большинство концептуальных решений будущих ЦОДов также предусматривают именно свободное охлаждение машинных залов.
Виды фрикулинга
Существуют несколько видов систем на основе фрикулинга – это кондиционеры и чиллеры со встроенными режимами фрикулинга, а также самостоятельные воздушные системы прямого и косвенного охлаждения.
Фрикулинг для водяных систем
В самом простом случае в чиллерных системах охлаждения параллельно чиллеру устанавливается градирня – теплообменник, в котором холодоноситель охлаждается за счет обдува наружным воздухом. Разница температур потока холодоносителя и наружного воздуха составляет 7--10°С. Следовательно, при температурном режиме наружного контура холодоносителя 7/12°С система сможет работать полностью в режиме свободного охлаждения при наружных температурах не выше -3°С.
Схожей эффективностью обладают чиллеры со встроенным режимом свободного охлаждения. Такие агрегаты имеют сдвоенные теплообменники. Одни выполняют функцию конденсатора в обычном режиме работы чиллера, другие -- функцию градирни в режиме фрикулинга.
Конденсаторы и градирни обычно имеют различное конструктивное исполнение. Например, в холодильных машинах Stulz серии CyberCool 2 предусмотрены микроканальные алюминиевые конденсаторы и медно-алюминиевые охладители (рис. 1).
В конденсаторе поток хладагента разбивается на множество мельчайших потоков, каждый из которых быстрее охлаждается и конденсируется. Микроканальная конструкция обеспечивает улучшенную теплопередачу, компактные размеры, малое аэродинамическое сопротивление, а применение алюминия снижает массу агрегата.
Медно-алюминиевые змеевики выполнены по классической схеме теплообменника – медные трубы с алюминиевым оребрением. Автоматика чиллера настроена на плавающую точку переключения между режимами компрессионного охлаждения, фрикулинга и смешанного охлаждения.
Рис. 1. Внешний вид теплообменников в чиллерах Stulz CyberCool 2
Фрикулинг для фреоновых кондиционеров
Режим свободного охлаждения может быть реализован и во фреоновых кондиционерах. В этом случае моноблочные кондиционеры устанавливаются у наружной стены машинного зала, в стене делается проем, через который холодный воздух поступает в смесительную камеру кондиционера. Там он смешивается с рециркулирующим потоком воздуха из помещения, и полученная смесь заданной температуры подается в машзал.
Еще один вид фрикулинга во фреоновых кондиционерах основан на использовании самого хладагента в качестве холодоносителя. Хладагент прокачивается по контуру насосом и охлаждается наружным воздухом напрямую либо через теплообменник и промежуточный контур холодоносителя.
Подобное решение предлагает компания Vertiv, технология получила название Liebert Econophase (рис. 2). Как известно, компрессор в кондиционере нужен для того, чтобы получить горячий газ, сохранив его энергетический уровень (энтальпию), для последующего охлаждения за счет наружного воздуха. Физика газов такова, что для этого требуется значительно повысить давление хладагента, что и делает компрессор.
В зимнее время температура наружного воздуха ниже температуры внутри помещения, поэтому хладагент можно просто охладить на улице. Увеличивать его давление с целью повышения температуры, как это делается летом, не требуется.
В Liebert Econophase так и происходит: хладагент циркулирует при практически постоянном давлении. Насос, который перекачивает хладагент в зимнее время, потребляет гораздо меньше энергии, чем компрессор, благодаря чему и обеспечивается экономичное охлаждение. Кроме того, технология Econophase предусматривает дополнительный элемент – экономайзер. Именно с его помощью отводится тепло в зимнее время.
Рис. 2. Система охлаждения на основе технологии Liebert Econophase от компании Vertiv
Воздушный фрикулинг
Воздушный фрикулинг бывает прямой и косвенный, а косвенный, в свою очередь, -- с адиабатическим охлаждением или без него.
В системе косвенного фрикулинга без адиабатики внутренний воздух охлаждается за счет наружного в воздухо-воздушных теплообменниках. Обычно они бывают роторными. Расход воздуха в теплообменнике велик, поэтому диаметр ротора достигает 6 м.
Преимущество косвенного фрикулинга заключается в том, что в машинных залах ЦОДов циркулирует один и тот же воздух, и это чистый воздух, поскольку инфильтрация роторных теплообменников достаточно мала.
В системах косвенного фрикулинга с адиабатикой наружный воздух до его попадания в воздухо-воздушный теплообменник проходит через секцию адиабатического охлаждения. В этой секции производится распыление воды, которую вбирает в себя наружный воздух. При этом он увлажняется и охлаждается. В итоге в теплообменник наружный воздух попадает более холодным, чем был до увлажнения, а потому диапазон работы системы свободного охлаждения расширяется.
Потенциал секции адиабатического охлаждения зависит от температуры и влажности наружного воздуха. Например, по данным WeatherArchive.ru, в Москве средняя температура июля составляет +20,4°С при относительной влажности 72%. Повышение влажности до 95% позволяет снизить температуру на 3°С. Согласно оценкам ресурса AboutDC, это дает дополнительные 900 ч работы в режиме свободного охлаждения в год, или более 10% длительности года.
Суть прямого фрикулинга – подача наружного воздуха напрямую в машинные залы ЦОДа после секции фильтрации и камеры смешения с рециркулирующим потоком. Фильтрация воздуха необходима для его очистки от внешних загрязнений, а камера смешения – для регулирования температуры подаваемого воздуха.
Примером установки, работающей по схеме косвенного фрикулинга, может служить Ecoflair от Schneider Electric (рис. 3). Агрегат предполагает наружный монтаж на кровле здания. С одной стороны к нему подсоединяется воздуховод с нагретым воздухом из ЦОДа, с другой стороны – воздуховод с охлажденным воздухом для подачи в ЦОД. В самом агрегате имеется теплообменник для охлаждения воздуха, циркулирующего в ЦОДе, потоком наружного увлажненного воздуха. На случай жары, когда даже адиабатическое увлажнение не способно в достаточной мере понизить температуру наружного воздуха, предусмотрен доводчик, работающий по классической парокомпрессионной схеме.
Рис. 3. Внешний вид Schneider Electric Ecoflair холодильной мощностью 250 кВт и 500 кВт
Кстати, воздушный фрикулинг и крышные варианты его исполнения пошли на пользу общей архитектуре дата-центров. Фактически можно говорить о формировании типовой трехэтажной компоновки ЦОДа. На первом этаже располагаются основные элементы системы энергоснабжения (дизели, ИБП, щиты и т.д.). Машинные залы ЦОДа размещаются на втором этаже. А третий этаж (или кровля здания) отдается под системы охлаждения. В результате вместо сложных развязок инженерных систем в рамках одного этажа создается логичная структура, в которой машинные залы получают необходимые ресурсы сверху (холод) и снизу (электроэнергию).
Прямой фрикулинг или косвенный?
Часто на стадии концептуального проектирования прорабатывается вопрос: какой вид фрикулинга использовать – прямой или косвенный? Преимущество косвенного фрикулинга очевидно: закрытый внутренний контур подготовленного воздуха. В свою очередь, установка прямого фрикулинга не имеет промежуточного теплообменника, а потому представляется более эффективным и компактным решением.
На самом деле система с прямым фрикулингом может быть менее эффективной, чем с косвенным, если последняя оснащена секцией адиабатического охлаждения. Как показывают расчеты для разных городов, косвенный фрикулинг с адиабатикой работает на 3--10% дольше, чем прямой фрикулинг. В абсолютных величинах речь идет о дополнительных 200--900 ч в год, т.е. для некоторых локаций можно запросто выиграть целый месяц свободного охлаждения.
В Москве в среднем косвенный фрикулинг с адиабатикой «прибавляет» 300 ч свободного охлаждения в год по сравнению с прямым и 550 ч по сравнению с обычным косвенным фрикулингом (соответственно 12 дней и 23 дня в году). Наибольший выигрыш можно получить в сухом климате (в городах на северной стороне Кавказских гор, в Поволжье, южной части Сибири). Наименьший выигрыш наблюдается в городах с влажным климатом. Это приморские города, например Санкт-Петербург, и северные районы. Впрочем, для Санкт-Петербурга и северных районов адиабатика не обязательна. Там прямой фрикулинг способен работать вплоть до 100% времени в году.
Недостатки фрикулинга
Основные недостатки фрикулинга заключаются в больших габаритах вентиляционных установок, сложной автоматике и необходимости устраивать дополнительные системы охлаждения на случай экстремальной жары.
Действительно, в самом простом случае для дата-центра мощностью 1 МВт требуется система свободного охлаждения с расходом воздуха около 350 тыс. куб. м/ч. При увеличении расчетной разности температур между горячим и холодным коридорами эту цифру можно сократить. Например, в EcoFlair IAEC50 холодильной мощностью 500 кВт расход внутреннего воздуха равняется 112 тыс. куб. м/ч. Проходное сечение воздуховода для одной такой установки должно составлять порядка 4 кв. м, т.е. достигать размеров типичного коридора в здании – 1,6 х 2,5 м. Очевидно, подобные воздуховоды проще предусматривать на этапе проектирования здания для ЦОДа и создавать при его строительстве.
Клапаны, решетки, фильтры, вентиляторы – все элементы системы фрикулинга будут иметь столь же большие габариты, измеряемые метрами. Управление такими потоками воздуха на основе данных от датчиков температуры, влажности и скорости воздуха – задача нетривиальная, а потому разработке системы автоматики или изучению готовых решений следует уделить особое внимание.
Наконец, в любом городе летом бывает жарко, но ЦОД не имеет права уйти на больничный на несколько дней из-за солнечного удара. На случай экстремальной жары следует предусматривать дополнительную систему охлаждения, которая, например, понизит температуру наружного воздуха до тех значений, при которых сможет работать фрикулинг.
Современные тенденции
Сегодня надежность решений на базе фрикулинга не вызывает сомнений. Дата-центры, построенные компаниями «Яндекс», DataPro и Сбербанком, а также рядом зарубежных компаний, таких как Google, Facebook, Microsoft, Amazon и другими, подтвердили не только право фрикулинга на жизнь, но и его высокую энергоэффективность.
Но нет предела совершенству. Следующий шаг – развитие технологии «умного» фрикулинга. Такая система анализирует статистику работы фрикулинга и оптимизирует ее. Она способна отслеживать прогноз погоды и создавать запас холода на жаркий период. Если на дворе летнее утро, то «умный» фрикулинг понимает, что ожидается повышение наружной температуры, если вечер, то ее понижение. Если же на дворе зима, то накопление и сохранение холода и вовсе не имеет смысла, поскольку жары в ближайшие дни не предвидится.
Такие функции помогают еще более увеличить энергоэффективность фрикулинга. Например, энергопотребление фреоновых охладителей тем меньше, чем ниже наружная температура воздуха. Значит, в жаркие дни выгоднее накопить холод ночью, когда на улице прохладнее, нежели включать кондиционеры днем.
Иными словами, сейчас мы говорим о том, что климат того или иного региона позволяет «жить» на фрикулинге, например, 90% времени в году. В будущем в этом же регионе работа фрикулинга может быть увеличена вплоть до 100% времени за счет аккумуляторов холода, предусмотрительно задействованных в тот период, когда на улице было прохладно.
Кстати, некоторые изменения могут произойти и на рынке аккумуляторов холода. В конце концов, необязательно, чтобы это были вода или лед. Это могут быть и другие вещества.
Что касается воды или льда, то напомним, что генерация холода тем энергозатратнее, чем ниже получаемая температура. Иными словами, получение льда стоит дороже, чем просто захолаживание воды. Но у льда как аккумулятора есть огромное преимущество – теплота фазового перехода. А фазовый переход, как известно, происходит без изменения температуры. При фазовом переходе «вода – лед» холода запасается столько же, сколько при охлаждении воды на 80°С. Таким образом, ледяной аккумулятор с температурой 0° заметно выгоднее водяного аккумулятора той же температуры.
Существуют и другие алгоритмы повышения эффективности систем свободного охлаждения. И будущие проекты позволят им раскрыться в полной мере.
Юрий Хомутский, независимый эксперт
