Кругом вода, или Соблюдение коридора влажности в системах круглогодичного фрикулинга
11.11.2018 Автор: Александра Эрлих
Какие нюансы нужно принять во внимание при проектировании системы круглогодичного фрикулинга, чтобы оптимизировать энергопотребление и в то же время создать комфортные условия для работы как ИТ-оборудования, так и персонала?
До поры до времени ЦОДы работали в определенном режиме влажности и температуры и чувствовали себя в нем довольно комфортно. Но Американская ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха (American Society of Heating, Refrigerating and Air-Conditioning Engineers, ASHRAE) провела ряд исследований, позволивших -- ура! -- снова повысить температуру в ЦОДах.
А тут еще выход на рынок систем охлаждения Kyoto Cooling, которые так замечательно работают в ряде стран северо-запада Европы. Возникло понятное желание применить подобные системы в России. Появились первые аналоги, а вместе с ними и первые проблемы.
С Kyoto Cooling у меня особые отношения. Я как раз заканчивала Одесскую академию холода, когда общество всколыхнул феномен так называемой озоновой дыры. Тогда, в 1995--1997 гг., мир науки и техники тоже жил относительно уравновешенно, без революционных скачков и резкого роста выпуска холодильного и климатического оборудования. Киотский протокол буквально взорвал привычный порядок и на долгие десятилетия дал повод менять отличную технику на более современные, но менее совершенные аналоги. Было проведено огромное количество исследований, защищены десятки тысяч диссертаций и обеспечены сотни тысяч рабочих мест в производстве холодильного и климатического оборудования.
Когда в 2010 г. началось массированное продвижение новой технологии фрикулинга -- Kyoto Cooling, -- понятно, что первой реакцией у меня, как, возможно, и у вас, был скепсис.
Тем не менее технология живет, развивается и довольно успешно применяется, например, в Риге, в ЦОДе Lattelecom. Особенности местного климата в виде постоянных ветров усиливают энергосберегающий эффект такого вида охлаждения -- большую часть времени года вентиляторы вращаются естественным путем, не потребляя электричества.
За последние годы технологию развили и адаптировали под разные климатические зоны и требования. Например, в Мюнхене, где температуру воздуха летом можно сравнить с температурами на российском Черноморском побережье, фрикулинг работает 90% времени в году без применения дополнительного компрессорного охлаждения. Снижаются затраты на эксплуатацию ЦОДа, улучшаются показатели PUE, можно красиво рекламировать себя и радовать клиентов ощутимо низкими ценами предоставляемых услуг.
Но у таких систем есть одна проблема -- влажность. Этот параметр для дата-центра не менее важен, чем температура.
Какая влажность должна быть в ЦОДе
Если влажность слишком низкая, возникает опасность накопления статического электричества. Считается, что в момент разряда оно может повредить электронные компоненты серверов. Последние исследования ASHRAE доказали, что нижний порог влажности можно снизить до 15% при условии соблюдения элементарных правил безопасности, таких как специальное покрытие пола, обувь, антистатические браслеты и соблюдение температурных норм, рекомендованных той же ASHRAE.
Правда, встает вопрос, насколько вы хотите заниматься соблюдением всех предписанных мер предосторожности, рискуя сбоем самого ненадежного звена любой технологии – пресловутого человеческого фактора.
Однако тема этой статьи не пониженная влажность, которую в худшем случае можно повысить с помощью обычных увлажнителей. Сегодня мы поговорим о верхнем пороге влажности, а именно о том, как соблюсти его в условиях круглогодичного фрикулинга.
Повышенная влажность чревата выпадением конденсата, формированием дождевых облаков, как однажды произошло в ЦОДе Facebook (согласно данным The Register, инцидент имел место в ЦОДе в Прайнвилле (шт. Орегон, США) летом 2011 г.), в экстремальных случаях -- коротким замыканием. В Германии при применении свободного охлаждения вместе с влажностью в ЦОДы пришла еще одна проблема, типичная для развитого капитализма, -- плесень. Запад загнивает, причем в буквальном смысле.
Не забудьте также ограничения, в том числе по влажности, которые накладывают на рабочие режимы серверов их производители. И, конечно, коррозию металлов никто не отменял.
Но даже если вы используете материалы, устойчивые к плесени и коррозии, работаете на серверном оборудовании, спроектированном специально для вас, не боитесь короткого замыкания, то вам все равно важно энергопотребление ЦОДа. Иначе вы не затевали бы круглогодичный фрикулинг, верно? А вот как раз этот показатель при повышенной влажности сильно возрастает, поскольку аппаратное обеспечение, пытаясь регулировать конденсацию, серьезно увеличивает потребление электроэнергии по сравнению с «нормальным» режимом.
Речь идет не о кратковременных скачках влажности, а о постоянном ее повышении в машинном зале. В 99% случаев причиной является не сам круглогодичный фрикулинг как способ охлаждения, а ошибки, допущенные при проектировании такой системы. Все-таки системы круглогодичного фрикулинга -- явление в мире ЦОДов относительно новое, количество подобных систем и, следовательно, накопленный опыт невелики.
А как в Германии?
Возможно, в такой ситуации проще отказаться от идеи и применить традиционную схему. А можно воспользоваться опытом зарубежных коллег, например, из Германии. Почему именно из Германии? В данном случае не столько потому, что я здесь живу и имею возможность общаться с практиками лично, сколько потому, что именно в этой, самой консервативной и задавленной нормами и законами по строительству и проектированию ЦОДов (их тут более 20) стране Западной Европы, стране с совсем не северным климатом, системы круглогодичного фрикулинга получили широкое распространение.
Посмотрим, на какие аспекты при проектировании обращают внимание немецкие коллеги. Для примера возьмем климатическую зону Мюнхена и принятый в Германии диапазон влажности 25--60%. Имеет значение каждая мелочь, включая количество процессоров с малой / большой тепловой нагрузкой, верхний температурный порог их работы, воздушные потоки в серверном шкафу и в машинном зале, достижимую степень изоляции помещения и отдельных его участков, экстремально возможные значения температуры и влажности наружного воздуха, невозможность полностью избежать подмешивания наружного воздуха, теплопритоки, в том числе и от самого климатического оборудования, и многое, многое другое.
Разработка концепции
Проще всего было бы спроектировать систему со стабильным воздушным потоком, подобрать и настроить технику один раз и больше не менять настройки. Но снова вмешивается человеческий фактор: люди, находяшиеся в серверной комнате, затрудняют оптимизацию системы, направленную на значительное снижение потребности в энергии для кондиционирования воздуха посредством фрикулинга. Людям нужно дышать, они выделяют определенное количество тепла и углекислого газа, температурно-влажностный режим в машинном зале должен быть для них комфортным, они могут задержаться в дверях дольше, чем считается нужным, забыть что-то и вернуться. Да и количество посещений машзала точно предсказать невозможно.
Кроме того, зачастую в разных частях зала необходимо поддерживать разные температурно-влажностные режимы, определяемые непосредственно ИТ-оборудованием (например, в коммерческом ЦОДе). С этой целью в Германии создают систему так называемого двойного фрикулинга.
Суть заключается в следующем: для каждого ЦОДа создается индивидуальная система plug-and-play, способная работать как в режимах прямого и непрямого фрикулинга, так и в режиме компрессорного охлаждения. Она включает в себя системы увлажнения и осушения и способна одинаково хорошо функционировать в режиме и частичной, и полной нагрузки. При этом система обеспечивает значение PUE = 1,2 и ниже.
Вводные для проектирования установки
Самое важное -- правильно определить разность между температурой на выходе из горячего коридора и температурой на входе в холодный коридор (Δt). В случае, когда нужно перейти на компрессорное охлаждение, Δt выбирается равной 12 K. При фрикулинге Δt можно и нужно взять больше (но не более 20 К), чтобы сократить объем требуемого воздуха и, как следствие, энергопотребление системы. И конечно, совершенно необходимо собственно разделение коридоров.
Система вентиляции должна быть спланирована таким образом, чтобы, используя различные пути воздушного потока, направлять воздух только туда, где он в настоящее время нужен, и уменьшать за счет этого внутреннее сопротивление потока. Благодаря как минимум двум параллельным воздушным потокам можно, например, создать различные воздушные смеси с различными температурно-влажностными режимами. Обязательно нужно предусмотреть возможность работы установок в режиме частичной загрузки. По возможности задействовать бОльшее количество малых установок.
Важно: системы прямого фрикулинга могут обеспечивать те же показатели при более высоких температурах наружного воздуха, чем системы непрямого фрикулинга.
Требования к геометрии зала
Как уже говорилось ранее, разделение коридоров является абсолютной необходимостью для создания подобного рода систем. В настоящее время уже следует идти дальше и разграничивать не только коридоры, но и зоны с разными температурно-влажностными режимами.
Второе необходимое условие -- переход от фальшпола к фальшпотолку. Вспомним школьную физику: теплый воздух поднимается вверх сам по себе, не требуя дополнительных энергетических затрат. Поэтому выдуваем холодный воздух непосредственно в холодный коридор, позволяем ему подниматься вверх и регулируем воздушные потоки системой клапанов и воздуховодов. Подобное решение круглогодичного фрикулинга уже несколько лет успешно применяется, в частности, в центрах обработки данных одной из крупнейших российских интернет-компаний.
В Германии поток воздуха регулируют не только с помощью механических систем, но и изменяя Δt в соответствии с изменением холодильной нагрузки.
От стандартной установки – к «индпошиву»
Если внимательно изучить требования к системе, становится понятным, что ни одна стандартная установка таким требованиям полностью соответствовать не может. Поэтому не жалеем денег на CAPEX, понимая, что получим замечательно низкий OPEX, и разрабатываем индивидуальную установку. Тем более что даже индивидуальная установка для системы круглогодичного фрикулинга обойдется дешевле, чем стандартный набор, включающий в себя чиллеры, прецизионные кондиционеры, драйкулеры и вспомогательное оборудование.
Возьмем в качестве примера относительно простую установку, например, для ЦОДа общественной организации с гомогенным ИТ-оборудованием.
Для круглогодичной работы установки определяют восемь различных штатных режимов и маркируют в h,x-диаграмме. Для каждого из штатных режимов рассчитываются оптимальные параметры, которые учитываются при разработке установки и вносятся в программное обеспечение автоматики. Вентиляторы, теплообменники и клапаны для каждого из этих режимов регулируются отдельно, с акцентом на минимизацию энергопотребления, причем для снижения энергопотребления вентиляторов проводят смешение различных параллельных воздушных потоков.
В качестве штатных режимов могут быть выбраны, например, следующие:
Непрямой фрикулинг. Этот режим (рис. 1) хорош при низких температурах наружного воздуха и соответственно низкой абсолютной влажности. Весь объем воздуха проходит через рекуператор, отбирая через стенку тепло у внутреннего воздуха машзала и отводя его на улицу. Небольшое количество наружного воздуха подмешивается к внутреннему. В таком режиме практически не нужно увлажнение либо осушение.
.jpg "Непрямой фрикулинг")
Рис. 1. Непрямой фрикулинг
Прямой фрикулинг. Этот режим применяется при средних температурах наружного воздуха и абсолютной влажности не более 10 г/кг. В климатических условиях Мюнхена в режиме прямого фрикулинга работают примерно полгода. При разработке климатической установки под этот режим нужно учитывать потери давления потока и стараться сделать их минимальными. Наружный воздух в этом режиме не проходит через рекуператор, а параллельным путем через систему фильтров К7 заходит в машинный зал.
Прямой фрикулинг с увлажнением. В случае, когда абсолютная влажность падает ниже 4 г/кг, наружный воздух дополнительно увлажняется (рис. 2).
.jpg "Фрикулинг с увлажнением")
Рис. 2. Фрикулинг с увлажнением
Адиабатическое увлажнение. Как только температура наружного воздуха становится выше допустимой температуры входящего воздуха, включается режим адиабатического увлажнения, позволяющий дополнительно снизить температуру на 5К.
Испарительное увлажнение. В последнее время вместо адиабатического увлажнения все шире используют непосредственное испарение на рекуператоре специальной конструкции, позволяющее сбить температуру наружного воздуха на 10--12 К. Системы с сотовыми увлажнителями из-за возникновения больших потерь в воздушном потоке (и, как следствие, высокого энергопотребления), а также из-за необходимости частой замены получили менее широкое распространение.
Компрессорное (до)охлаждение. Когда температура наружного воздуха даже после испарения поднимается выше допустимой температуры входящего воздуха, возникает необходимость в компрессорном (до)охлаждении. При этом воздух охлаждается до температуры ниже необходимой, проходя через встроенный конденсатор, охлаждает теплообменный аппарат и параллельно «подсушивается».
Полное компрессорное охлаждение. Если температура воздуха на улице поднялась выше температуры в горячем коридоре, подача наружного воздуха перекрывается, и внутренний воздух охлаждается исключительно встроенной холодильной машиной.
Осушение. В случае, когда содержание водяных паров в воздухе превышает 12 г/кг, наружный воздух принудительно осушается. Для осушения можно задействовать разные системы, начиная с применяемых в бассейнах и заканчивая приборами, разработанными для специальных лабораторий. Но самый простой и дешевый способ – использовать в качестве осушителя встроенную в установку холодильную машину.
Циркуляционное воздушное охлаждение. Предусматривается в качестве аварийного на тот случай, если по каким-либо причинам (например, пожар на улице) наружный воздух независимо от его температуры использовать невозможно.
Александра Эрлих, сеньор-консультант, CABERO
