Один из компонентов инженерной инфраструктуры ЦОД – система бесперебойного электроснабжения (СБЭ), поддерживающая автономную работу оборудования в случаях отключения внешнего (сетевого) электропитания.
Строится СБЭ на основе источников бесперебойного питания (ИБП), важность которых демонстрирует стандарт TIA-942, фиксирующий основополагающие требования к структуре ЦОД и классифицирующий дата-центры по уровню надёжности (от 1 до 4). Уже на втором уровне (дата-центр с резервированием) обязательно наличие источника бесперебойного питания, а четвертый – самый высокий (отказоустойчивый дата-центр) предполагает двукратное резервирование СБЭ – два отдельных ввода, зарезервированных по схеме N+1 (фактически – не менее четырёх ИБП).
Экономить на каких-либо элементах системы бесперебойного электроснабжения, в особенности на ИБП – не рекомендуется. Во время строительства, модернизации или обслуживания ЦОД финансирование СБЭ следует проводить не по остаточному принципу, а согласно технической необходимости!
Данное утверждение обусловлено:
- повышенными, часто большими чем действующие государственные нормы, требованиями технической базы IT-систем к качеству питающего напряжения;
- проблемами отечественных энергосистем, характеризующихся частыми аварийными ситуациями и отклонениями параметров электрической энергии от установленных значений.
Возможные убытки, вызванные выходом высокотехнологичного оборудования из строя и последующего простоя ЦОД, могут быть несоизмеримо большими по сравнению с затратами на качественную и надёжную СБЭ!
Виды систем бесперебойного электроснабжения ЦОД
Построение СБЭ в ЦОД происходит по одной из трех наиболее распространённых схем:
- централизованной;
- распределённой;
- комбинированной.
В каждой из них источник бесперебойного питания занимает главное место и является не только средством защиты, но и связующим звеном между различными элементами системы электроснабжения. Рассмотрим вышеуказанные схемы подробнее.
Централизованная – строится на основе мощного трехфазного ИБП (одного или нескольких), к которому через различные коммутационные и распределительные устройства подключаются все потребители электроэнергии. Упрощенная структура централизованной СБЭ представлена на рисунке 1 (опущены автоматические выключатели, цепи байпаса и т.п.):
Рисунок 1 – Упрощенная структура централизованной СБЭ
Распределённая – каждый потребитель или группа однотипных и территориально близких потребителей защищается отдельным, независимым ИБП – рисунок 2.
Рисунок 2 – Упрощенная структура распределённой СБЭ
Централизованная и распределённая схемы, при использовании в чистом виде, имеют некоторые недостатки.
Для первой характерны:
- наличие общей точки отказа – в случае выхода ИБП из строя возможно обесточивание всей электросети ЦОД;
- более высокая, по сравнению с распределённой схемой, вероятность отключения локального потребителя из-за неполадок в цепи, связывающей его с ИБП.
Недостатки распределённой СБЭ:
- различная нагрузка на ИБП, вызывающая неэффективное использование мощности отдельных источников и неравномерный расход ресурса АБ в автономном режиме;
- сложность мониторинга и управления СБЭ.
Для нейтрализации перечисленных недостатков в архитектуре ЦОД часто применяют комбинированную (двухуровневую) систему, объединяющую две упомянутые выше схемы в одну – рисунок 3.
Рисунок 3 – Упрощенная структура комбинированной СБЭ
В такой системе мощный ИБП либо группа мощных ИБП служит для защиты всей системы электроснабжения – ИБП первого уровня. Кроме того, выделяются наиболее ответственные потребители или группы потребителей, которые включаются в общую сеть через дополнительные источники – ИБП второго уровня.
На первом уровне используют преимущественно трехфазные ИБП с высокими значениями выходной мощности.
На втором чаще применяют менее мощные однофазные, рекомендации по их подбору приводились в статье Как подобрать ИБП для серверов?).
При подключении однофазных потребителей к трехфазному ИБП в централизованных и комбинированных СБЭ любую из питающих фаз не допустимо нагружать более чем на 1/3 от номинальной мощности устройства. Превышение этого значения станет причиной аварийного отключения ИБП!
Резервирование в системе бесперебойного электроснабжения ЦОД
Для повешения надёжности в СБЭ применяют метод резервирования, заключающийся в увеличении отказоустойчивости путём дублирования наиболее важных компонентов системы.
Резервирование источников бесперебойного питания предполагает введение в систему аппаратной избыточности и реализуется параллельным объединением двух и более устройств с последующим подключением к нагрузке, мощность которой должна быть меньше суммарной мощности объединённых ИБП.
В комплексе совместно работающих ИБП необходимо обеспечить равномерное распределение нагрузки.
Наиболее распространенные концепции резервирования: N+1 (N+X) и 2N (N – минимальное количество ИБП, гарантирующих эффективную работу защищаемого оборудования). Рассмотрим их подробнее.
Схема N+1 (N+X)
N+1 – резервирование с одним дополнительным элементом. Например, для нагрузки в 600 кВА вариант реализации схемы N+1 – подключение трех ИБП по 300 кВА. Два устройства являются необходимым уровнем питания N=600 кВА, а третье – избыточным, но именно благодаря наличию резерва при отключении одного из источников энергоснабжение продолжится в полном объёме.
По такому принципу возможно построение схем и с большим количеством резервных единиц: N+2, N+3 … N+X.
Схема 2N
2N – система с полностью дублированными компонентами N. На практике 2N-резервирование осуществляется подключением к нагрузке двух параллельных линий электропитания равных по мощности.
Отдельная мощность каждой линии должна быть не меньше максимальной потребляемой мощности нагрузки. Такая схема гарантирует, что отключение одного компонента N не повлияет на функционирование всей системы электроснабжения!
Для нагрузки в 600 кВА 2N-резервирование представит собой: две линии мощностью 600 кВа, что соответствует четырем ИБП номиналом 300 кВА.
Резервирование класса 2N удобно к применению с IT-оборудованием, имеющим два блока питания, каждый из которых подключается к своему сетевому вводу.
В случае необходимости количество дублированных каналов в системе может быть увеличено до трёх или четырёх – 3N, 4N (такие решения из-за дороговизны и сложности исполнения встречаются редко).
Схема 2(N+1)
2(N+1) – тип резервирования, соответствующий уровню защиты Tier IV и применяющийся для СБЭ потребителей с повышенными требованиями к надёжности электропитания.
В общем виде 2(N+1) выглядит как объединение вышерассмотренных концепций – питание нагрузки по двум линиям N, каждая из которых дополнительно зарезервирована по схеме N+1.
Для случая с нагрузкой 600 кВА, указанному классу резервирования будет соответствовать СБЭ в виде двух линий, имеющих по три источника номиналом 300 кВА (два источника – N=600 кВа, третий избыточный – + 1), всего шесть ИБП в системе.
Увеличение количества резервных единиц в СБЭ прямо пропорционально росту отказоустойчивости! Системы с высокой избыточностью гарантируют большую вероятность безотказной работы оборудования ЦОД и практически нулевое время простоя. С другой стороны, увеличение количества ИБП вызывает рост стоимости СБЭ и снижение общего КПД, так как в штатном режиме ИБП будут недозагружены.
Схемы 3/2N или 4/3N
Повысить производительность ИБП и сократить их количество позволяют схемы резервирования 3/2N или 4/3N, в которых нагрузка на устройства оптимизирована и составляет не менее 2/3 номинала. Сейчас эти схемы не имеют широкого распространения в ЦОД России. Кроме объективных причин, таких как сложность разработки и практической реализации (особенно в области коммутации между элементами системы), это обусловлено ещё и недорогой, относительно стран Западной Европы и США, стоимостью электроэнергии.
Однако, согласно прогнозам специалистов, цена на энергоресурсы в ближайшее десятилетие будет расти, поэтому при строительстве новых ЦОД стоит обратить внимание на опыт применения подобного резервирования за рубежом.
Основные требования к ИБП для ЦОД
Бесперебойное электроснабжение ЦОД рекомендуется организовывать с использованием ИБП on-line топологии (с двойным преобразованием энергии). Только устройства, реализованные по указанной схеме, соответствуют классу VFI (выходные параметры не зависят от входной сети), имеют идеальное синусоидальное напряжение на выходе и гарантируют соблюдение главных требований к электроснабжению центра обработки данных: надёжности, непрерывности, качества.
Онлайн ИБП в СБЭ ЦОД:
- предохраняет серверное и сетевое оборудование от возникающих во внешних электросетях сбоев;
- уменьшает число аварийных ситуаций благодаря улучшению качества электропитания;
- обеспечивает корректную работу информационной и телекоммуникационной инфраструктур при любом сетевом режиме;
- может рассматриваться как средство защиты от диверсий, связанных с внесением в систему электропитания различных электромагнитных возмущений, пагубных для микропроцессорной электроники.
Одна из важнейших характеристик системы бесперебойного электроснабжения – коэффициент полезного действия (КПД).
Высокий КПД (от 93%) источника бесперебойного питания уменьшает потребляемую устройством полную мощность, что сокращает затраты на электроэнергию и увеличивает время автономной работы. Рост КПД снижает и тепловыделение и, следовательно, нагрузку на систему кондиционирования.
При выборе ИБП для ЦОД следует проанализировать значение КПД не только при максимальной нагрузке на устройство, но и при сниженной, характерной для СБЭ с резервированием.
ИБП, инсталлированный в ЦОД, должен легко интегрироваться в существующую на объекте систему управления и технической диспетчеризации, а также иметь комплекс средств для организации локального и удаленного мониторинга.
Длительность автономной работы ИБП ограничивается ёмкостью и количеством аккумуляторных батарей. Для ЦОД, имеющего высокую потребляемую мощность, этот интервал обычно не превышает часа.
Однако для многих объектов даже кратковременное отключение серверов и вычислительных сетей влечет критические последствия. В таких случаях в структуре централизованного или комбинированного электроснабжения ИБП первого уровня объединяется в единый комплекс с генераторными установками – систему бесперебойного гарантированного электроснабжения (СБГЭ).
Следовательно, ещё одно требование к ИБП – поддержка совместной работы с дизель-генераторной установкой (ДГУ).
Помимо вышеназванного, источнику бесперебойного питания, применяемому в СБЭ ЦОД, необходимы:
- функция автоматического завершения рабочих процессов защищаемого оборудования при приближении заряда АБ к критическому значению;
- программные инструменты самодиагностики и оповещения пользователей о всех неисправностях и изменениях режимов работы. Обязательно – о низком заряде батарей;
- оптимальные масса-габаритные характеристики, позволяющие рационально использовать пространство на месте установки;
- наличие экономичных режимов работы;
- высокоскоростные алгоритмы управления силовой частью;
- сервисный байпас для проведения обслуживания без отключения потребителей;
- повышенная степень защиты от перегрузок, перегрева, короткого замыкания.
Монолитные и модульные ИБП для ЦОД. Что лучше выбрать?
Существуют два подхода к построению мощных онлайн ИБП: традиционный монолитный (моноблочный) и относительно новый – модульный.
Главное отличие ИБП второго типа в том, что выходная мощность обеспечивается не одним силовым блоком, а совместной работой группы параллельно соединённых модулей. Каждый из модулей представляет собой полноценную силовую часть ИБП со всеми функциональными узлами и аппаратными средствами: выпрямитель, инвертор, зарядное устройство, управляющий процессор, программное обеспечение и т.д.
Наращивание мощности
Модульные решения за счет децентрализованной архитектуры обладают большей конструктивной гибкостью и позволяют при увеличении потребности в электропитании за короткий промежуток времени подключить к уже функционирующему устройству один или несколько дополнительных модулей. Это полностью соответствует одному из требований к современному ЦОД – высокой степени масштабирования при минимальных временных и ресурсных затратах.
Наращивание мощности моноблочной системы – более сложный процесс, требующий параллельного подключения минимум одного полноценного ИБП и наличия специальной платы, поломка которой вызовет переход всего электропитания на входную сеть.
Построение схем резервирования
Аналогичная ситуация прослеживается и при организации резервирования: избыточность моноблочно-паралельного комплекса достигается только добавлением дополнительного источника (горизонтальное резервирование).
Результатом объединения нескольких моноблочных ИБП может стать существенное превышение физической нагрузки мощностью СБЭ, что негативно скажется на КПД ИБП и понизит энергоэффективность системы.
Модульные ИБП гарантируют более оптимальную работу – для избыточности достаточно установить один дополнительный силовой блок (вертикальное резервирование).
Проиллюстрируем вышесказанное на простейшем примере, исходными данными будут: нагрузка 90 кВА, требование к резервированию – N+1. Упрощённая схема применения к данной задаче монолитных ИБП 90 кВА, представлена на рисунке 4.
Рисунок 4 – Резервирование за счёт монолитных ИБП (нагрузка 90 кВА)
Общая избыточность в номинальном режиме – 90 кВа.
Модульная конфигурация, построенная на блоках 30 кВа (рисунок 5), выдаст избыточность, равную мощности одного модуля – 30 кВА.
Рисунок 5 – Резервирование при использовании модульных ИБП (нагрузка 90 кВА)
Предположим увеличение той же нагрузки до 110 кВА. При сохранении уровня резервирования это повлечет: для схемы с монолитными ИБП подключение дополнительного источника, для модульного ИБП – одного блока, рисунки 6 и 7.
Рисунок 6 – Резервирование за счёт монолитных ИБП (нагрузка 110 кВА)
Рисунок 7 – Резервирование при использовании модульных ИБП (нагрузка 110 кВА)
Избыточность первой системы составит 160 кВА или ≈ 60% от номинала каждого устройства при рекомендуемой нагрузке на ИБП в 70-80%, а второй всего 40 кВа, или ≈ 27% номинала единичного модуля.
Однако необходимо понимать, что приведённое на рисунках 5 и 7 вертикальное резервирование является поэлементным, то есть дублируется один силовой блок, а не вся необходимая для питания нагрузки мощность.
Аппаратное резервирование, полностью соответствующее концепциям N+X и 2N, гарантирует именно параллельно-горизонтальная система, где N – количество не силовых модулей, а полноценных ИБП, обеспечивающих электроснабжение потребителей.
Реализовать параллельное подключение возможно и для модульных устройств, рисунок 8.
Рисунок 8 – Аппаратное резервирование на основе модульных ИБП
В таком комплексе присутствует как вертикальное резервирование (на уровне силовых модулей), так и горизонтальное (на уровне целого ИБП). Это обеспечит большую отказоустойчивость системы, по сравнению с классической монолитной схемой N+1. Однако для данного решения станет вновь актуальной проблема энергоэффективности и избыточности в номинальном режиме.
Надежность
Теоретическая возможность отказа единичного компонента у модульных ИБП выше, чем у моноблочных. Это объясняется тем, что моноблоки содержат меньшее число конструктивных элементов, каждый из которых может рассматриваться как потенциальная точка отказа. Данным фактором обусловлено и более высокое значение средней наработки на отказ (MTBF) у СБЭ на базе монолитных решений.
С дугой стороны, следует понимать, что величина MTBF во многом вероятностная, основанная на одном из постулатов теории надёжности, согласно которому – надежность любой системы возрастает с уменьшением числа её компонентов. На практике, неисправность в техническом устройстве, с большей или меньшей вероятностью, может случится в любой момент времени!
В модульном ИБП аварийная ситуация чаще всего затрагивает только один силовой блок и это, при наличии резервного модуля, не сказывается на электроснабжении подключённых потребителей!
Любая поломка в силовой части моноблочных ИБП вызывает либо отключение от нагрузки, либо переход в режим байпас, что при отсутствии полного резервирования мощности, может послужить причиной отказа всей СБЭ.
Несмотря на наличие независимой силовой части у каждого блока, единые точки отказа имеют и модульные ИБП. Факторами риска являются: общие узлы на входе и выходе устройства, электронный байпас, шины синхронизации.
В случае неисправности какого-либо компонента системы электроснабжения ЦОД, важно максимально быстро выйти из аварийного режима и возобновить нормальное функционирование инженерной инфраструктуры.
Модульные ИБП имеют сокращённое среднее время восстановления системы после отказа (MTTR), достигаемое за счёт возможности «горячей» (без перерыва в электроснабжении) замены, вышедшего из строя модуля. При наличии запасного силового блока, монтаж/демонтаж возможно осуществить силами одного специалиста за минимальный временной промежуток.
Ремонт моноблочных устройств не столь оперативен – восстановление работоспособности обычно занимает несколько часов или дней.
Стоимость реализации
Если анализировать два подхода к построению ИБП с экономической точки зрения, то монолитный ИБП определённой мощности обойдётся дешевле, чем получение аналогичной выходной мощности с помощью объединения силовых блоков в модульном ИБП.
Однако для моноблочных устройств расширение уже существующей СБЭ увеличивает стоимость системы в два раза и может потребовать дополнительных трат на прокладку новых кабельных линий, установку распределительных щитов и коммутационных панелей.
Модульные ИБП позволяют на каждом этапе эксплуатации и развития СБЭ совершать затраты только на фактически нужные, приближенные к реальной необходимости, мощности.
Подводим итог
Подводя итог всему вышесказанному, можно сказать что оба рассмотренных подхода к построению ИБП имеют свои сильные и слабые стороны:
- монолитная система дешевле и содержит меньшее число внутренних элементов и соединений, что, согласно теории надёжности, позволяет говорить о повышенной наработке на отказ, но в тоже время она и избыточна, а это негативно сказывается на энергопотреблении ЦОД;
- модульная система обеспечивает легкую масштабируемость, эффективность и минимальное время восстановления СБЭ. К недостаткам модульных ИБП следует отнести более высокую стоимость и ограничение в максимальной мощности (200-300 кВА – для одной модульной системы с вертикальным-поэлементным резервированием).
При практическом построении системы бесперебойного электроснабжения существует масса факторов, влияющих на выбор конструктива трехфазного ИБП, в частности: требования стандарта TIA-942 к уровню резервирования, объём первоначальных капиталовложений, размер помещения, выделенного под оборудование.
В некоторых проектах возможно объединение двух решений, например, при построении двухуровневой системы бесперебойного или гарантированного бесперебойного питания ЦОД.
На первом уровне защиты, вблизи ввода от внешней электросети, устанавливается мощный моноблочный ИБП или параллельный комплекс моноблочных ИБП. На втором уровне, перед каждым из серверных залов или распределительных щитов – менее мощный модульный, позволяющий за счёт гибкости конструкции быстро изменять СБЭ под локальные изменения нагрузки.
ИБП «Штиль» – отечественные технологии для ЦОД
В номенклатуре группы компаний «Штиль», лидера российского рынка высокотехнологичного электрооборудования, представлены трехфазные онлайн ИБП серий ST (60-500 кВА) и SM (10-300 кВА), гарантирующие премиальное качество электропитания и отвечающие самым современным техническим требованиям:
- широкий диапазон входного напряжения – 228-478 В;
- КПД в режиме on-line – до 95%;
- значения выходного и входного коэффициента мощности, равные 0,9 и 0,99 соответственно;
- малый коэффициент нелинейных искажений тока – до 1,5 % при линейной нагрузке.