Константин Нагорный, главный инженер Linxdatacenter в Санкт-Петербурге
Опубликованы результаты расследования обстоятельств пожара, уничтожившего дата-центра SBG2 компании OVHcloud в Страсбурге. Комплекс причин, установленный экспертами — грубые нарушения требований пожарной безопасности. Разбираемся в выводах и трактовке результатов расследования, озвученных в СМИ, и делаем выводы на будущее.
Пожар в дата-центре OVH в марте 2021 года продемонстрировал, что неуязвимых ЦОДов не существует вне зависимости от региона или статуса провайдера.
Напомним, инцидент привел к отключению 3,6 млн веб-сайтов и интернет-сервисов по всему миру: тогда пострадали правительственные ресурсы, порталы банков, ритейлеров и СМИ. Особенностью катастрофы стала невозможность быстро справиться с огнем, хотя на место происшествия пожарные прибыли очень оперативно.
В результате ЦОД сгорел практически полностью и восстановлению не подлежит.
Первые версии и финальный отчет
Первые выводы по итогам предварительного расследования инцидента в качестве причины указывали на источники бесперебойного питания (ИБП). По данным СМИ, они загорелись через несколько часов после завершения ТО с заменой некоторых компонентов и перезапуска.
Сообщалось также о повторном возгорании в помещении с отключенными батареями ИБП через несколько дней после ликвидации основного пожара. Скорее всего, в ЦОДе использовались литиевые батареи – их практически невозможно потушить, а реакции нагрева продолжаются и после отключения питания. Эту картину подтверждает повторное возгорание в отключенном виде.
В отчете пожарной службы департамента Нижнего Рейна, опубликованном в марте 2022 года, говорится, что при тушении пожара в помещении ИБП наблюдались электрические дуги длиной более 1 м.
Пожарным потребовалось около 3 часов, чтобы отключить электропитание, поскольку в ЦОДе не было единого выключателя. Все это время с начала возгорания в инверторы ИБП подавалось электричество, некоторые серверы продолжали работать.
Ситуацию усугубил тот факт, что трассы электрических кабелей не были изолированы, а потолки и полы в помещениях ЦОДа были деревянными. Система «фрикулинга», обеспечивавшая приток внешнего воздуха для охлаждения серверов, ускорила распространение пожара.
Деревянные перекрытия, отсутствие системы автоматического пожаротушения, воздуховоды системы «фрикулинга» и отсутствие централизованного отключения электричества – факторы, усугубившие ситуацию.
Давайте подробно рассмотрим роль каждого перечисленного выше фактора.
Деревянные полы и потолки
ЦОД желательно строить по принципу противопожарных отсеков с огнестойкостью 45 или 60 минут. То есть стены, двери, проходы инженерных коммуникаций должны сопротивляться горению в течение этого времени, изолируя огонь внутри помещения.
Этого времени должно хватить, чтобы эвакуировать людей, вызвать пожарных, обесточить оборудование. При этом стоит понимать, что при высокой температуре горит даже металл. Например, по российским нормам несущие металлические связи зданий должны быть покрашены специальной огнеупорной краской.
Возможно, сгоревшие деревянные перекрытия должны были быть покрашены или пропитаны специальными составами, но это было сделано некачественно. В итоге, по всей видимости, помещения ЦОДа OVH в реальности не представляли собой отдельные пожарные отсеки, что позволило огню захватывать соседние помещения и в итоге погубить все здание.
Отсутствие системы автоматического пожаротушения
Споры о необходимости автоматического пожаротушения в ЦОДах ведутся давно и единого мнения об этом нет. В коммерческих ЦОДах эту опцию требуют клиенты, а в корпоративных или облачных она, как говорится, «на усмотрение владельца».
Обязательным является наличие автоматической системы пожарной сигнализации, которая обнаружит возгорание и запустит процессы для предотвращения распространения огня.
Наличие автоматической системы пожаротушения в ЦОД желательно, но ее отсутствие можно компенсировать другими мероприятиями. Например, должна вестись работа по минимизации «пожарной нагрузки» в критических помещениях, то есть материалов, способных гореть (горючая оплетка кабелей, упаковка, паллеты и т.п.).
Распространение огня из-за фрикулинга
Одним из действий после активации пожарной сигнализации является автоматическое выключение систем вентиляции и закрытие огнезадерживающих клапанов. Они расположены на границе каждого противопожарного отсека и после закрытия препятствуют распространению огня между помещениями и доступу кислорода с улицы.
Если такого сигнала не было, то данная причина действительно может являться серьезным фактором, приведшим к распространению огня.
Единая кнопка отключения электричества (EPO)
Еще один спорный фактор. Многие считают, что единая кнопка EPO опасна с точки зрения операционной устойчивости всего ЦОД.
Кнопка EPO – это обычный выключатель, контакт которого может разомкнуться в том числе и случайно, в итоге весь ЦОД останется без электропитания. Более разумный подход – наличие выделенных кнопок EPO на различные системы дата-центра. Например, отдельный выключатель EPO на ИБП линейки А и еще один – на ИБП линейки Б и т. д., что исключает одновременное отключение двух лучей ИБП при ложном срабатывании одной общей кнопки.
Естественно, кнопки EPO должны быть расположены вне помещений с оборудованием. Кстати, роль EPO могут выполнять и обычные электрические выключатели в щитовых, вынесенные отдельно от оборудования. Самое важное иметь доступ к ним во время пожара, то есть не размещать в одном помещении с подключенным оборудованием.
Выводы и памятка
С учетом изложенного выше можно выделить следующие особенности обеспечения пожарной безопасности в ЦОДах.
Помещения ЦОДа должны строиться по принципу пожарных отсеков, при этом нельзя забывать, что есть общая кровля здания. Если внутри вы правильно построили помещения независимыми пожарными отсеками, а сверху накрыли их единой крышей из горючих материалов, то все старания напрасны – загорится вся площадь крыши и пожарные зальют весь ЦОД водой при ее тушении.
В пожарные отсеки через отверстия в стенах входят кабели. Эти отверстия должны быть заполнены негорючими материалами той же огнестойкости, что и стены (чаще всего это специальная пена), а кабели (как электрические, так и телеком) должны быть негорючего типа. Иначе по ним как по бикфордову шнуру огонь пройдет через все преграды.
Все кабельные трассы и электрические выключатели должны быть исправны. Электрические выключатели или кнопки EPO должны находиться вне помещений с оборудованием, что даст возможность воспользоваться ими и обесточить горящее оборудование, не заходя в помещение с ним.
В помещениях ЦОД должна быть эффективная система автоматической пожарной сигнализации, учитывающая особенности серверных помещений, а именно большие объемы довольно быстро перемещаемого воздуха. Они требуют применения специальных систем раннего обнаружения дыма.
Для помещений дизель-генераторных установок (ДГУ) целесообразно применять ИК-датчики, обнаруживающие пламя по его ИК спектру. В помещениях ДГУ задымленность и повышенная температура являются нормальным рабочим фактором, следовательно дымовые и тепловые датчики будут давать ложные тревоги. Также чаще всего в серверных помещениях, залах с ИБП и ДГУ шумно. Следовательно, для обеспечения своевременной эвакуации сотрудников там должны применяться стробоскопические оповещатели.
После активации системы пожарной сигнализации автоматически должна отключаться вентиляция и закрываться огнезадерживающие клапаны для изоляции пожарных отсеков и прекращения подачи кислорода в помещения. Если ЦОД имеет «замкнутую» систему охлаждения, она может продолжать работать, но если для охлаждения ЦОДа используется уличный воздух, то это приведет к отключению системы охлаждения ЦОДа.
В критических помещениях ЦОДа (серверные, ИБП, аккумуляторные) желательно иметь систему газового пожаротушения, причем выбранный газ должен быть безопасен для людей. Это важно с психологической точки зрения. Скорее всего пуск газа будет активировать человек. И если у него будут подозрения, что внутри помещения есть люди, которые могут пострадать от его персональных действий по выпуску «небезопасного» газа, он вряд ли активирует систему тушения.
Традиционно основными причинами пожаров, помимо неисправности электропроводки, электрооборудования и электрических выключателей, являются огневые работы (сварка), курение и другое использование открытого огня. Поэтому необходимо минимизировать подобные опасные факторы «рукотворного происхождения»: все пожароопасные работы должны оформляться нарядами и тщательно контролироваться, а курение в зданиях запрещено.
Хранение любых поддерживающих горение материалов должно быть организовано вне серверных и других критически важных помещений. Нет так называемой «пожарной нагрузки» – нечему гореть.
Надеемся, данная статья помогла вам составить представление об особенностях организации пожарной безопасности в ЦОДе.
© 2023 Linx
