Тарас Чирков
Руководитель ЦОДа Linxdatacenter в Санкт-Петербурге
29.04.2020

А мы пойдем на север! Получится ли сэкономить на охлаждении ЦОДов за счет погоды?

В начале этого года в Госдуме предложили развернуть программу строительства дата-центров в северных областях России. Цель – использовать географическое и климатическое преимущества страны для привлечения клиентов (в том числе иностранных) в энергоэффективные и экономически привлекательные российские ЦОДы

Тарас Чириков

Руководитель ЦОДа Linxdatacenter в Санкт-Петербурге

В начале этого года в Госдуме предложили развернуть программу строительства дата-центров в северных областях России. Цель – использовать географическое и климатическое преимущества страны для привлечения клиентов (в том числе иностранных) в энергоэффективные и экономически привлекательные российские ЦОДы.

Разбираемся, сколько в предложении отраслевого реализма и что с ним не так.

Рассуждая об инициативе «северных ЦОДов», прежде всего, необходимо отметить мировой тренд по строительству энергоэффективных ЦОДов, которые используют климатические и природные условия их окружения.

Шведский исследователь Андерс Андрае прогнозирует, что к 2025 году на центры обработки данных будет приходиться наибольшая доля в мировом производстве электроэнергии для ИКТ — 33%, за ними последуют смартфоны (15%), сети (10%) и телевидение (9%).

Экономии на энергопотреблении при строительстве новых ЦОДов на Западе уделяется огромное внимание. Технологические новшества позволяют центрам обработки данных сократить выбросы и снизить энергопотребление в некоторых случаях почти на 80%.

В странах северной Европы действительно реализуются проекты, где охлаждение осуществляется за счет морской воды, избыточное тепло применяется в городской экономике, рационально используются невысокие показатели температуры воздуха и т.д.

Скандинавия является лидером Европы по энергоэффективности. Доступная энергия, получаемая из экологически устойчивых источников, таких как гидроэнергия и энергия ветра, в сочетании с холодным климатом делают эту область идеальным местом для строительства «зеленых» дата-центров.

Например, в Швеции оператор дата-центров Interxion вместе со стокгольмской компанией Exergi используют избыточную тепловую энергию от ЦОДов для отопления жилых домов.

В Дании эта же компания разработала систему охлаждения оборудования грунтовыми водами в качестве энергосберегающей меры. Ранее для охлаждения в летние месяцы использовались традиционные кондиционеры, которые потребляли много энергии. В результате получилась система, которая всегда может обеспечить достаточное охлаждение при значительном снижении энергопотребления.

Ирландия – еще один регион, где развивается энергоэффективность в области ЦОДов. Умеренный климат острова позволяет успешно применять в охлаждении принцип free cooling и экономить до 40% электроэнергии по сравнению с традиционными решениями. К тому же Ирландия одной из первых в Евросоюзе начала использовать возобновляемые источники энергии и к 2030 г. планирует получать из таких источников 70% электроэнергии.

Что касается более широкого глобального воздействия на окружающую среду, то исследователи ожидают, что «углеродный след» от работы ЦОДов составит 5,5% от общемирового объема, если не произойдет быстрого внедрения более эффективных источников энергии.

А мы уйдем на север?

В этом свете инициатива с освоением возможностей Севера России вполне понятна. Энергия у нас стоит существенно дешевле, чем на Западе, соответственно, инициатива строительства сетей дата-центров, которые смогут обслуживать потребности наших и зарубежных компаний, выглядит вполне логичной.

Другое дело, что, говоря о проекте только в перспективе энергоэффективности, мы забываем об экономической привлекательности дата-центра в целом. А там все немного сложнее, чем возможность экономить на охлаждении серверов.

Прежде всего, остро встает вопрос поддержки работы электро- и телекоммуникационных сетей в условиях северного климата в РФ. Погода там не совсем датская или ирландская, не говоря уже о расстояниях и связанной с ними протяженности сетей. Обновлять инфраструктурные элементы в декабре на севере Сибири или где-то под Копенгагеном – это две немного разные по сложности и стоимости задачи.

Далее довольно остро встает вопрос с подбором квалифицированных кадров в отдаленных регионах. В принципе, кадровый дефицит в определенной степени является проблемой для отрасли ЦОДов даже в крупных экономических центрах страны. Операторы дата-центров как ИТ-компании определенного профиля имеют свою специфику, готовых специалистов под задачи отрасли вузы практически не выпускают: это может оказаться серьезной проблемой, поскольку «экспортировать» сотрудников из других городов на Север может оказаться слишком дорогим удовольствием, а учить местных – не только затратным, но и крайне долгосрочным проектом с туманными перспективами.

Второй острый момент: транспортная доступность северных регионов. Любому, кто представляет себе, что такое север России с логистической точки зрения, понятно, что этот момент также неизбежно скажется на стоимости строительства и доставки оборудования.

Однако при всей своей сложности эти моменты являются решаемыми задачами. Более серьезные недостатки проекта «ЦОДы – на север» лежат в другой плоскости.

Необходимо, но недостаточно

Любой ЦОД всегда строится под конкретную задачу. Минимальной комплектации, прикинутой «на глаз», может оказаться недостаточно, а строительство с большим запасом может обернуться перерасходом и рисками низкой рентабельности.

Поэтому желательно сразу понимать, кто, в каком объеме и с каким потенциалом роста своих аппетитов по поводу ИТ-мощностей «заедет» в будущие ЦОДы. Отсюда сформируются технические спецификации объектов.

Стоит отметить, что практически все современные системы охлаждения с применением free-cooling решений так или иначе уже используются в дата-центрах, расположенных в зонах с умеренным климатом и среднегодовой температурой в диапазоне 10-15° С.

Чтобы использовать воздух для охлаждения ЦОДа, необязательно располагать его у полярного круга. Есть и такой нюанс: в условиях Крайнего Севера на начальном этапе проекта ЦОДа до того, как он заполнится и запустится на полную проектную мощь, возникнет обратная потребность в плане температурного регулирования. А именно – в нагреве помещений серверных залов.

Наконец, самое главное. Любой современный коммерческий (да и корпоративный) ЦОД способен генерировать свою прибавочную стоимость только при условии качественной сетевой связности его ресурсов с внешним миром. Здесь имеются в виду возможности подключения к глобальным облакам, IX-ам, телеком-операторам, прямая связность с ИТ-ресурсами партнеров и подрядчиков. Для всех этих задач необходима современная, правильно построенная сеть. Ее можно относительно недорого развернуть при условии нахождения ЦОДов в пределах досягаемости от главных маршрутов прохождения трафика. В противном случае получится хороший, энергоэффективный и современный ЦОД, который не решает главной задачи – не поддерживает высокую скорость отклика ИТ-систем.

То же самое можно сказать и в отношении близости к магистральным линиям электропередачи с необходимым резервом свободных мощностей. Если эти условия не выполняются, любая экономия на охлаждении рискует обернуться пустым PR-трюком.

Комбинация факторов успеха

 


Важно понимать: смысл «зеленых» ЦОДов в Скандинавии не только в том, что они энергоэффективны. Они энергоэффективны, а также расположены на пересечении главных мировых маршрутов передачи трафика. Или очень близко от них.

В этом свете сегодня о какой-то целесообразности строительства северных ЦОДов в РФ можно говорить разве что применительно к Карелии и некоторым другим областям Северо-Западного федерального округа.

Да, идея энергетически оптимизированных дата-центров витает в воздухе. Их строят в Финляндии, сопоставимой по климатическим условиям с большей частью нашего Северо-Запада. Однако в таких проектах необходимо учитывать специфику пользователей услуг таких ЦОДов. Как правило, это корпоративные дата-центры крупных международных ИТ-провайдеров. Например, речь может идти о дата-центре компании Google, которая является единоличным пользователем собственного дата-центра. В таком случае достаточно иметь один канал связи и выход к международным магистральным провайдерам, чтобы обеспечить экономическую целесообразность проекта.

А теперь, внимание, вопрос, какова привлекательность для Google в строительстве такого же ЦОДа в России? Здесь нам также необходимо вернуться к вопросам транспортной и социальной инфраструктуры, которые встанут также остро уже на этапе эксплуатации и развития объекта. Как добираться до этого ЦОДа, как возить оборудование, где хранить его? Наконец, насколько комфортно высококвалифицированному персоналу такого ЦОДа будет жить на постоянной основе где-нибудь на севере Сибири?

Началось?

Пока депутаты предлагают, проект сети ЦОДов на Севере уже развивается: осенью 2019 года Петрозаводский госуниверситет (ПетрГУ) совместно с компанией GS Nanotech объявили о намерении построить распределенную сеть дата-центров за 10 млрд рублей на 20 тысяч стойко-мест в северных районах Карелии.

Конечная цель проекта на данный момент не обозначена – кто, собственно, встанет в эти дата-центры? Как я уже говорил, отсутствие четкого понимания конечной цели такого проекта серьезно снижает шансы на его успех.

Тем временем, если говорить о реальных задачах отрасли сегодня, имеет смыслпоставить акцент на оптимизации работы уже существующих площадок: путем повышения производительности вычислительных ресурсов на стойку, наращивания пропускной способности каналов, а самое главное – обеспечения связности ресурсов ЦОДов с глобальными экосистемами ИТ-платформ, маркетплейсов и сервисов, введением привлекательных энергетических тарифов.

Если получится преуспеть по этим направлениям, «северные ЦОДы» могут и вовсе не понадобиться.

Другие новости и публикации

Вас также могут заинтересовать

Linx Outsourcing
Аудит, модернизация и оптимизация ваших серверных мощностей
Подробнее
Аутсорсинг управления дата-центром
Linx Network
Обеспечьте отказоустойчивость и бесперебойную работу сети
Подробнее
Сетевые услуги
Linx DraaS
Аварийное восстановление ИТ-инфраструктуры. Защитите ИТ-системы уже сегодня!
Подробнее
Аварийное восстановление DRaaS

Напишите нам

Как мы оптимизировали управление ЦОДами клиента

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.
 

Тарас Чирков, руководитель ЦОД Linxdatacenter в Санкт-Петербурге 

Константин Нагорный, главный инженер ЦОД Linxdatacenter в Санкт-Петербурге 

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.  

В главной роли – управление 

Самое современное и дорогое ИТ-оборудование не принесет ожидаемой экономической пользы, если не будут выстроены правильные процессы эксплуатации инженерных систем ЦОДа, где оно располагается.  

Роль надежных и производительных дата-центров в современной экономике постоянно растет вместе с требованиями к их бесперебойной работе. Однако на этом направлении существует большая системная проблема.  

Высокий уровень «аптайма» – безаварийной работы дата-центра без простоев – очень сильно зависит от команды инженеров, которая занимается управлением площадки. А единой формализованной школы управления ЦОДами не существует.  

Нет какого-то сводного канона с правилами, применимыми для любого дата-центра. Есть стандарты международной отраслевой организации Uptime Institute, но они устанавливают рамки и вектор развития, к каждому конкретному дата-центру они будут применяться по-разному.  

В масштабах страны  

На практике в России ситуация с эксплуатацией ЦОДов выглядит так.  

Дата-центры из сегмента коммерческих как правило имеют сертификаты, подтверждающие компетенции в сфере управления. Далеко не все и не всегда, но сама специфика бизнес-модели, когда провайдер отвечает перед клиентом качеством сервиса, деньгами и репутацией на рынке, обязывает владеть предметом. 

Сегмент корпоративных ЦОДов, которые обслуживают собственные потребности компаний, по показателям качества эксплуатации заметно отстает от коммерческих дата-центров. К внутреннему заказчику относятся не так тщательно, как к внешнему клиенту, далеко не в каждой компании понимают потенциал хорошо настроенных управленческих процессов. 

Наконец, государственные ведомственные ЦОДы – в этом отношении они часто представляют собой неизвестную территорию в силу закрытости. Международный аудит таких объектов по понятным причинам невозможен. Российские госстандарты только разрабатываются.  

Все это выливается в ситуацию «кто во что горазд». «Разношерстный» состав команд эксплуатации из специалистов с разным бэкграундом, различные подходы к организации корпоративной архитектуры, взгляды и требования в отношении ИТ-департаментов.  

Факторов, приводящих к такому положению дел, много, один из главных – отсутствие систематизированной документации по выстраиванию эксплуатационных процессов. Есть пара вводных статей Uptime Institute, которые дают представление о проблеме и путях ее преодоления. Но дальше необходимо выстраивать систему своими силами. А на это ресурсов и компетенций хватит далеко не у каждого бизнеса.  

Между тем, даже небольшая систематизация процессов управления по лучшим отраслевым практикам всегда дает отличный результат в том, что касается повышения отказоустойчивости инженерных и ИТ-систем.  

Кейс: через тернии к относительному порядку 

Проиллюстрируем на примере реализованного проекта. К нам обратилась крупная международная компания с сетью собственных дата-центров. Запрос был на помощь в оптимизации процессов управления тремя площадками, где на серверах развернуты ИТ-системы и приложения, абсолютно критичные для бизнеса.  

Компания недавно прошла аудит головного офиса и получила список несоответствий корпоративным стандартам с предписанием их устранить. Для этого в качестве консультанта привлекли нас как носителя отраслевых компетенций: мы развиваем собственную систему управления ЦОДами и ведем просветительскую работу о роли качества эксплуатационных процессов уже несколько лет.  

Началось общение с командой клиента. Специалисты хотели получить выстроенную систему эксплуатации инженерных систем ЦОДов, зафиксированную в документации по процессам мониторинга, обслуживания и устранению неполадок. Все это должно было обеспечить оптимизацию инфраструктурной составляющей с точки зрения непрерывности работы ИТ-оборудования.  

И здесь началось самое интересное.  

Познай себя 

Чтобы оценить уровень работы ЦОДов с точки зрения соответствия стандартам, нужно знать точные требования бизнеса к ИТ-системам: каков уровень внутренних SLA, допустимый период простоя оборудования и т.д.  

Сразу же выяснилось – ИТ-департамент не знает, что именно хочет бизнес. Не было внутренних критериев качества сервиса, не было и понимания логики устройства собственной инфраструктуры.  

Коллеги просто не представляли, каково допустимое время простоя операций, завязанных на ИТ, каково оптимальное время восстановления систем в случае аварии, как устроена архитектура собственных приложений. Например, пришлось разбираться, будет ли критичным для работы приложения «падение» одного из ЦОДов, или в нем нет компонентов, влияющих на приложение.  

Не зная таких вещей, рассчитать какие-то конкретные требования к эксплуатации невозможно. Клиент осознал проблему и усилил координацию между ИТ и бизнесом, чтобы выработать внутренние требования и наладить взаимосвязи для выстраивания работы.  

Когда было достигнуто понимание архитектуры ИТ-систем, команда смогла суммировать требования к службе эксплуатации, подрядчикам и к уровню надежности оборудования.  

Улучшения в процессе 

Наши специалисты выезжали на площадки для оценки инфраструктуры, читали имеющуюся документацию, проверяли уровень соответствия проектов ЦОДов фактической реализации.  

Отдельным направлением стали опросы ответственных сотрудников и их руководителей. Они рассказывали, что и как они делают в различных рабочих ситуациях, как устроены ключевые процессы эксплуатации инженерных систем.  

После начала работ и знакомства со спецификой задачи клиент немного «сдал назад»: мы услышали просьбу «просто написать всю необходимую документацию», по-быстрому и без глубокого погружения в процессы.  

Однако правильная оптимизация управления «инженеркой» ЦОДа предполагает выполнение задачи научить людей правильно оценивать процессы и писать под них уникальную документацию исходя из специфики конкретного объекта.  

Придумать рабочий документ за конкретного начальника участка службы эксплуатации невозможно – если только не проработать в паре с ним на площадке безотрывно несколько месяцев. Поэтому такой подход был отклонен: мы находили лидеров на местах, которые были готовы учиться сами и вести за собой подчиненных.  

Объяснив алгоритм создания документов, требования к их содержанию и принципы организации экосистемы инструкций, шесть последующих месяцев мы контролировали процесс детального написания документации и поэтапный переход персонала к работе по-новому. 

Далее последовал этап первичной поддержки работ по обновленным регламентам, который в удаленном формате продолжался один год. Затем мы перешли к тренингам и учениям – единственный путь закрепления нового материала на практике.  

Что сделано 

В процессе работ нам удалось решить несколько серьезных вопросов.  

Прежде всего, мы избежали ведения двойной документации, которой опасались сотрудники клиента. Для этого соединили в новых регламентах нормативные требования, применяющиеся к различным инженерным системам стандартно (электрика, охлаждение, контроль доступа), с отраслевыми best practices, создав прозрачную структуру документации с простой и логичной навигацией.  

Принцип «просто найти, просто понять, легко запомнить» дополнился тем, что новая информация привязывается к старому опыту и знаниям сотрудников. 

Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам. Сопротивление некоторых успешно преодолевалось по ходу проекта через демонстрацию преимуществ, но определенный процент сотрудников оказался необучаем и невосприимчив к новому.  

Но нас удивило легкомысленное отношение компании к своей ИТ-инфраструктуре: от отсутствия резервирования критичных систем до хаоса в структуре и управлении.  

За 1,5 года процессы управления инженерными системами были прокачаны до уровня, который позволил специалистам компании успешно отчитаться «за качество» перед аудиторами из головного офиса.  

При поддержке темпов развития эксплуатационной составляющей компания сможет самостоятельно пройти любую существую сертификацию ЦОДов от ведущих международных агентств.  

Выводы 

В целом перспективы консалтинга в сфере операционного управления дата-центрами, по нашему мнению, самые яркие.  

Процесс цифровизации экономики и госсектора идет полным ходом. Да, сейчас будет много корректировок запуска новых проектов и планов по развитию старых, но сути это не изменит – эксплуатацию нужно улучшать хотя бы для повышения КПД уже построенных площадок.  

Главная проблема здесь: многие руководители не понимают, по какому тонкому льду они идут, не уделяя этому моменту должного внимания. Человеческий фактор по-прежнему остается главным источником самых неприятных аварий и сбоев. И это нужно объяснять.  

Государственные проекты в сфере дата-центров также становятся более актуальны сейчас и требуют повышенного внимания с точки зрения эксплуатации: сфера государственных ИТ-систем растет. Здесь также потребуется разработка и ввод системы стандартизации и сертификации площадок.  

Когда требования к государственным ЦОДам в РФ на уровне законодательного акта будут сведены в стандарт, его можно будет применять и для коммерческих дата-центров, в том числе и для размещения государственных ИТ-ресурсов.  

Работы по этому направлению ведутся, мы участвуем в этом процессе в рамках консультаций с Минцифры и наращивая компетенции по преподаванию на курсах по эксплуатации дата-центров в АНО ЦОД. Опыта по таким задачам в России не много, и мы считаем, что должны им делиться с коллегами и клиентами. 

А мы пойдем на север! Получится ли сэкономить на охлаждении ЦОДов за счет погоды?

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Клиент:

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Спасибо за ваш запрос, мы свяжемся с вами в ближайшее время!