Тарас Чирков
Руководитель ЦОД Linxdatacenter в Санкт-Петербурге
11.02.2020

Чемодан без ручки: есть ли будущее у ЦОДов на севере России

О том, как устроен рынок центров обработки данных (ЦОД) в России и мире, и о плюсах и минусах инициативы Госдумы по созданию «северных ЦОДов»

Тарас Чирков

Руководитель ЦОД Linxdatacenter в Санкт-Петербурге

На начало 2018 года общее число стоек в российских дата-центрах, по оценкам iKS-Consulting, составило 38,7 тыс. единиц. На конец 2019 года прогнозировался рост в 9,4% — до 42 тыс. единиц. При этом рост емкости замедляется третий год подряд: в 2018 году количество стоек в стране выросло в годовом сопоставлении на 10,8% (в 2017 году — на 13%).

Доля российского сегмента на мировом рынке дата-центров составляет на сегодня около 1% от его совокупного объема. При этом доля услуг публичного облачного провайдинга — 0,6%.

В целом же сегодня отрасль в России возвращается по темпам наращивания емкости на докризисный уровень. Это объясняется исчерпанностью ресурсов площадок, построенных 8–10 лет назад лидерами рынка в начале его становления.

Базовые отличия и специфика развития отрасли дата-центров в России заключается в заметной роли государства в качестве оператора ЦОДов. Отрасль, некогда развивавшуюся исключительно на базе частных инициатив и капитала, сегодня возглавляет госкомпания «Ростелеком». На Западе государство на аналогичные позиции на рынке не претендует.

Второй основной момент, отличающий мировую отрасль от российской, — важнейшая роль различных «зеленых» решений в работе инженерных систем дата-центров. В России подобное отношение к eco-friendly-решениям в ЦОДах пока что совершенно не заметно.

По прогнозам международных исследовательских компаний, в 2023 году общий объем мирового рынка услуг центров хранения и обработки данных (colocation) вырастет до $73,8 млрд, рынок публичных облачных сервисов — до $376,1 млрд.

Таким образом, глобальный рынок ЦОДов по сравнению с внутренним российским имеет огромные объемы. Поэтому целесообразно рассмотреть международные перспективы использования ресурсов отечественных площадок. В этом направлении также существует целевой сценарий — увеличение доли России в мировом объеме рынка дата-центров до 5% до 2024 года.

2020 год для отрасли ЦОДов в РФ начался с громкого инфоповода: в Госдуме выступили с инициативой строительства сети международных дата-центров в северных широтах России для экономии средств на охлаждении аппаратной составляющей объектов.

Инициатива Госдумы: за и против

Рассуждая об этой инициативе, прежде всего необходимо отметить объективно существующий мировой тренд в области создания энергоэффективных ЦОДов с использованием климатических и природных условий их размещения в окружающей среде.

В странах Северной Европы действительно можно найти проекты, где задачи охлаждения эффективно решаются за счет морской воды, избыточное тепло используется для нужд городской экономики, рационально используются невысокие показатели температуры воздуха и т.д.

Инициатива с освоением возможностей севера РФ вполне понятна: это неплохо развитый с точки зрения инфраструктуры регион. Действительно, с учетом цен на электричество в России относительно мирового уровня есть предпосылки для строительства дата-центров, которые смогут обслуживать потребности не только национальной, но и глобальной экономики.

У такого проекта есть проблемы и вызовы: в частности, сложность обновления электро- и телекоммуникационных сетей на севере, роль ценовой стабильности на электричество в стране в целом, правовой режим: если дата-центру не гарантировать правовое спокойствие, то маловероятно, что иностранные игроки придут в Россию для размещения дорогостоящего оборудования.

Но все это, при наличии политической воли, задачи решаемые. Изъяны проекта лежат, на мой взгляд, в иной плоскости.

Необходимо, но недостаточно

Сразу хочется отметить, что предложение в своей формулировке носит довольно абстрактный характер.

ЦОДы всегда строят под конкретные задачи, формируя технические спецификации в зависимости от потребностей пользователей и доступных ресурсов. В этом свете наличие в России территорий с потенциально привлекательной среднегодовой температурой для экономии на кондиционировании, прямо скажем, совершенно недостаточно для реализации такого глобального проекта.

Также следует добавить, что все современные системы охлаждения с применением free-cooling-решений используются в дата-центрах, расположенных в зонах с умеренным климатом и средними годовыми температурами в 10–15 градусов, практически повсеместно, не требуя размещения в суровых северных условиях. К тому же в условиях Крайнего Севера на начальном этапе проекта ЦОДа, до того как он наполнится и запустится на полную проектную мощь, возникнет обратная потребность — в нагреве помещений.

Строить дата-центры, имея в качестве главного конкурентного преимущества только благоприятные условия для хороших показателей энергоэффективности, кажется недостаточно выверенным коммерческим решением.

Бессвязность проекта

Современный коммерческий (да и корпоративный) ЦОД обретает свою прибавочную стоимость только при условии сетевой связности его ресурсов с внешним миром: глобальными облаками, точками обмена трафиком, телеком-операторами, присутствующими в данном ЦОДе, ИТ-ресурсами партнеров и подрядчиков и т.д.

Если мы говорим о глобальном суперпроекте с явным международным акцентом, то таким ЦОДам необходимо обеспечить соответствующий уровень сетевой связности с российскими и международными операторами связи. Это первое. Второе — таким дата-центрам жизненно необходимо находиться в пределах досягаемости энергосетей с необходимым резервом свободных мощностей.

Без этих условий любая экономия на охлаждении сводится к нулю: затраты на создание адекватной такому проекту инженерной и сетевой инфраструктуры нивелируют потенциальные выгоды от холодного климата.

Хороший ЦОД в хорошем районе

Также в ЦОДах важно географическое расположение, доступность его для технического персонала клиентов данных дата-центров и логистических центров для доставки оборудования.

Например, вокруг Амстердама в районе международного аэропорта Скипхолл расположены десятки крупнейших ЦОДов Европы, которые в совокупности объемов в десятки раз превышают весь совокупный объем российского рынка ЦОДов.

Кроме близости международного хаба связи, это место делает привлекательным для потребителей и транспортная доступность — когда инженер даже из другой страны может добраться до места за несколько часов.

Международный трафик в необходимых масштабах через Россию не ходит, а дата-центр без сетевой связности посредством как минимум нескольких провайдеров не имеет большого смысла. Географическая удаленность таких объектов также станет препятствием — время доступа к данным как показатель общего качества работы дата-центра никто не отменял, расположение на периферии также ухудшит показатели отказоустойчивости.

Нереально и не нужно?

Повторюсь, идея энергетически оптимизированных дата-центров витает в воздухе: такие проекты реализуются, например, в Финляндии, сопоставимой по климатическим условиям с Северо-Западным регионом России.

Однако нужно учитывать специфику пользователей ЦОДов там — как правило, это корпоративные ЦОДы международных ИТ-провайдеров, например компании Google, которая является единоличным пользователем своего же собственного дата-центра. В таком случае достаточно иметь один канал связи и выход к международным магистральным провайдерам, чтобы обеспечить экономическую целесообразность проекта.

Более того, проект сети ЦОДов на Русском Севере уже существует: осенью 2019 года Петрозаводский госуниверситет (ПетрГУ) совместно с компанией GS Nanotech объявили о намерении построить распределенную сеть дата-центров за 10 млрд руб.

Проектная емкость — 20 тыс. стойко-мест в северных районах Карелии, а также создание производства хранилищ данных и центрального телеком-узла. Имеет смысл посмотреть на то, что получится сделать в этом относительно близком «к цивилизации» регионе, какие препятствия возникнут, как их будут преодолевать (или обходить).

А самое главное, будет интересно понаблюдать за тем, какого рода практическое применение эти ресурсы будут обеспечивать: пока что конечная цель проекта никак не обозначается — кто, собственно, встанет в эти дата-центры?

А пока имеет смысл сосредоточиться на развитии возможностей ЦОДов, построенных в привычных и доступных локациях.

Очевидный тренд здесь — максимизация эффективности существующих площадок: через повышение производительности вычислительных ресурсов на стойку, наращивание пропускной способности каналов, а самое главное — обеспечение связанности ресурсов ЦОДов с глобальными экосистемами ИТ-платформ, маркетплейсов и сервисов, а также привлекательные энергетические тарифы.

Пока что изолированный, замкнутый на себе, труднодоступный высокоэнергоэффективный ЦОД на Крайнем Севере — это типичный чемодан без ручки стоимостью в десятки миллионов долларов.

Другие новости и публикации

Статья
09.08.2022
ИБ в условиях дефицита: стратегия большого перехода
Новость
01.08.2022
Linxdatacenter – в топ-10 крупнейших поставщиков услуг ЦОД
Новость
25.07.2022
Linxdatacenter запускает собственные PaaS-инструменты
Новость
20.07.2022
Петербургское облако Linxdatacenter прошло аттестацию по ...
Статья
30.06.2022
Как мы оптимизировали управление ЦОДами клиента
Новость
27.06.2022
Linxdatacenter: рынок российских облаков вырастет в 2022 ...
Новость
26.05.2022
Анна Мальми назначена региональным директором Linxdatacen...
Статья
20.05.2022
Облачный край: что происходит на российском рынке
Новость
13.05.2022
Новым генеральным директором Linxdatacenter назначен Андр...
Статья
03.05.2022
Блок на моноблок: модульная ИБП-революция в ЦОДах

Вас также могут заинтересовать

Linx Outsourcing
Аудит, модернизация и оптимизация ваших серверных мощностей
Подробнее
Аутсорсинг управления дата-центром
Linx Network
Обеспечьте отказоустойчивость и бесперебойную работу сети
Подробнее
Сетевые услуги
Linx DraaS
Аварийное восстановление ИТ-инфраструктуры. Защитите ИТ-системы уже сегодня!
Подробнее
Аварийное восстановление DRaaS

Напишите нам

Как мы оптимизировали управление ЦОДами клиента

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.
 

Тарас Чирков, руководитель ЦОД Linxdatacenter в Санкт-Петербурге 

Константин Нагорный, главный инженер ЦОД Linxdatacenter в Санкт-Петербурге 

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.  

В главной роли – управление 

Самое современное и дорогое ИТ-оборудование не принесет ожидаемой экономической пользы, если не будут выстроены правильные процессы эксплуатации инженерных систем ЦОДа, где оно располагается.  

Роль надежных и производительных дата-центров в современной экономике постоянно растет вместе с требованиями к их бесперебойной работе. Однако на этом направлении существует большая системная проблема.  

Высокий уровень «аптайма» – безаварийной работы дата-центра без простоев – очень сильно зависит от команды инженеров, которая занимается управлением площадки. А единой формализованной школы управления ЦОДами не существует.  

Нет какого-то сводного канона с правилами, применимыми для любого дата-центра. Есть стандарты международной отраслевой организации Uptime Institute, но они устанавливают рамки и вектор развития, к каждому конкретному дата-центру они будут применяться по-разному.  

В масштабах страны  

На практике в России ситуация с эксплуатацией ЦОДов выглядит так.  

Дата-центры из сегмента коммерческих как правило имеют сертификаты, подтверждающие компетенции в сфере управления. Далеко не все и не всегда, но сама специфика бизнес-модели, когда провайдер отвечает перед клиентом качеством сервиса, деньгами и репутацией на рынке, обязывает владеть предметом. 

Сегмент корпоративных ЦОДов, которые обслуживают собственные потребности компаний, по показателям качества эксплуатации заметно отстает от коммерческих дата-центров. К внутреннему заказчику относятся не так тщательно, как к внешнему клиенту, далеко не в каждой компании понимают потенциал хорошо настроенных управленческих процессов. 

Наконец, государственные ведомственные ЦОДы – в этом отношении они часто представляют собой неизвестную территорию в силу закрытости. Международный аудит таких объектов по понятным причинам невозможен. Российские госстандарты только разрабатываются.  

Все это выливается в ситуацию «кто во что горазд». «Разношерстный» состав команд эксплуатации из специалистов с разным бэкграундом, различные подходы к организации корпоративной архитектуры, взгляды и требования в отношении ИТ-департаментов.  

Факторов, приводящих к такому положению дел, много, один из главных – отсутствие систематизированной документации по выстраиванию эксплуатационных процессов. Есть пара вводных статей Uptime Institute, которые дают представление о проблеме и путях ее преодоления. Но дальше необходимо выстраивать систему своими силами. А на это ресурсов и компетенций хватит далеко не у каждого бизнеса.  

Между тем, даже небольшая систематизация процессов управления по лучшим отраслевым практикам всегда дает отличный результат в том, что касается повышения отказоустойчивости инженерных и ИТ-систем.  

Кейс: через тернии к относительному порядку 

Проиллюстрируем на примере реализованного проекта. К нам обратилась крупная международная компания с сетью собственных дата-центров. Запрос был на помощь в оптимизации процессов управления тремя площадками, где на серверах развернуты ИТ-системы и приложения, абсолютно критичные для бизнеса.  

Компания недавно прошла аудит головного офиса и получила список несоответствий корпоративным стандартам с предписанием их устранить. Для этого в качестве консультанта привлекли нас как носителя отраслевых компетенций: мы развиваем собственную систему управления ЦОДами и ведем просветительскую работу о роли качества эксплуатационных процессов уже несколько лет.  

Началось общение с командой клиента. Специалисты хотели получить выстроенную систему эксплуатации инженерных систем ЦОДов, зафиксированную в документации по процессам мониторинга, обслуживания и устранению неполадок. Все это должно было обеспечить оптимизацию инфраструктурной составляющей с точки зрения непрерывности работы ИТ-оборудования.  

И здесь началось самое интересное.  

Познай себя 

Чтобы оценить уровень работы ЦОДов с точки зрения соответствия стандартам, нужно знать точные требования бизнеса к ИТ-системам: каков уровень внутренних SLA, допустимый период простоя оборудования и т.д.  

Сразу же выяснилось – ИТ-департамент не знает, что именно хочет бизнес. Не было внутренних критериев качества сервиса, не было и понимания логики устройства собственной инфраструктуры.  

Коллеги просто не представляли, каково допустимое время простоя операций, завязанных на ИТ, каково оптимальное время восстановления систем в случае аварии, как устроена архитектура собственных приложений. Например, пришлось разбираться, будет ли критичным для работы приложения «падение» одного из ЦОДов, или в нем нет компонентов, влияющих на приложение.  

Не зная таких вещей, рассчитать какие-то конкретные требования к эксплуатации невозможно. Клиент осознал проблему и усилил координацию между ИТ и бизнесом, чтобы выработать внутренние требования и наладить взаимосвязи для выстраивания работы.  

Когда было достигнуто понимание архитектуры ИТ-систем, команда смогла суммировать требования к службе эксплуатации, подрядчикам и к уровню надежности оборудования.  

Улучшения в процессе 

Наши специалисты выезжали на площадки для оценки инфраструктуры, читали имеющуюся документацию, проверяли уровень соответствия проектов ЦОДов фактической реализации.  

Отдельным направлением стали опросы ответственных сотрудников и их руководителей. Они рассказывали, что и как они делают в различных рабочих ситуациях, как устроены ключевые процессы эксплуатации инженерных систем.  

После начала работ и знакомства со спецификой задачи клиент немного «сдал назад»: мы услышали просьбу «просто написать всю необходимую документацию», по-быстрому и без глубокого погружения в процессы.  

Однако правильная оптимизация управления «инженеркой» ЦОДа предполагает выполнение задачи научить людей правильно оценивать процессы и писать под них уникальную документацию исходя из специфики конкретного объекта.  

Придумать рабочий документ за конкретного начальника участка службы эксплуатации невозможно – если только не проработать в паре с ним на площадке безотрывно несколько месяцев. Поэтому такой подход был отклонен: мы находили лидеров на местах, которые были готовы учиться сами и вести за собой подчиненных.  

Объяснив алгоритм создания документов, требования к их содержанию и принципы организации экосистемы инструкций, шесть последующих месяцев мы контролировали процесс детального написания документации и поэтапный переход персонала к работе по-новому. 

Далее последовал этап первичной поддержки работ по обновленным регламентам, который в удаленном формате продолжался один год. Затем мы перешли к тренингам и учениям – единственный путь закрепления нового материала на практике.  

Что сделано 

В процессе работ нам удалось решить несколько серьезных вопросов.  

Прежде всего, мы избежали ведения двойной документации, которой опасались сотрудники клиента. Для этого соединили в новых регламентах нормативные требования, применяющиеся к различным инженерным системам стандартно (электрика, охлаждение, контроль доступа), с отраслевыми best practices, создав прозрачную структуру документации с простой и логичной навигацией.  

Принцип «просто найти, просто понять, легко запомнить» дополнился тем, что новая информация привязывается к старому опыту и знаниям сотрудников. 

Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам. Сопротивление некоторых успешно преодолевалось по ходу проекта через демонстрацию преимуществ, но определенный процент сотрудников оказался необучаем и невосприимчив к новому.  

Но нас удивило легкомысленное отношение компании к своей ИТ-инфраструктуре: от отсутствия резервирования критичных систем до хаоса в структуре и управлении.  

За 1,5 года процессы управления инженерными системами были прокачаны до уровня, который позволил специалистам компании успешно отчитаться «за качество» перед аудиторами из головного офиса.  

При поддержке темпов развития эксплуатационной составляющей компания сможет самостоятельно пройти любую существую сертификацию ЦОДов от ведущих международных агентств.  

Выводы 

В целом перспективы консалтинга в сфере операционного управления дата-центрами, по нашему мнению, самые яркие.  

Процесс цифровизации экономики и госсектора идет полным ходом. Да, сейчас будет много корректировок запуска новых проектов и планов по развитию старых, но сути это не изменит – эксплуатацию нужно улучшать хотя бы для повышения КПД уже построенных площадок.  

Главная проблема здесь: многие руководители не понимают, по какому тонкому льду они идут, не уделяя этому моменту должного внимания. Человеческий фактор по-прежнему остается главным источником самых неприятных аварий и сбоев. И это нужно объяснять.  

Государственные проекты в сфере дата-центров также становятся более актуальны сейчас и требуют повышенного внимания с точки зрения эксплуатации: сфера государственных ИТ-систем растет. Здесь также потребуется разработка и ввод системы стандартизации и сертификации площадок.  

Когда требования к государственным ЦОДам в РФ на уровне законодательного акта будут сведены в стандарт, его можно будет применять и для коммерческих дата-центров, в том числе и для размещения государственных ИТ-ресурсов.  

Работы по этому направлению ведутся, мы участвуем в этом процессе в рамках консультаций с Минцифры и наращивая компетенции по преподаванию на курсах по эксплуатации дата-центров в АНО ЦОД. Опыта по таким задачам в России не много, и мы считаем, что должны им делиться с коллегами и клиентами. 

Чемодан без ручки: есть ли будущее у ЦОДов на севере России

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Клиент:

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Спасибо за ваш запрос, мы свяжемся с вами в ближайшее время!