13.03.2020

Мониторинг в ЦОДе: как мы меняли старую BMS на новую. Часть 1

Система мониторинга работы инженерных систем в ЦОДе – ключевой элемент инфраструктуры, напрямую влияющий на такой важный показатель для дата-центра, как скорость реакции персонала на аварийные ситуации и, следовательно, на продолжительность бесперебойной работы

Что такое BMS

Система мониторинга работы инженерных систем в ЦОДе – ключевой элемент инфраструктуры, напрямую влияющий на такой важный показатель для дата-центра, как скорость реакции персонала на аварийные ситуации и, следовательно, на продолжительность бесперебойной работы.

Системы мониторинга BMS (Building Monitoring System) предлагают многие глобальные вендоры оборудования для ЦОДов. За время работы Linxdatacenter в России нам довелось познакомиться с разными системами и столкнуться с диаметрально противоположными подходами вендоров к эксплуатации этих систем.

Рассказываем, как мы полностью обновили нашу систему BMS за последний год и почему.

Корень проблемы

Все началось 10 лет назад с запуска ЦОДа Linxdatacenter в Петербурге. Система BMS, согласно стандартам отрасли тех лет, представляла из себя физический сервер с установленным ПО, доступ к которому осуществлялся через программу-клиента (так называемый «толстый» клиент).

Компаний, предлагающих такие решения, в то время на рынке было немного. Их продукты были стандартом, единственным ответом на существующий запрос. И надо отдать им должное: и тогда, и сегодня лидеры рынка в целом справляются со своей базовой задачей – поставкой функциональных решений для эксплуатации дата-центров.

Логичным выбором для нас стало решение BMS от одного из крупнейших мировых производителей. Выбранная система на тот момент отвечала всем требованиям к мониторингу комплексного инженерного объекта, каким является ЦОД.

Однако с течением времени требования и ожидания пользователей (то есть нас, операторов дата-центров) от ИТ-решений изменились. И крупные вендоры, как показал анализ рынка предлагаемых решений, оказались к этому не готовы.

Рынок корпоративных ИТ испытал на себе серьезное влияние B2C сферы. Цифровые решения сегодня должны обеспечивать удобство работы конечного пользователя – такую цель ставят перед собой разработчики. Это видно по совершенствованию пользовательских интерфейсов (UI) и качества пользовательского опыта (UX) многих корпоративных приложений.

Человек привыкает к комфорту во всем, что касается цифровых инструментов в повседневной жизни, и предъявляет те же требования к инструментам, которые использует для рабочих задач. Люди ожидают от корпоративных приложений такой же наглядности, интуитивности, простоты и прозрачности, какие доступны им в сервисах финансовых услуг, вызова такси или онлайн-шоппинга. ИТ-специалисты, внедряющие решения в корпоративной среде, тоже стремятся получать все современные «плюшки»: простое развертывание и масштабирование, отказоустойчивость и неограниченные возможности кастомизации.

Крупные международные вендоры часто упускают из внимания эти тренды. Опираясь на свой многолетний авторитет в отрасли, корпорации в работе с заказчиками зачастую оказываются категоричными и негибкими. Иллюзия собственной незаменимости не позволяет им увидеть, как буквально под носом появляются молодые технологичные компании, предлагающие альтернативные решения, заточенные под конкретного заказчика, причем без переплаты за бренд.

Недостатки старой системы BMS

Самый главный минус имеющегося устаревшего BMS-решения для нас заключался в его медленной работе. Расследование нескольких событий, связанных с недостаточно быстрой реакцией дежурного персонала, помогло нам понять, что иногда события отображались в системе BMS с большой задержкой. При этом система не была перегружена или неисправна, просто версии ее компонентов (например, JAVA) устарели и не могли корректно работать с новыми версиями операционных систем без обновлений. Обновить их можно было только вместе с системой BMS, при этом вендор не обеспечивал автоматическую преемственность версий, то есть для нас процесс был бы практически таким же трудоемким, как переход на новую систему, а новое решение сохраняло часть недостатков старого.

Добавим сюда еще несколько неприятных «мелочей»:

  • Плата за подключение новых устройств по принципу «один IP-адрес – одна платная лицензия»;
  • Невозможность обновить ПО без покупки пакета поддержки (имеется в виду обновление бесплатных компонентов и устранение ошибок в самой программе BMS);
  • Высокая стоимость поддержки;
  • Расположение на «железном» сервере, который может выйти из строя и обладает лимитированными вычислительными ресурсами;
  • «Резервирование» посредством установки второго железного сервера, с дублирующим пакетом лицензий. При этом синхронизация баз между основным и резервным серверами отсутствует – а это означает ручной перенос базы и долгое время перехода на резерв;
  • «Толстый» клиент пользователя, недоступный извне, без расширения под мобильное устройство и опции удаленного доступа;
  • Урезанный веб-интерфейс без графических карт и звуковых уведомлений, доступный извне, но практически не используемый сотрудниками из-за своей неинформативности;
  • Отсутствие анимации в интерфейсе – вся графика состоит только из картинки-«подложки» и статических иконок. Как итог – общий низкий уровень наглядности;

Выглядело все примерно вот так:

  • Ограничение в создании виртуальных датчиков – доступна только функция сложения, тогда как модели реальных датчиков требуют возможности выполнения комплекса математических операций для корректных расчетов, отражающих реалии работы;
  • Невозможность получить данные в реальном времени или из архива для каких-либо целей (например, для отображения в личном кабинете клиента);
  • Полное отсутствие гибкости и возможности что-то изменить в BMS под существующие процессы ЦОДа.

 

Требования к новой системе BMS

Учитывая вышеизложенное, наши основные требования получились следующими:

  • Две независимые взаиморезервирующие машины c автоматической синхронизацией, работающие на двух разных облачных платформах в разных ЦОДах (в нашем случае ЦОДы Linxdatacenter Санкт-Петербург и Москва);
  • Бесплатное добавление новых устройств;
  • Бесплатное обновление ПО и его компонентов (за исключением доработок функционала);
  • Открытый исходный код, позволяющий нам самостоятельно поддерживать систему в случае проблем на стороне разработчика;
  • Возможность получать и использовать данные из BMS, например на сайте или в личном кабинете;
  • Доступ через WEB браузер без «толстого» клиента;
  • Использование доменных учетных записей сотрудников для доступа в BMS;
  • Наличие анимации и еще много мелких и не очень пожеланий, которые материализовались в подробное ТЗ.

Последняя капля

В тот момент, когда мы поняли, что ЦОД перерос свою BMS, самым очевидным решением нам казалось обновление существующей системы. «Коней на переправе не меняют», так ведь?

Однако большие корпорации, как правило, не предлагают кастомное изменение своих десятилетиями «полируемых» решений, продаваемых в десятках стран. В то время, как молодые компании занимаются тестированием идеи или прототипа будущего продукта на потенциальных потребителях и опираются в развитии продукта на отзывы пользователей, корпорации продолжают продавать лицензии на когда-то действительно классный, но, увы, сегодня устаревший и не гибкий продукт.

И мы ощутили разницу в подходе на себе. В ходе переписки с производителем старой BMS довольно быстро стало понятно, что предлагаемое вендором обновление существующей системы фактически обернется для нас покупкой новой системы с полуавтоматическим переносом базы, высокой стоимостью и подводными камнями при переносе, которые не мог спрогнозировать даже сам производитель. Конечно, вырастала в этом случае стоимость техподдержки обновленного решения, и оставалась необходимость покупать лицензии при расширении.

А самое неприятное – новая система не могла полностью удовлетворить наши требования к резервированию. Обновленная система BMS могла быть реализована, как мы и хотели, на облачной платформе, что позволило бы нам отказаться от «железа», но опция резервирования в стоимость не входила. Для резервирования данных нам пришлось бы купить второй виртуальный сервер BMS и дополнительный комплект лицензий. При стоимости одной лицензии около $76 и количества IP-адресов в 1000 единиц набегает $76 000 дополнительных трат только на лицензии для резервной машины.

«Вишенкой» в новой версии BMS стала необходимость покупки дополнительных лицензий «для всех устройств» – даже для основного сервера. Тут надо пояснить, что есть устройства, подключенные к BMS через шлюзы. Шлюз имеет один IP-адрес, но контролирует несколько устройств (в среднем 10). В старой BMS для этого требовалась одна лицензия за IP-адрес шлюза, статистика выглядела примерно так: «IP-адресов/ лицензий 1000, устройств 1200». Обновленная BMS работала по другому принципу и статистика выглядела бы так «IP-адресов 1000, устройств/лицензий 1200». То есть вендор в новой версии поменял принцип присвоения лицензий, и мы должны были купить дополнительно еще примерно 200 лицензий.

Бюджет «обновления» в итоге складывался из четырех пунктов:

  • стоимость облачной версии и услуги по миграции на нее;
  • дополнительные лицензии к существующему пакету для устройств, подключенных через шлюзы;
  • стоимость резервной облачной версии;
  • комплект лицензий для резервной машины.

Общая стоимость проекта составила более $100 000! И это не говоря о необходимости покупки лицензий для новых устройств в будущем.

В итоге мы поняли, что для нас будет проще – а, может, и дешевле – заказать систему, созданную с нуля, учитывающие все наши требования и предусматривающую возможность модернизации в будущем. Но желающих разрабатывать такую сложную систему нужно было еще найти, сравнить предложения, выбрать и пройти с финалистом путь от ТЗ до реализации… Об этом – читайте во второй части материала совсем скоро.

Другие новости и публикации

Статья
09.08.2022
ИБ в условиях дефицита: стратегия большого перехода
Новость
01.08.2022
Linxdatacenter – в топ-10 крупнейших поставщиков услуг ЦОД
Новость
25.07.2022
Linxdatacenter запускает собственные PaaS-инструменты
Новость
20.07.2022
Петербургское облако Linxdatacenter прошло аттестацию по ...
Статья
30.06.2022
Как мы оптимизировали управление ЦОДами клиента
Новость
27.06.2022
Linxdatacenter: рынок российских облаков вырастет в 2022 ...
Новость
26.05.2022
Анна Мальми назначена региональным директором Linxdatacen...
Статья
20.05.2022
Облачный край: что происходит на российском рынке
Новость
13.05.2022
Новым генеральным директором Linxdatacenter назначен Андр...
Статья
03.05.2022
Блок на моноблок: модульная ИБП-революция в ЦОДах

Вас также могут заинтересовать

Linx Outsourcing
Аудит, модернизация и оптимизация ваших серверных мощностей
Подробнее
Аутсорсинг управления дата-центром
Linx Network
Обеспечьте отказоустойчивость и бесперебойную работу сети
Подробнее
Сетевые услуги
Linx DraaS
Аварийное восстановление ИТ-инфраструктуры. Защитите ИТ-системы уже сегодня!
Подробнее
Аварийное восстановление DRaaS

Напишите нам

Как мы оптимизировали управление ЦОДами клиента

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.
 

Тарас Чирков, руководитель ЦОД Linxdatacenter в Санкт-Петербурге 

Константин Нагорный, главный инженер ЦОД Linxdatacenter в Санкт-Петербурге 

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.  

В главной роли – управление 

Самое современное и дорогое ИТ-оборудование не принесет ожидаемой экономической пользы, если не будут выстроены правильные процессы эксплуатации инженерных систем ЦОДа, где оно располагается.  

Роль надежных и производительных дата-центров в современной экономике постоянно растет вместе с требованиями к их бесперебойной работе. Однако на этом направлении существует большая системная проблема.  

Высокий уровень «аптайма» – безаварийной работы дата-центра без простоев – очень сильно зависит от команды инженеров, которая занимается управлением площадки. А единой формализованной школы управления ЦОДами не существует.  

Нет какого-то сводного канона с правилами, применимыми для любого дата-центра. Есть стандарты международной отраслевой организации Uptime Institute, но они устанавливают рамки и вектор развития, к каждому конкретному дата-центру они будут применяться по-разному.  

В масштабах страны  

На практике в России ситуация с эксплуатацией ЦОДов выглядит так.  

Дата-центры из сегмента коммерческих как правило имеют сертификаты, подтверждающие компетенции в сфере управления. Далеко не все и не всегда, но сама специфика бизнес-модели, когда провайдер отвечает перед клиентом качеством сервиса, деньгами и репутацией на рынке, обязывает владеть предметом. 

Сегмент корпоративных ЦОДов, которые обслуживают собственные потребности компаний, по показателям качества эксплуатации заметно отстает от коммерческих дата-центров. К внутреннему заказчику относятся не так тщательно, как к внешнему клиенту, далеко не в каждой компании понимают потенциал хорошо настроенных управленческих процессов. 

Наконец, государственные ведомственные ЦОДы – в этом отношении они часто представляют собой неизвестную территорию в силу закрытости. Международный аудит таких объектов по понятным причинам невозможен. Российские госстандарты только разрабатываются.  

Все это выливается в ситуацию «кто во что горазд». «Разношерстный» состав команд эксплуатации из специалистов с разным бэкграундом, различные подходы к организации корпоративной архитектуры, взгляды и требования в отношении ИТ-департаментов.  

Факторов, приводящих к такому положению дел, много, один из главных – отсутствие систематизированной документации по выстраиванию эксплуатационных процессов. Есть пара вводных статей Uptime Institute, которые дают представление о проблеме и путях ее преодоления. Но дальше необходимо выстраивать систему своими силами. А на это ресурсов и компетенций хватит далеко не у каждого бизнеса.  

Между тем, даже небольшая систематизация процессов управления по лучшим отраслевым практикам всегда дает отличный результат в том, что касается повышения отказоустойчивости инженерных и ИТ-систем.  

Кейс: через тернии к относительному порядку 

Проиллюстрируем на примере реализованного проекта. К нам обратилась крупная международная компания с сетью собственных дата-центров. Запрос был на помощь в оптимизации процессов управления тремя площадками, где на серверах развернуты ИТ-системы и приложения, абсолютно критичные для бизнеса.  

Компания недавно прошла аудит головного офиса и получила список несоответствий корпоративным стандартам с предписанием их устранить. Для этого в качестве консультанта привлекли нас как носителя отраслевых компетенций: мы развиваем собственную систему управления ЦОДами и ведем просветительскую работу о роли качества эксплуатационных процессов уже несколько лет.  

Началось общение с командой клиента. Специалисты хотели получить выстроенную систему эксплуатации инженерных систем ЦОДов, зафиксированную в документации по процессам мониторинга, обслуживания и устранению неполадок. Все это должно было обеспечить оптимизацию инфраструктурной составляющей с точки зрения непрерывности работы ИТ-оборудования.  

И здесь началось самое интересное.  

Познай себя 

Чтобы оценить уровень работы ЦОДов с точки зрения соответствия стандартам, нужно знать точные требования бизнеса к ИТ-системам: каков уровень внутренних SLA, допустимый период простоя оборудования и т.д.  

Сразу же выяснилось – ИТ-департамент не знает, что именно хочет бизнес. Не было внутренних критериев качества сервиса, не было и понимания логики устройства собственной инфраструктуры.  

Коллеги просто не представляли, каково допустимое время простоя операций, завязанных на ИТ, каково оптимальное время восстановления систем в случае аварии, как устроена архитектура собственных приложений. Например, пришлось разбираться, будет ли критичным для работы приложения «падение» одного из ЦОДов, или в нем нет компонентов, влияющих на приложение.  

Не зная таких вещей, рассчитать какие-то конкретные требования к эксплуатации невозможно. Клиент осознал проблему и усилил координацию между ИТ и бизнесом, чтобы выработать внутренние требования и наладить взаимосвязи для выстраивания работы.  

Когда было достигнуто понимание архитектуры ИТ-систем, команда смогла суммировать требования к службе эксплуатации, подрядчикам и к уровню надежности оборудования.  

Улучшения в процессе 

Наши специалисты выезжали на площадки для оценки инфраструктуры, читали имеющуюся документацию, проверяли уровень соответствия проектов ЦОДов фактической реализации.  

Отдельным направлением стали опросы ответственных сотрудников и их руководителей. Они рассказывали, что и как они делают в различных рабочих ситуациях, как устроены ключевые процессы эксплуатации инженерных систем.  

После начала работ и знакомства со спецификой задачи клиент немного «сдал назад»: мы услышали просьбу «просто написать всю необходимую документацию», по-быстрому и без глубокого погружения в процессы.  

Однако правильная оптимизация управления «инженеркой» ЦОДа предполагает выполнение задачи научить людей правильно оценивать процессы и писать под них уникальную документацию исходя из специфики конкретного объекта.  

Придумать рабочий документ за конкретного начальника участка службы эксплуатации невозможно – если только не проработать в паре с ним на площадке безотрывно несколько месяцев. Поэтому такой подход был отклонен: мы находили лидеров на местах, которые были готовы учиться сами и вести за собой подчиненных.  

Объяснив алгоритм создания документов, требования к их содержанию и принципы организации экосистемы инструкций, шесть последующих месяцев мы контролировали процесс детального написания документации и поэтапный переход персонала к работе по-новому. 

Далее последовал этап первичной поддержки работ по обновленным регламентам, который в удаленном формате продолжался один год. Затем мы перешли к тренингам и учениям – единственный путь закрепления нового материала на практике.  

Что сделано 

В процессе работ нам удалось решить несколько серьезных вопросов.  

Прежде всего, мы избежали ведения двойной документации, которой опасались сотрудники клиента. Для этого соединили в новых регламентах нормативные требования, применяющиеся к различным инженерным системам стандартно (электрика, охлаждение, контроль доступа), с отраслевыми best practices, создав прозрачную структуру документации с простой и логичной навигацией.  

Принцип «просто найти, просто понять, легко запомнить» дополнился тем, что новая информация привязывается к старому опыту и знаниям сотрудников. 

Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам. Сопротивление некоторых успешно преодолевалось по ходу проекта через демонстрацию преимуществ, но определенный процент сотрудников оказался необучаем и невосприимчив к новому.  

Но нас удивило легкомысленное отношение компании к своей ИТ-инфраструктуре: от отсутствия резервирования критичных систем до хаоса в структуре и управлении.  

За 1,5 года процессы управления инженерными системами были прокачаны до уровня, который позволил специалистам компании успешно отчитаться «за качество» перед аудиторами из головного офиса.  

При поддержке темпов развития эксплуатационной составляющей компания сможет самостоятельно пройти любую существую сертификацию ЦОДов от ведущих международных агентств.  

Выводы 

В целом перспективы консалтинга в сфере операционного управления дата-центрами, по нашему мнению, самые яркие.  

Процесс цифровизации экономики и госсектора идет полным ходом. Да, сейчас будет много корректировок запуска новых проектов и планов по развитию старых, но сути это не изменит – эксплуатацию нужно улучшать хотя бы для повышения КПД уже построенных площадок.  

Главная проблема здесь: многие руководители не понимают, по какому тонкому льду они идут, не уделяя этому моменту должного внимания. Человеческий фактор по-прежнему остается главным источником самых неприятных аварий и сбоев. И это нужно объяснять.  

Государственные проекты в сфере дата-центров также становятся более актуальны сейчас и требуют повышенного внимания с точки зрения эксплуатации: сфера государственных ИТ-систем растет. Здесь также потребуется разработка и ввод системы стандартизации и сертификации площадок.  

Когда требования к государственным ЦОДам в РФ на уровне законодательного акта будут сведены в стандарт, его можно будет применять и для коммерческих дата-центров, в том числе и для размещения государственных ИТ-ресурсов.  

Работы по этому направлению ведутся, мы участвуем в этом процессе в рамках консультаций с Минцифры и наращивая компетенции по преподаванию на курсах по эксплуатации дата-центров в АНО ЦОД. Опыта по таким задачам в России не много, и мы считаем, что должны им делиться с коллегами и клиентами. 

Мониторинг в ЦОДе: как мы меняли старую BMS на новую. Часть 1

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Клиент:

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Спасибо за ваш запрос, мы свяжемся с вами в ближайшее время!