Евгений Макарьин
Руководитель группы управления проектами Linxdatacenter
17.06.2020

Linxdatacenter: ЦОД в телефоне

Евгений Макарьин рассказывает о процессе адаптации некоторых ИТ-инструментов управления ЦОДом, взаимодействием с клиентами и сотрудникам на примере работы компании в период перехода на удаленную работу и режим самоизоляции

Евгений Макарьин рассказывает о процессе адаптации некоторых ИТ-инструментов управления ЦОДом, взаимодействием с клиентами и сотрудникам на примере работы компании в период перехода на удаленную работу и режим самоизоляции.

Какие ИТ-инструменты мы внедрили в дата-центре из-за карантина

Дата-центры не останавливали свою работу даже в разгар самоизоляции. Чтобы люди могли заказывать продукты онлайн, бизнес – общаться и работать удаленно, а медики и ученые – анализировать данные для борьбы с заболеваниями, инженеры в ЦОДах постоянно дежурят и контролируют работу оборудования. Карантин повлиял и на нас, причем изменения коснулись не только бэк-офиса и процессов работы с клиентами, но и ИТ-инфраструктуры. Рассказываем, какие ИТ-инструменты пришлось оперативно адаптировать в период самоизоляции и почему они останутся с нами и после снятия ограничений.

One Drive: от физических дисков к облакам

Изменение принципов совместной работы с документами в дата-центре началось с проектного отдела. Вся работа офиса с файлами по клиентским проектам дата-центра традиционно велась в общей сетевой папке. При этом мы нередко сталкивались с тем, что из-за одновременной работы нескольких сотрудников с одним и тем же файлом возникал конфликт версий, и приходилось либо «вставать в очередь», либо сводить все версии в одну – возникала двойная работа. Кроме того, удаленный доступ к файлам из-за пределов офиса (необходимый сейчас) возможен только через VPN. Соответственно, если нет доступа в интернет или он нестабилен, то добраться до нужных документов проблематично.

Данные ограничения приводили к задержкам, путанице, подвисанию некоторых задач.

Проблему решили с помощью сервисов Microsoft 365, а именно хранилища OneDrive, которое позволяет работать с файлами локально на ноутбуке, синхронизируя их с общим разделом на SharePoint.

На SharePoint залили документы по проектам с сетевого диска. Сотрудникам дали инструкцию по настройке OneDrive for Business под рабочей учетной записью. Далее оставалось только нажать кнопку «Синхронизировать» на панели управления в SharePoint.

Готово! OneDrive создаст папку на локальном диске, куда будет складывать актуальные версии папок и файлов. Причём в настройках OneDrive можно выбрать: реально загружать сразу все документы на жёсткий диск или создать структуру папок и ярлыки файлов, а загружать их только по запросу от пользователя. Второй вариант подходит в том случае, если Интернет работает стабильно и доступа к документам из самолёта/поезда не предполагается.

В случае любого изменения файлов на сервере, при наличии доступа в интернет, все автоматически синхронизируется с локальной папкой OneDrive.

 

Преимущества

Опишем самые важные для нас преимущества:

  • Скорость кооперации: создавая новый файл прямо в Word/Excel/PowerPoint, можно выбрать, с кем им поделиться. В OneDrive удобно редактировать документ одновременно – не нужно вносить правки в своей версии, а потом сравнивать их с правками и комментариями коллег. Прямо внутри документа можно в комментариях отметить @коллегу, он или она получит об этом уведомление в почту и сразу сможет найти те моменты, в которых требуется помощь или участие.
  • Удобное редактирование через веб-интерфейс, если по какой-то причине приходится работать с рабочей станции без установленного пакета MS Office. При этом доступно редактирование через классическое приложение, если веб-версия непривычна.
  • Непрерывность бизнес-процессов и безопасность: регулярное автоматическое сохранение в облаке минимизирует вероятность потери внесенных изменений.
  • Трекинг изменений делает возможным откат к предыдущим версиям.
  • Наконец, мобильность – вся функциональность доступна в смартфоне с Push-уведомлениями о новых событиях.

Недостатки, ограничения и вызовы

Сложностей немного, но они есть.

  • Не вся функциональность доступна в веб-версии (макросы, например).
  • Если с вами делятся ссылкой без предоставления персонального доступа к файлу, открывать его в толстом клиенте надо не в один клик, а как минимум в два.
  • Функционал публичного доступа к файлу интуитивно понятен, но есть шанс, забыв поставить одну галочку, быть подвергнутым бомбардировке запросами на доступ от людей, которым эта ссылка была отправлена.

Конечно, инерция пока что сильна: несмотря на все преимущества организации работы в OneDrive, мы видим, что после начала работы дальнейшие изменения в документ часто вносятся путем сохранения его на локальном/сетевом диске с последующей пересылкой файла по электронной почте. По всей видимости, это делается потому, что редактирование файла через веб не всем привычно.

В целом мы получили инструмент, пользоваться которым удобно и легко не только во время карантина, но и при обычном режиме работы.

ЦОД в телефоне

Мы давно хотели реализовать еще одну «фишку» – на этот раз в системе мониторинга инженерных систем ЦОДа. А именно: скомпоновать на одной странице основные параметры ЦОД, чтобы одного взгляда на экран было достаточно для оценки состояния основных систем, а дежурный инженер мог это делать из любой точки.
Это удобно в принципе, а в условиях наступившей всеобщей «удаленки» и социального дистанцирования оказалось просто бесценно. Ведь хотя дата-центры и относятся к непрерывному производству, мы постарались максимально сократить присутствие сотрудников на площадках.

В итоге такое одностраничное мобильное приложение для мониторинга ЦОД мы придумали буквально «на ходу». Наша версия One page базируется на двух главных принципах:

  • Таблица, сверстанная под вертикальный формат экрана смартфона. Вся важная информация при этом умещается на один экран. Над таблицей приводится «сводка» активных инцидентов.
  • Расположение ячеек в таблице повторяет архитектуру ЦОДа – физическую или логическую). Последовательность отражает зрительные ассоциации персонала дата-центра – как будто они физически мониторят все помещения и системы. Это упрощает поиск информации.

Веб-интерфейс, доступный с любого устройства из любой точки мира, – это разительный контраст с «толстым» клиентом, полностью закрытым для пользователей извне.

Теперь у любой страницы в системе мониторинга дата-центра есть уникальный адрес, что позволяет делиться не только прямым адресом страницы или устройства, но и ссылками на уникальные графики/ отчеты. Доступ в систему происходит через LDAP-аутентификацию при помощи Active Directory, что усиливает уровень ее защищенности.

Качество контроля повышается и благодаря функциональности рабочих чатов. Они ускоряют рабочие процессы, позволяя «привязать» переписку дежурных инженеров к системе мониторинга. Мы, например, используем приложение Microsoft Teams, которое позволяет вести внутреннюю переписку и получать на телефон все сообщения из системы в виде всплывающих Push-уведомлений, что избавляет дежурного от необходимости постоянно смотреть в экран телефона.

PRTG-мониторинг

Еще одна система удаленного контроля в ЦОДах Linxdatacenter – PRTG (Paessler Router Traffic Grapher), используемая для мониторинга сети и рабочих нагрузок на ИТ-системы.

Это продвинутый трекер для сбора информации о потоках данных, проходящих через конкретные устройства. Поддерживает SNMP, Netflow и множество других протоколов, а самое главное – предоставляет возможности доступа к статистике в базе данных в виде наглядных графиков и таблиц.

Сетевым специалистам компании доступны данные о переданных пакетах и времени пинга с просмотром результатов в режиме реального времени или за определенный промежуток времени в прошлом на разных устройствах. Следить за результатами мониторинга можно также через веб-интерфейс программы.

Программа позволяет осуществлять мониторинг работы виртуальных машин (ВМ) и физического оборудования ЦОДа. PRTG поддерживает работу с большим количеством сенсоров в стойках с серверами: к примеру, если «вылетает» диск, специалисты немедленно об этом узнают.

Динамика загрузки ВМ и их кластеров размечена цветом: принцип «светофора» в действии. Зеленый маркер – все работает в штатном режиме, желтый – высокие значения загрузки мощностей, красный – или очень высокие значения по загрузке, или ресурс недоступен.

Поддерживается сбор данных о нагрузке как на сеть, так и на подсистемы памяти и процессор.

Недавно решение получило апгрейд до версии Enterprise с поддержкой многосерверных панелей управления в режиме реального времени, мониторингом бизнес-сервисов и автоматизированным управлением уведомлениями.

Дополнительная ценность, которую обеспечивает решение, – это мониторинг SLA. В систему можно завести целевые показатели уровня предоставляемых сервисов для каждого определенного сервиса, и на основе этих вводных решение рассчитывает и отображает производительность и доступность всех ИТ- и сетевых ресурсов, соотнося их с заданным SLA.

Оповещения о приближении к критически низким показателям производительности дают нам время для реагирования и исправления, что позволяет не допускать нарушений SLA.

Выводы

В кризис нагрузки на все системы ЦОДа растут: клиенты потребляют больше сетевых и ИТ-ресурсов по многим причинам (переход на удаленку, рост потребления контента, замещение командировок ВКС-совещаниями и т.д.).

В этот период значимость качественного управления ресурсами дата-центра вырастает, и мы уже неоднократно убедились в ценности внедрения всех описанных ИТ-инструментов. Наш вывод: постоянные небольшие улучшения полезны и в мирное время, а уж в кризисный период их польза неоценима.

Другие новости и публикации

Вас также могут заинтересовать

Linx Outsourcing
Аудит, модернизация и оптимизация ваших серверных мощностей
Подробнее
Аутсорсинг управления дата-центром
Linx Network
Обеспечьте отказоустойчивость и бесперебойную работу сети
Подробнее
Сетевые услуги
Linx DraaS
Аварийное восстановление ИТ-инфраструктуры. Защитите ИТ-системы уже сегодня!
Подробнее
Аварийное восстановление DRaaS

Напишите нам

Как мы оптимизировали управление ЦОДами клиента

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.
 

Тарас Чирков, руководитель ЦОД Linxdatacenter в Санкт-Петербурге 

Константин Нагорный, главный инженер ЦОД Linxdatacenter в Санкт-Петербурге 

Дата-центр – комплексный ИТ- и инженерный объект, требующий профессионализма на всех уровнях управления: от руководителей до технических специалистов и исполнителей эксплуатационных работ. Рассказываем, как мы помогли клиенту навести порядок в операционном управлении в корпоративных ЦОДах.  

В главной роли – управление 

Самое современное и дорогое ИТ-оборудование не принесет ожидаемой экономической пользы, если не будут выстроены правильные процессы эксплуатации инженерных систем ЦОДа, где оно располагается.  

Роль надежных и производительных дата-центров в современной экономике постоянно растет вместе с требованиями к их бесперебойной работе. Однако на этом направлении существует большая системная проблема.  

Высокий уровень «аптайма» – безаварийной работы дата-центра без простоев – очень сильно зависит от команды инженеров, которая занимается управлением площадки. А единой формализованной школы управления ЦОДами не существует.  

Нет какого-то сводного канона с правилами, применимыми для любого дата-центра. Есть стандарты международной отраслевой организации Uptime Institute, но они устанавливают рамки и вектор развития, к каждому конкретному дата-центру они будут применяться по-разному.  

В масштабах страны  

На практике в России ситуация с эксплуатацией ЦОДов выглядит так.  

Дата-центры из сегмента коммерческих как правило имеют сертификаты, подтверждающие компетенции в сфере управления. Далеко не все и не всегда, но сама специфика бизнес-модели, когда провайдер отвечает перед клиентом качеством сервиса, деньгами и репутацией на рынке, обязывает владеть предметом. 

Сегмент корпоративных ЦОДов, которые обслуживают собственные потребности компаний, по показателям качества эксплуатации заметно отстает от коммерческих дата-центров. К внутреннему заказчику относятся не так тщательно, как к внешнему клиенту, далеко не в каждой компании понимают потенциал хорошо настроенных управленческих процессов. 

Наконец, государственные ведомственные ЦОДы – в этом отношении они часто представляют собой неизвестную территорию в силу закрытости. Международный аудит таких объектов по понятным причинам невозможен. Российские госстандарты только разрабатываются.  

Все это выливается в ситуацию «кто во что горазд». «Разношерстный» состав команд эксплуатации из специалистов с разным бэкграундом, различные подходы к организации корпоративной архитектуры, взгляды и требования в отношении ИТ-департаментов.  

Факторов, приводящих к такому положению дел, много, один из главных – отсутствие систематизированной документации по выстраиванию эксплуатационных процессов. Есть пара вводных статей Uptime Institute, которые дают представление о проблеме и путях ее преодоления. Но дальше необходимо выстраивать систему своими силами. А на это ресурсов и компетенций хватит далеко не у каждого бизнеса.  

Между тем, даже небольшая систематизация процессов управления по лучшим отраслевым практикам всегда дает отличный результат в том, что касается повышения отказоустойчивости инженерных и ИТ-систем.  

Кейс: через тернии к относительному порядку 

Проиллюстрируем на примере реализованного проекта. К нам обратилась крупная международная компания с сетью собственных дата-центров. Запрос был на помощь в оптимизации процессов управления тремя площадками, где на серверах развернуты ИТ-системы и приложения, абсолютно критичные для бизнеса.  

Компания недавно прошла аудит головного офиса и получила список несоответствий корпоративным стандартам с предписанием их устранить. Для этого в качестве консультанта привлекли нас как носителя отраслевых компетенций: мы развиваем собственную систему управления ЦОДами и ведем просветительскую работу о роли качества эксплуатационных процессов уже несколько лет.  

Началось общение с командой клиента. Специалисты хотели получить выстроенную систему эксплуатации инженерных систем ЦОДов, зафиксированную в документации по процессам мониторинга, обслуживания и устранению неполадок. Все это должно было обеспечить оптимизацию инфраструктурной составляющей с точки зрения непрерывности работы ИТ-оборудования.  

И здесь началось самое интересное.  

Познай себя 

Чтобы оценить уровень работы ЦОДов с точки зрения соответствия стандартам, нужно знать точные требования бизнеса к ИТ-системам: каков уровень внутренних SLA, допустимый период простоя оборудования и т.д.  

Сразу же выяснилось – ИТ-департамент не знает, что именно хочет бизнес. Не было внутренних критериев качества сервиса, не было и понимания логики устройства собственной инфраструктуры.  

Коллеги просто не представляли, каково допустимое время простоя операций, завязанных на ИТ, каково оптимальное время восстановления систем в случае аварии, как устроена архитектура собственных приложений. Например, пришлось разбираться, будет ли критичным для работы приложения «падение» одного из ЦОДов, или в нем нет компонентов, влияющих на приложение.  

Не зная таких вещей, рассчитать какие-то конкретные требования к эксплуатации невозможно. Клиент осознал проблему и усилил координацию между ИТ и бизнесом, чтобы выработать внутренние требования и наладить взаимосвязи для выстраивания работы.  

Когда было достигнуто понимание архитектуры ИТ-систем, команда смогла суммировать требования к службе эксплуатации, подрядчикам и к уровню надежности оборудования.  

Улучшения в процессе 

Наши специалисты выезжали на площадки для оценки инфраструктуры, читали имеющуюся документацию, проверяли уровень соответствия проектов ЦОДов фактической реализации.  

Отдельным направлением стали опросы ответственных сотрудников и их руководителей. Они рассказывали, что и как они делают в различных рабочих ситуациях, как устроены ключевые процессы эксплуатации инженерных систем.  

После начала работ и знакомства со спецификой задачи клиент немного «сдал назад»: мы услышали просьбу «просто написать всю необходимую документацию», по-быстрому и без глубокого погружения в процессы.  

Однако правильная оптимизация управления «инженеркой» ЦОДа предполагает выполнение задачи научить людей правильно оценивать процессы и писать под них уникальную документацию исходя из специфики конкретного объекта.  

Придумать рабочий документ за конкретного начальника участка службы эксплуатации невозможно – если только не проработать в паре с ним на площадке безотрывно несколько месяцев. Поэтому такой подход был отклонен: мы находили лидеров на местах, которые были готовы учиться сами и вести за собой подчиненных.  

Объяснив алгоритм создания документов, требования к их содержанию и принципы организации экосистемы инструкций, шесть последующих месяцев мы контролировали процесс детального написания документации и поэтапный переход персонала к работе по-новому. 

Далее последовал этап первичной поддержки работ по обновленным регламентам, который в удаленном формате продолжался один год. Затем мы перешли к тренингам и учениям – единственный путь закрепления нового материала на практике.  

Что сделано 

В процессе работ нам удалось решить несколько серьезных вопросов.  

Прежде всего, мы избежали ведения двойной документации, которой опасались сотрудники клиента. Для этого соединили в новых регламентах нормативные требования, применяющиеся к различным инженерным системам стандартно (электрика, охлаждение, контроль доступа), с отраслевыми best practices, создав прозрачную структуру документации с простой и логичной навигацией.  

Принцип «просто найти, просто понять, легко запомнить» дополнился тем, что новая информация привязывается к старому опыту и знаниям сотрудников. 

Далее мы перетряхнули штат инженеров службы эксплуатации: несколько человек оказались полностью неготовыми к переменам. Сопротивление некоторых успешно преодолевалось по ходу проекта через демонстрацию преимуществ, но определенный процент сотрудников оказался необучаем и невосприимчив к новому.  

Но нас удивило легкомысленное отношение компании к своей ИТ-инфраструктуре: от отсутствия резервирования критичных систем до хаоса в структуре и управлении.  

За 1,5 года процессы управления инженерными системами были прокачаны до уровня, который позволил специалистам компании успешно отчитаться «за качество» перед аудиторами из головного офиса.  

При поддержке темпов развития эксплуатационной составляющей компания сможет самостоятельно пройти любую существую сертификацию ЦОДов от ведущих международных агентств.  

Выводы 

В целом перспективы консалтинга в сфере операционного управления дата-центрами, по нашему мнению, самые яркие.  

Процесс цифровизации экономики и госсектора идет полным ходом. Да, сейчас будет много корректировок запуска новых проектов и планов по развитию старых, но сути это не изменит – эксплуатацию нужно улучшать хотя бы для повышения КПД уже построенных площадок.  

Главная проблема здесь: многие руководители не понимают, по какому тонкому льду они идут, не уделяя этому моменту должного внимания. Человеческий фактор по-прежнему остается главным источником самых неприятных аварий и сбоев. И это нужно объяснять.  

Государственные проекты в сфере дата-центров также становятся более актуальны сейчас и требуют повышенного внимания с точки зрения эксплуатации: сфера государственных ИТ-систем растет. Здесь также потребуется разработка и ввод системы стандартизации и сертификации площадок.  

Когда требования к государственным ЦОДам в РФ на уровне законодательного акта будут сведены в стандарт, его можно будет применять и для коммерческих дата-центров, в том числе и для размещения государственных ИТ-ресурсов.  

Работы по этому направлению ведутся, мы участвуем в этом процессе в рамках консультаций с Минцифры и наращивая компетенции по преподаванию на курсах по эксплуатации дата-центров в АНО ЦОД. Опыта по таким задачам в России не много, и мы считаем, что должны им делиться с коллегами и клиентами. 

Linxdatacenter: ЦОД в телефоне

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Клиент:

БЭСТ, оператор системы денежных переводов и платежей.

Бизнес-вызов

Компания столкнулась с проблемой постоянного флага BGP-сессии с оборудованием Linxdatacenter. После изучения проблемы стало ясно, что на один из хостов в его сети происходила DDoS-атака.

Из-за распределенного характера атаки отфильтровать трафик было невозможно. Инженеры предложили решение, связанное с сокрытием хоста от внешней сети, но этот вариант не подходил заказчику. Атака прекратилась после внесения изменений в конфигурацию сервера, однако возобновилась на следующий день. Ее мощность достигла 5,5 Гбит/с, из-за чего перегружались «стыки» с интернет-провайдерами, что сказывалось на других пользователях облака Linxdatacenter. Чтобы обеспечить стабильную работу, было решено обратиться к надежному поставщику защиты от DDoS.

Решение

Чтобы обеспечить непрерывную доступность ресурсов, размещенных в облаке Linxdatacenter, весь трафик клиента был направлен через систему antiDDoS от StormWall. Атаку удалось погасить в течение получаса. Для предотвращения дальнейших кибератак все соединения сервисов клиента с интернетом были организованы через сеть StormWall.

Спасибо за ваш запрос, мы свяжемся с вами в ближайшее время!