Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу “Удомля”
Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу “Удомля”
Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу “Удомля”
Назад к списку новостей
Между Москвой и Санкт-Петербургом: экскурсия по мегаЦОДу “Удомля”
Материал блога компании DataLine


Как устроен мегаЦОД в Тверской области на 4 тыс. стоек.


blog
Индустриальные пейзажи: дата-центр площадью 32 000 м² и АЭС на заднем плане. Удомля весной 2019


Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность — мегаЦОД “Удомля” на 4 тыс. стоек.После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про “Удомлю”. Сегодня мы решили подробно рассказать, как там все устроено.

О логистике


Дата-центр находится в Тверской области. Из Москвы в Удомлю дорога займет около трех часов: 1 час 45 минут на Сапсане до станции Вышний Волочек, а оттуда по предварительной заявке вас встретит шаттл и довезет до дата-центра. Из Санкт-Петербурга до Вышнего Волочка чуть дольше — 2 часа 20 минут.

На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга — за 5.

Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.

Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.

Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.

Первая очередь дата-центра — это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором — еще два зала и хладоцентр. Идем смотреть, как тут все устроено.

Физическая безопасность


Дата-центр занимает выделенную территорию, на которую не пройти без пропуска и документа, удостоверяющего личность. Для тех, у кого с пропуском все в порядке, дата-центр открыт 24х7. Те, кто приезжает на своем автомобиле, также получают пропуск на транспорт и только после этого могут попасть на территорию дата-центра.

blog

Первый пост круглосуточной охраны — вход на территорию.

blog

Идем дальше и попадаем на пропускной пункт непосредственно при входе в дата-центр.

blog

Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.

blog

Электроснабжение


Свой путь в дата-центр электричество начинает от АЭС. В дата-центр приходит 10 кВ на 6 понижающих трансформаторов. Далее — уже 0,4 кВ двумя независимыми маршрутами идут в распределительное устройство низкого напряжения (РУНН). Потом через ДИБП электропитание поступает на ИТ- и инженерное оборудование. К стойке подходят два независимых ввода, то есть резервирование 2N. Подробнее о том, как все устроено в части электроснабжения, расскажем в отдельной статье.

blog
Путь электричества в дата-центре “Удомля”


blog
Вид на АЭС с крыши дата-центра


blog
Силовые шины, по которым электричество приходит от РУНН до силовых панелей ДИБП


blog
Ряды РУНН


Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1.

blog
ДИБП марки Euro-Diesel (Kinolt) мощностью 2 МВт. Ревут так, что без беруш туда лучше не заходить


И вот как это работает. ДИБП — это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.

Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина — это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.

blog

blog
Серый блок на первом плане — синхронная машина ДИБП


blog
Дизельный двигатель ДИБП


Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него — и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).

В результате питание в стойках не пропадает ни на секунду.

blog

Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.

Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.

blog
Панель управления ДИБП


blog
Помещение ЩГП и ЩБП


blog
“Магистрали” и “развязки” силовых кабелей



Машинные залы


Каждый модуль располагается в гермозоне, в специальном коробе. Эти дополнительные стены и крыша защищают машинный зал от пыли, воды и огня. При приемке дата-центра гермозону традиционно проливают водой, чтобы проверить на герметичность.

blog
Крыша здания и своя крыша машинного зала с дренажными трубами


blog
Вода, попадающая на крышу гермозоны, уходит по желобам в дренажный трубопровод


Каждый зал готов принять по 205 стоек средней мощностью 5 кВт.

blog

Расстановка оборудования в зале организована по схеме холодных и горячих коридоров.

blog
Холодный коридор


blog
Горячий коридор


По потолку проходит разводка систем раннего пожарообнаружения Bolid и газового пожаротушения.

blog

Датчики задымления расположены и под фальшполом. Достаточно сработать двум любым датчикам, и завоет сирена пожарной тревоги, но об этом поговорим чуть позже.

Тут же, вдоль рядов кондиционеров, расположены ленточные датчики протечек.

blog

Каждый коридор между стойками “простреливается” камерами видеонаблюдения.

При желании, стойки можно разместить за специальным ограждением (cage) и установить на него дополнительные камеры, СКУД и датчики движения, объема и прочее.

blog


Холодоснабжение


В дата-центре “Удомля” используется чиллерная схема на этиленгликоле. В машинных залах работают кондиционеры, на крыше — чиллеры, а на втором этаже находится хладоцентр с трубопроводами, системой автоматики и управления, насосами, аккумулирующими баками и пр.

В каждом зале 12 кондиционеров, половина из них — с пароувлажнителями. Схема резервирования N+1.

В холодном коридоре поддерживается температура в пределах 21–25 °C и влажность 40–60%.

blog
Прецизионные кондиционеры Stulz Cyber Cool


Вокруг каждого машинного зала два кольца: “холодная” магистраль, подающая охлажденный этиленгликоль в кондиционер, и “горячая”, отводящая нагретый гликоль от кондиционеров к чиллерам. Если откроем фальшпол в коридоре, то увидим опуски в машинные залы от системы холодоснабжения.

blog

Маршрут этиленгликоля выглядит следующим образом: из кондиционера нагретый этиленгликоль попадает сначала в обратную магистраль вокруг машинного зала, а потом в общее кольцо. Затем этиленгликоль идет на насос и далее на чиллер, где и охлаждается до 10 °C. После чиллера этиленгликоль снова возвращается к кондиционеру через подающую магистраль общего кольца, аккумулирующие баки и кольцо вокруг модуля.

blog
Схема холодоснабжения дата-центра


blog
Вот так выглядит хладоцентр, через который проходит 100 м3 этиленгликоля


Серые емкости — это расширительные баки. Через них проходит нагретый этиленгликоль на пути к чиллеру. Летом этиленгликоль расширяется и требует дополнительного пространства.

blog

Эти внушительные емкости — аккумулирующие баки, по 5 м3 каждый. Они обеспечивают бесперебойное охлаждение дата-центра на случай отказа чиллеров. Охлажденный этиленгликоль из баков подается в систему, и это позволяет сохранить температуру воздуха на выходе из кондиционера на уровне 19 °C в течение 5 минут. Даже если за окном +40 °C.

blog

blog
Насосы системы холодоснабжения


blog
Сетчатые карманные фильтры и баки-сепараторы для очистки этиленгликоля от механических частиц и воздуха


Тонкая красная линия на полу под трубами — это ленточные датчики протечек. Они идут по всему периметру хладоцентра.

blog

Если какая-то из труб даст течь, то этиленгликоль уйдет по системе дренажа и попадет в специальный бак в помещении водоподготовки. Тут же стоят два бака с “запасным” этиленгликолем для подпитки системы холодоснабжения на случай крупных протечек.

blog

И про чиллеры. На крыше работает 5 чиллеров по схеме резервирования N+1. Каждые сутки автоматика определяет, в зависимости от наработки, какой чиллер вывести в резерв.

blog
Чиллеры марки Stulz CyberCool 2 мощностью 1096 КВт


Чиллеры поддерживают три режима:
  • компрессорный — от 12 °C;
  • смешанный — при 0–12 °C;
  • фрикулинг– от 0 и ниже. Этот режим подразумевает охлаждение этиленгликоля за счет работы вентиляторов, а не компрессора.


blog


Пожарная безопасность


В дата-центре две станции газового пожаротушения. В каждом две батареи из 11 баллонов: первая основная, вторая — резерв.Противопожарная система дата-центра завязана с сервером Калининской АЭС, и, если потребуется, на место за минуты приедет собственная пожарная служба станции.

blog

На фото система пожарной сигнализации и кнопка аварийного выхода в машинном зале. Последняя нужна, если во время пожарной тревоги двери по какой-то причине не разблокировались: она разрывает питание электрозамка.

blog


Телеком


В дата-центр независимыми маршрутами приходят две магистрали Ростелеком. Каждая из DWDM систем имеет емкость 8 Терабит.

В дата-центре два телеком-ввода, которые располагаются на расстоянии более 25 метров друг от друга.

Также на площадке присутствуют операторы Раском, Telia Carrier Russia, Консист, в ближайшем будущем появится DataLine.

От Удомли можно построить канал в Москву, Санкт-Петербург или любую точку России и мира.

blog


Мониторинг


В центре мониторинга круглосуточно несут свой пост дежурные инженеры.

Сюда поступает вся информация по инженерными системам: климатические условия в зале, состояние вводов, ДИБП и т.д.

Каждые два часа дежурные совершают обход всех инфраструктурных помещений, чтобы осмотреть состояние инженерного и ИТ-оборудования.

blog


Вспомогатиельная инфраструктура


Для доставки оборудования в дата-центр предусмотрена зона разгрузки.

blog

Зона разгрузки изнутри.

blog

Если ваш зал на втором этаже, то вот этот гидравлический грузоподъемник доставит туда любое оборудование.

blog

Шкафчики для хранения клиентских инструментов, и не только.

blog


Немного про быт


Для постоянного персонала можно арендовать оборудованные рабочие места в офисной части. Если же будете наезжать время от времени, то можно остановиться во временной гостинице со всеми удобствами прямо на территории дата-центра.

В офисной части также работает столовая и кухня.

blog

А еще тут кругом обалденная природа с лесами, озерами, реками, рыбалкой и прочим досугом на свежем воздухе. Приезжайте в гости.

blog

blog