С августа 2015 года наше оборудование и серверы клиентов размещаются в дата-центе «Стек Дата Нетворк», который соответствует высшему уровню надежности Tier III+ и сертифицирован по стандарту безопасности PCI DSS.
Комплекс SDN в Санкт-Петербурге – самая крупная и современная в Северо-Западном регионе и одна из лучших в Европе технологическая площадка. Всё это благодаря огромному количеству современных решений и новых технологий, применяемых в работе центра.
Проектная ёмкость ЦОДа составляет 1476 стоек 48U. Общая подведённая мощность по проекту 14 МВт. Собственная ВОЛС до двух точек обмена трафиком связи: SPB-IX (Боровая, 57) и Радуга-2 Кантемировская, 12). На данный момент на площадке представлены порядка 20 крупнейших операторов связи.
Основные технические решения для нашего дата-центра были разработаны в тесном сотрудничестве с ведущими производителями наиболее инновационного оборудования для дата-центров (ДЦ).
Технология Stack.КУБ
Предметом особой гордости SDN является комплексное модульное решение Stack.КУБ, принцип действия которого запатентован в 2011 г. Оно обеспечивает наилучшие в отрасли эксплуатационные характеристики дата-центра и возможность гибкого наращивания мощностей без переплаты за поддержание работы построенной навырост инженерной инфраструктуры.
Использование промышленной системы воздушного охлаждения от Kyoto Cooling в качестве основной избавляет от необходимости организовывать в серверной фальшпол и обеспечивает гибкое регулирование мощности воздушных потоков в зависимости от количества тепла, отводимого от стоек. Система холодоснабжения построена с учетом возможного применения дополнительного воздушного либо непосредственного охлаждения жидким холодоносителем. Обеспечивается резервирование по электроснабжению элементов системы холодоснабжения.
Энергоснабжение в дата-центрах, построенных по технологии Stack.КУБ осуществляется на базе динамических источников бесперебойного питания. Полная мощность энергопотребления МДЦ Stack.КУБ со всеми потребителями электроэнергии резервируется автономными электрогенераторами. Электроснабжение критичной нагрузки осуществляется минимум двумя активными вводами с полным резервом мощности по каждому вводу. Электроснабжение потребителей МДЦ Stack.КУБ осуществляется по двум вводам напряжением 230 В одна фаза, 400 В три фазы. Существует возможность организации бесперебойного электропитания постоянного тока 48В. Кроме того в энергоснабжении МДЦ Stack.КУБ применяются системы выравнивания характеристик питающей сети и бесперебойного питания при поддержке автономными генераторами.
Простота и лёгкость обслуживания инженерной инфраструктуры даёт возможность снизить оперативные затраты, что даёт определённые выгоды клиентам при оплате полученных им услуг.
Система бесперебойного питания
В системе бесперебойного питания используются динамические ИБП производства Hitec Power Protection B.V. – лидера в данной области, поставляющего такое оборудование с 1956 года для различных отраслей, включая телекоммуникации, центры обработки данных. На сегодня всего поставлено более 1.600 установок суммарной мощностью свыше 1 600 000 кВА. Специалисты этой компании обеспечивали экспертизу всех проектных решений, относящихся к энергетике, принимали непосредственное участие в разработке схем подключения динамических источников бесперебойного питания (ДИБП), взаимного резервирования, распределения питания для ИТ-потребителей.
Питание модульного дата-центра SDN осуществляется от двух независимых линий 110 кВ. После понижения до 10 кВ напряжение по двум проложенным раздельно фидерам подается с подстанции Ленэнерго на собственную распределительную подстанцию (10 кВ). Установленный на распределительной подстанции межсекционный выключатель обеспечивает при пропадании напряжения на одном из фидеров автоматическое получение полной мощности от второго фидера.
Далее напряжение с распределительной подстанции поступает на трансформаторы 10 кВ/400 В, входящие в состав модулей бесперебойного электроснабжения (МБЭС). Каждый МБЭС содержит свой ДИБП и коммутационное оборудование. МБЭС взаимно резервируют друг друга с избыточностью N+1.
ДИБП представляет собой собранные на одном валу электрический генератор и сдвоенный маховик. Генератор постоянно подключен параллельно сети и нагрузке через дроссель и непрерывно вращается синхронно с сетевым напряжением. При этом происходит сглаживание импульсных помех сети и сглаживание искажений синусоиды. Также за счет управления соотношением фаз генератора и сети осуществляется коррекция коэффициента мощности («cos ϕ»), что положительно сказывается на работе системы электроснабжения в целом.
Внутренняя часть маховика имеет запас по скорости вращения, поэтому в случае пропадания внешнего сетевого питания генератор сохраняет постоянные обороты (до 12 секунд при полной нагрузке) за счет управляемой магнитно-индукционной связи между частями маховика. За это время гарантированно успевает запуститься и выйти на полную мощность дизельный двигатель, соединяемый с общей осью через обгонную муфту. Инерция маховика исключает провал частоты и напряжения, который бывает проблемой при резкой подаче нагрузки на обычный ДГУ.
Таким образом, ДИБП обеспечивает функции, которые в классической схеме выполняют сетевые фильтры, источники бесперебойного питания с аккумуляторными батареями, дизель-генераторные установки и устройства их коммутации. За счет того, что ИТ-нагрузки непрерывно подключены к дросселю и генератору ДИБП синусоида напряжения на них не прерывается при переходе от сетевого питания к автономному и обратно.
После трансформаторов вся система распределения (400 В) выполнена на шинопроводах, что повышает надежность и позволяет исключить проблемы, которые случаются при перегреве и возгорании силовых кабелей.
Все пути распределения от коммутационного оборудования МБЭС дублированы («шина А + шина Б»). Каждая из подсистем шинопроводов способна обеспечить передачу полной мощности. Для магистральных шинопроводов применены изделия фирмы LS-Cable (Южная Корея), имеющих класс защиты IP68 вне помещений и IP54 внутри.
Распределение питания по серверным шкафам внутри серверной ячейки осуществляется при помощи шинопроводов и отводных блоков StarLine производства Universal Electric Corporation. Данное решение позволяет устанавливать отводные блоки в шинопроводы, находящиеся непосредственно над серверными шкафами в любой точке без отключения питания шинопровода. Это дает возможность оперативно адаптировать параметры питания каждого шкафа к потребностям широкого спектра оборудования. Поскольку каждый отводной блок содержит собственные автоматические выключатели и средства мониторинга исключается неизбежный при использовании общих щитов питания риск случайного отключения соседних потребителей при манипуляциях с автоматами и кабелями в таком щите.
Распределение внутри серверных шкафов производится при помощи системы PSM производства Rittal (если клиент не использует собственные модули распределения). Стандартно в каждом серверном шкафу установлены две модульные шины (подключенные соответственно к подсистемам А и Б), на каждой из которых может быть установлено до 42 розеток для подключения оборудования. Розетки каждой шины разделены на шесть групп, каждая из которых защищена автоматическим выключателем номиналом 16А (по запросу возможна замена на другие номиналы).
Система охлаждения
Система охлаждения дата-центра построена на оборудовании производства компании KyotoCooling B.V., которая поставляет по всему миру энергоэффективные установки для кондиционирования серверных залов на основе роторных теплообменников. Специалисты этой компании обеспечили необходимую экспертизу примененных решений по организации воздушных потоков.
Температурно-влажностный режим для ИТ-оборудования в дата-центре поддерживается в соответствии с рекомендациями ASHRAE 2011 Thermal Guidelines for Data Processing Environments класс 1.
При охлаждении максимально используется возможность передачи тепла из залов дата-центра в окружающую среду без использования тепловых машин («free cooling»).
Оборудование охлаждения выполнено в виде отдельных ячеек, распределенных по всему дата-центру. Расположение и количество ячеек выбрано исходя из потребностей в отводе тепла от ИТ-оборудования с учетом взаимного резервирования ячеек не менее N+2. Оборудование поставляется в максимальной заводской готовности. Все соединительные кабели имеют разъемы, исключающие ошибки при монтаже.
В режиме «free cooling» роторный теплообменник обеспечивает передачу тепла из внутреннего объема ДЦ внешней среде практически без переноса воздуха. Это важно для сохранения заданной влажности и отсутствия пыли в помещениях ДЦ.
В жаркую погоду в работу включаются фреоновые контуры тепловых насосов для дополнительного охлаждения. При температуре атмосферного воздуха выше 30 градусов Цельсия тепловые насосы полностью берут нагрузку на себя. В нашем климате потребность в использовании тепловых насосов возникает в течение нескольких десятков часов в году. Это позволяет экономить электроэнергию, снижая расценки для клиентов и отдавая большую мощность ИТ-потребителям.
Устройство ячейки обеспечивает определенный уровень резервирования на уровне самой ячейки. Циркуляцию внутреннего и наружного воздуха обеспечивают по два вентилятора промышленного класса. Тепловые насосы также выполнены в виде двух параллельных контуров, так что при выходе из строя одного из них сохраняется половина охлаждающей способности, которой достаточно в абсолютном большинстве ситуаций. Тепловые насосы полностью дублируют роторный теплообменник при любой погоде, таким образом, при остановке ротора ячейка продолжает работать.