Метрокластер: пять ключевых Active-Active решений. Часть 1.
Что такое метрокластер и HyperMetro
МетроКластер (MetroCluster) представляет собой устойчивый к отказам и географически распределённый (обычно размещённый на нескольких площадках внутри города или региона) кластер дисковых ресурсов, способствующий предотвращению потери информации благодаря применению методов кластеризации, дублирования, а также самоисправляющихся механизмов и алгоритмов. Метрокластер повышает доступность данных при отказе оборудования или площадки. Он не заменяет независимые резервные копии: логические ошибки и нежелательные изменения могут быть переданы на вторую площадку.
Основные достоинства:
- Самостоятельное либо автоматизированное переключение между территориально распределёнными объектами инфраструктуры, ЦОДами
- Повышение доступности при аппаратных отказах в пределах поддерживаемых сценариев
- Единая структура: интуитивное внедрение и сопровождение
- Быстрое и простое возобновление работоспособности после любых неполадок
- Минимальное воздействие человеческого элемента
- Высоконадёжный доступ к ресурсам хранения – 99,99%
- Допустима оптимальная нагрузка на дисковые ресурсы между двумя ЦОДами
Проблемные моменты:
- Значительная техническая сложность конструкции решения
- Разнообразные ограничения и обязательные условия относительно совместимости оборудования и программного обеспечения
- Ограничения, обусловленные расстоянием между ЦОД
- Обновление конфигурации метро-кластера предполагает наличие специализированного персонала и точное соблюдение регламентированной процедуры разработчика
- Финансовая составляющая реализации проекта
- В рамках цикла публикаций мы подробно изучим ключевые характеристики пяти лидирующих продуктов для систем хранения формата «active-active».
HyperMetro в системах Huawei OceanStor
Решение первой фирмы-производителя для реализации подхода «active-active» базируется на функционале HyperMetro интегрированного комплекса хранения OceanStor. Данная схема предусматривает применение архитектуры «active-active» для построения кластерной структуры с использованием двух массивов хранения, позволяющих осуществлять зеркалируемое копирование данных в онлайн-режиме. LUN каждого активного устройства хранения синхронизируются мгновенно, обеспечивая одновременную обработку запросов чтения-записи от сервера приложений с обеих сторон и предлагая единый интерфейс равноправного параллельного доступа «active-active». Если один из массивов выйдет из строя, происходит автоматический переход на второй массив, поддерживая стабильную работу сервисов предприятия.
Отличительные черты продукта
(1) Проектирование без шлюзов: Модель активной работы Hyper Metro построена таким образом, что отсутствует необходимость установки дополнительного виртуализованного оборудования-шлюза. Решение строится непосредственно на основании самих массивов хранения, формируя кросс-сайтовую систему.
Максимальное число контроллеров памяти в составе Active-Active решения достигает 32 штук, т.е. каждый массив включает до 16 активных контроллеров.
(2) Логистика операций ввода-вывода: В среде хоста-приложения Hyper Metro группирует активные LUN на двух устройствах хранения в единую структуру Active-Active LUN посредством программы многоадресного подключения UltraPath и предоставляет хосту-приложению функции чтения и записи ввода-вывода в многоадресном режиме Vdisk. Запросы на ввод-вывод отправляются в устройство хранения на основании заданного сценария распределения маршрутов.
Для различных вариантов размещения центров обработки данных Hyper Metro предлагает выбор одной из двух методик обработки ввода-вывода:
Первый вариант — равномерное распределение нагрузки: эта методика обеспечивает разделение рабочей нагрузки между устройствами ввода-вывода, то есть запросы ввода-вывода распределяются между обоими массивами в секционированном виде. Величина сегмента задаётся вручную. К примеру, при размере сегмента 128 Мб, блоки с начальными адресами от 0 до 128 Мб направляются на массив A, адреса от 128 до 256 Мб попадают на массив B и далее аналогично. Этот метод подходит для случаев, когда центры обработки данных располагаются близко друг к другу, обеспечивая примерно одинаковые показатели быстродействия хост-сервисов при доступе к обоим активным устройствам хранения. Такой подход позволяет эффективно задействовать вычислительные мощности обоих хранилищ путём разделения потоков ввода-вывода.
Второй вариант — приоритетное использование конкретного массива: здесь оператор заранее определяет предпочтительное устройство хранения на платформе OceanStor UltraPath. Хостовая служба будет производить операции ввода-вывода исключительно на выбранном устройстве, используя только основной путь доступа. Переключение на альтернативный массив произойдёт лишь в случае выхода из строя основного. Такой подход применим в ситуациях, когда активный сервис развернут в паре удалённых центров обработки данных. Здесь важно минимизировать расходы на кросс-сайтовое взаимодействие, ведь оно негативно сказывается на общей производительности сервиса.
Задержка между ЦОД зависит от длины и типа канала, сетевого оборудования и нагрузки. При проектировании HyperMetro нужно измерять RTT и проверять ограничения в документации для конкретной модели СХД, версии ПО и режима работы.
Выбор модели приоритета позволит уменьшить объём межсайтового трафика, увеличивая скорость операций ввода-вывода. В случаях обращения хоста к службам центра обработки данных потребуется читать данные только из соответствующего данному ЦОД устройства хранения, исключая обращение хоста к другому устройству и соответственно повышая общую эффективность процесса доступа. Аналогичным образом, в операциях записи хост-приложение записывает данные сразу в своё активное устройство хранения, обходя необходимость отправки данных между центрами и полностью реализуя потенциал архитектуры active-active.
Каждый контроллер в кластере active-active способен самостоятельно обслуживать запросы записи, обрабатывая их локально, что уменьшает нагрузку на связь между ЦОД и повышает общую производительность всего решения.
(3) Организация сетевых соединений на уровне хранения: следующая иллюстрация демонстрирует стандартную топологию сетевой архитектуры для активного решения Hyper Metro.
Возможны три варианта реализации сетевой схемы:
Связь массива с хостом, синхронизация данных «Active-Active»локальные соединения.
Бизнес-трафик изолирован от потока данных. Связь между активными устройствами хранения поддерживается каналами FC или IP. Предпочтительно применять FC-каналы, однако время отклика между сайтами должно составлять менее 2 мс. Помимо этого, канал между устройством хранения и арбитром подключён общим IP-каналом.
(4) Единая инфраструктура active-active: данное решение позволяет объединить ряд компонентов active-active и предложить широкий спектр услуг хранения данных:
файловые сервисы (File Service),блоковые сервисы (Block Service).
Эти компоненты предоставляют функциональность уровня active-active: поддерживаются файлы NFS,предоставляется блочная память SAN.
Система SAN и NAS имеют общее средство арбитража, гарантирующее единообразие предоставления сервисов даже при потере связи между двумя площадками. Таким образом, файловые и блочные сервисы предоставляются с единого сайта, что обеспечивает целостность всей инфраструктуры.
Кроме того, общая среда SAN и NAS разделяется единой физической инфраструктурой каналов передачи данных, тайминга и конфигурирования. Единственная сеть покрывает потребности SAN и NAS, позволяя полноценно разворачивать IP-инфраструктуру корпоративной сети, межсайтовую коммуникационную среду и среду арбитража.
(5) Обеспечение целостности данных на уровне хранилища: поддержание консистентности достигается методом двойной фиксации данных ввода-вывода. Любые данные, поступающие от приложений, обязательно фиксируются одновременно на обоих массивах, что гарантирует синхронность данных в реальном времени. Используется механизм распределённой блокировки (DLM), чтобы убедиться, что при обработке записей по одному и тому же адресу хранится единственный экземпляр данных. В ситуации неисправности какого-либо хранилища применяется процедура восстановления отличающихся данных. Когда какое-то хранилище отключено, фиксация данных производится на оставшемся активном устройстве, а различия сохраняются в пространстве журнала изменений (DCL). По завершении восстановления массива HyperMetro восстанавливает связанное состояние active-active и переносит накопившиеся обновления в восстанавливаемое хранилище, основываясь на сохранённые данные из DCL. Важным преимуществом является отсутствие необходимости полной повторной синхронизации всех данных, кроме того, вся операция прозрачна для хоста и не оказывает влияния на рабочие процессы.
(6) Технологии ускоренной записи FastWrite: Стандартные методики предполагают выполнение операций записи между двумя сайтами через последовательные этапы: команда записи и собственно запись данных. Согласно теоретическим расчётам, при расстоянии между сайтами в 100 километров суммарная задержка составит два периода RTT («приём-передача»), как изображено слева на схеме ниже. Функция FastWrite совмещает команду записи и саму операцию записи в единый цикл, уменьшая количество этапов взаимодействия между серверами ровно наполовину. Практический эффект проявляется в снижении задержки передачи на линии протяженностью 100 км до одного раза RTT, что существенно увеличивает производительность операций записи, как продемонстрировано справа на диаграмме.
(7) Автоматическое исправление дефектных блоков: Для повышения надёжности Hyper Metro оснащена системой автоматической диагностики и восстановления повреждённых блоков без участия оператора. Последовательность действий выглядит следующим образом (см. схему ниже):
Производственный хост запрашивает данные с массива A → Система обнаруживает дефект блока → Попытка реконструировать поврежденный блок завершается неудачей (если реконструкция успешна, дальнейшие шаги пропускаются) → Устройство A проверяет завершение операции и запускает процедуру считывания данных с удалённого массива B → Чтение завершено успешно, вернув корректные данные производственному хосту → Локально фиксируется правильная версия данных, соответствующая ранее испорченному блоку.
(8) Технология RAID 2.0+: Устройство хранения оснащено несколькими технологиями защиты данных RAID. В случае отказа жесткого диска в группе RAID механизм RAID 2.0+ оперативно перестраивает RAID-группу и возвращает утраченные данные на горячий запасной диск. Такая реализация ускоряет процесс реконфигурации по сравнению с классическими методами, снижая вероятность многократных потерь данных.
Документация и продолжение цикла
Архитектура HyperMetro и требования к сети описаны в официальном руководстве Huawei OceanStor Dorado 6.1.0. Требования зависят от модели и режима: для планирования сети используйте документацию вашей конфигурации.
Далее в цикле: VPLEX Metro и Geo — часть 2. Возможности российских систем представлены на странице СХД ATLAS.SM.
