2 декабря 2024

Метрокластер: пять ключевых Active-Active решений. Часть 2.

Active-Active решение следующего производителя базируется на продуктах Vplex с применением шлюза, которые способны объединять системы хранения различных изготовителей, создавать виртуализированный общий ресурс хранения и осуществлять реализацию активного хранилища типа active-active.

Vplex Active-Active предусматривает два варианта исполнения:

Vplex Metro и Vplex Geo. Конфигурация включает два комплекта кластерных систем Vplex, расположенных на двух площадках. Каждая площадка оснащена собственным отдельным локальным хранилищем. За счёт формирования распределённых зеркальных томов, выполняющих роль кросс-кластерных зеркал, реализуется функция Vplex Access Anywhere. У каждого сайта имеется свой том, причём идентификационные номера обоих томов совпадают.

VPLEX: особенности архитектуры Metro и Geo

1. Структура кластера

как видно на изображении ниже, каждый кластер Vplex оснащён панелью управления Vplex, одним, двумя, четырьмя либо восемью двигателями, и каждый двигатель оборудован дублированным источником питания. Решение Vplex Local предназначено для организации перемещения данных и доступа внутри центра обработки данных путём эксплуатации единственного кластера Vplex. Оно допускает одно-, дву- или четырёхдвигательную конфигурацию (включающую один, два или четыре двигателя соответственно). Местный Vplex формирует локальный кластер (4 двигателя и 8 контроллеров), а размещённые на двух площадках локальные кластеры формируют удалённый кластер Metro/Geo (до восьми двигателей, шестнадцати контроллеров), организуя активный активный кластер с шестнадцатью управляющими узлами.

2. Синхронизированная/асинхронная схема

согласно представленной схеме, Vplex Metro задействует два кластера Vplex с особыми возможностями. Используется способ кэширования с прямым записыванием (write-through) для мгновенной синхронизации данных между двумя кластерами, обеспечивая внутреннюю консистентность хранилищ. Поскольку применяется синхронная репликация в реальном времени, решение Vplex Metro предъявляет требование по параметру RTT (задержка передачи сигнала между площадками) — не больше 5 миллисекунд. Vplex Geo предназначен для связи двух удалённых узлов приложения с возможностью асинхронного обращения к данным хранилища через Access Anywhere. Том Vplex Geo применяет кэширование с отложенным записыванием для обеспечения распределённого зеркалирования Access Anywhere. Наибольшее значение задержки RTT (round-trip time), поддерживаемое таким решением, достигает 50 миллисекунд. Важно отметить, что при построении кластеров в рамках решений Vplex Metro и Vplex Geo количество двигателей на площадках не обязательно должно совпадать.

3. Архитектура сети на уровне хранилища

следующая иллюстрация демонстрирует схему сетевых взаимодействий между кластерами Active-Active решения Vplex Metro. Доступ между сервером-хостом и кластером Vplex, обмен данными между кластером Vplex и внутренней системой хранения, а также коммуникационная сеть между самими кластерами Vplex разделены. Дабы обеспечить высочайшую доступность системы, требуется наличие минимум двух физических каналов связи между каждым модулем ввода-вывода (front-end IO module) Vplex Director и группой оптических коммутаторов SAN. Каждое устройство-хост и оба директора А и Б каждого двигателя Vplex обязаны поддерживать множественность маршрутов соединения, следовательно, между устройством-хостом и двигателем Vplex формируется восемь логических путей. В случае, когда двигатели Vplex состоят из двух или четырех единиц на площадке, подключение устройств-хостов должно включать все доступные двигатели. Помимо прочего, если устройство-хост теряет связь с местным кластером Vplex, чтобы обеспечить возможность доступа устройства-хоста к другому кластеру Vplex через площадку, необходимо создать соединение с кластером Vplex на второй площадке.

Программа PowerPath multi-path способна задать путь ACTIVE/PASSIVE, гарантируя преимущество доступа устройства-хоста к ближайшему кластеру Vplex.

Внутренняя система хранения подсоединяется к внутреннему интерфейсу ввода-вывода двигателя Vplex через коммутатор SAN или напрямую, без потребности настроить маршруты подключения к другим сайтам Vplex. Функция Witness выполняется по мере надобности. Witness обязан располагаться в различных зонах отказа двух кластеров Vplex (на сторонних площадках) и поддерживается исключительно в виртуальной инфраструктуре VMware, будучи подключённым к обоим кластерам Vplex по протоколу IP.

4. Метод распределённой согласованной кешировки

Vplex представляет собой систему кластеризации, обеспечивающую распределение гарантий целостности кеша и позволяющую централизованно управлять кешами двух и более экземпляров Vplex, благодаря чему сервер-хост может обращаться к единой системе кеширования. Записывая операции ввода-вывода в зону кеша Vplex, кеш Vplex устанавливает запрет на использование этой зоны кеширования другими серверами-хостами. Читающие же операции ввода-вывода позволяют сразу нескольким устройствам-хостам пользоваться областью кеширования. Например, когда устройство-хост обращается к данным, контролируемым иным экземпляром Vplex в другом кластере Vplex, координатор единого управления кешированием передаёт устройству точное расположение кешированной информации и устройство-хост осуществляет прямой доступ через соответствующий кластер Vplex. Реализация метода распределённой согласованной кешировки не предполагает полной унификации всех элементов кеширования, однако производит мониторинг небольших блоков памяти на основании структуры каталога томов и гарантирует целостность данных с помощью блокировки мелких фрагментов. Кеш каждого двигателя подразделяется на локальный кеш (Cache Local) и глобальный кеш (Cache Global). Объём локального кеша каждого двигателя равен 26 Гб, остальная часть отведена под глобальный кеш, см. изображение ниже.

5. Способ распределения операций с кешем

решения Vplex Local и Vplex Metro применяют стратегию прямого записывания в кеш. Когда виртуальный том кластера Vplex принимает команду записи от сервера-хоста, операция записи непосредственно заносится в LUN внутреннего хранилища, назначенного данному тому (Vplex Metro включает пару LUN внутреннего хранилища). После того, как внутренняя система хранения уведомит о завершении операции записи, Vplex пошлёт подтверждение серверу-хосту о выполнении цикла записи. Прямой способ записывания в кеш подразумевает ожидание окончания записи на диск внутреннем хранилище и накладывает повышенные требования к задержкам операций ввода-вывода.

Данная стратегия прямого записывания в кеш неприменима для решения Vplex Geo, поскольку максимальное расстояние RTT между площадками ограничено значением 50 мс.

Применение такого способа сильно снижает быстродействие серверов-хостов, что крайне нежелательно для большинства прикладных систем. По этой причине в решении Vplex Geo выбран вариант кеширования с отложенным записыванием. Здесь после поступления команды записи от сервера-хоста запись мгновенно фиксируется в кеше контроллера двигателя, зеркало записи направляется в память аналогичного контроллера другого двигателя и другого кластера Vplex, после чего отправляется подтверждение завершения цикла записи серверу-хосту. Затем данные сохраняются в систему хранения на заднем плане асинхронно. В случае перебоев с питанием предусмотрен встроенный аварийный источник питания двигателя Vplex, сохраняющий временные некритичные данные в локальном накопителе SSD. Стратегия кеширования с отложенным записыванием позволяет реагировать на запросы серверов-хостов быстрее, не ожидая окончания сохранения данных на диске в системе хранения, существенно улучшая масштабируемость расстояния и временной задержки в решении Vplex active-active.

6. Операция ускоренного чтения ввода-вывода

Использование кешированных данных ускоряет процедуру чтения ввода-вывода. Повышение скорости чтения достигается следующим образом: при операциях записи проверяется наличие соответствующих старых данных в локальном и общем кеше. Если таких данных нет, осуществляется прямая запись в локальный кеш. Если обнаруживаются устаревшие данные, сначала они аннулируются, затем обновляются в локальном кеше, далее производится сброс записей на два внутренних хранилища в режиме прямого записывания в кеш (см. рисунок ниже). Завершается процедура подачи уведомления серверу-хосту о полном цикле записи, соответствующая индексация изменяется в глобальном кеше, и эта информация становится доступной всем двигателям для обеспечения когерентности распределённого кеша. Вместе с тем запись ввода-вывода в данном механизме добавляет ещё две дополнительные задержки на прохождение сигнала между площадками (указано официально, что задержка равна 1–1,6 мс). В решении Vplex Metro, основанном на прямом кеше записи, страдает определённая доля эффективности записи ввода-вывода.

Операции чтения начинаются с проверки содержимого локального кеша. Если находится совпадение, оно читается напрямую, проявляя заметный прирост скорости чтения. Если совпадение обнаружено в глобальном кеше, запрашиваемые данные извлекаются из подходящего кеша двигателя Vplex в локальный кеш, после чего результат отправки чтения поступает на сервер-хост. Это даёт меньший выигрыш в производительности чтения. Если искомых данных нет ни в одном из уровней кеша, информация считывается из локального внутреннего хранилища и помещается в локальный кеш, попутно изменяя индексы в локальном и глобальном уровнях кеша.

7. Совместимость с технологией CDP

Vplex реализует лишь две функции: гетерогенную виртуализацию и зеркалирование хранилища. Функциональность вроде снимков состояния и реплицирования требует интеграции дополнительного программного продукта RecoverPoint, поэтому решения на основе Vplex зачастую дополняются RecoverPoint. Дополнительно Vplex располагает встроенными средствами переадресации операций ввода-вывода. Каждый запрос записи ввода-вывода от хоста синхронно копируется в RecoverPoint. RecoverPoint фиксирует каждую операцию ввода-вывода и восстанавливает состояние на произвольный момент времени с помощью технологии CDP. Следующая диаграмма иллюстрирует разницу процессов записи ввода-вывода между схемами Vplex dual active и Vplex dual active плюс RecoverPoint CDP. Второй вариант увеличивает задержку операций записи и оказывает негативное воздействие на общую производительность.

Все части цикла о метрокластерах

Документация VPLEX Metro

Параметры сети, допустимое расстояние между площадками и требования к задержке зависят от версии платформы. Для проектирования сверяйтесь с официальными руководствами Dell VPLEX; приведённые в статье характеристики исторических конфигураций нельзя автоматически переносить на другие версии оборудования и ПО.

Статьи, которые вам могут понравиться:

ATLAS выпустила ASM 2.5: ручной перенос дисковых ресурсов между контроллерами, RAID-Z3 Triple Parity и рекордные 1,45 млн IOPS 11 сентября 2026 ALUA в CХД ATLAS 19 августа 2025 Scale-Up vs Scale-Out: ключевые различия архитектурных подходов 19 июня 2025 Почему симметричные контроллеры Active-Active — лучший выбор для современных СХД? 30 мая 2025