Storage spaces direct что это

Хранилище Storage Spaces Direct в Windows Server 2016

Storage Spaces Direct позволяет на базе стандартных серверов с локальными накопителями создать высокодоступное, высокомасштабируемое программно-определяемое хранилище с меньшими затратами, чем при использовании традиционных массивов SAN или NAS. Конвергентная или гиперконвергентная архитектура этого решения упрощает закупки и развертывание, а такие функции, как кэширование, многоуровневое хранение и erasure coding с сетью RDMA и накопителями NVMe, обеспечивают беспрецедентную эффективность и производительность.

Storage Spaces Direct является частью ЦОД Windows Server 2016.

Основные преимущества

Удобство использования. Переход от стандартных серверов на базе Windows Server 2016 к первому кластеру Storage Spaces Direct занимает всего 15 минут. Пользователи System Center могут выполнить развертывание, установив один флажок.

Беспрецедентная производительность. Storage Spaces Direct с флеш-накопителями или гибридными дисками позволяет без труда обрабатывать более 150 000 смешанных произвольных операций ввода-вывода в секунду блоками 4 КБ в расчете на один сервер. При этом задержка получается минимальной благодаря встроенной архитектуре гипервизора, кэшу чтения/записи и поддержке передовых накопителей NVMe, которые установлены непосредственно на шине PCIe.

Отказоустойчивость. Эффективная технология устранения неполадок с накопителями, серверами или компонентами обеспечивает постоянную доступность. Более крупные развертывания можно настроить для обеспечения отказоустойчивости шасси и стойки. Если происходит сбой оборудования, вам нужно просто заменить его; программное обеспечение восстанавливает себя самостоятельно без каких-либо сложных действий по управлению с вашей стороны.

Эффективность ресурсов. Технология erasure coding обеспечивает в 2,4 раза большую эффективность хранилища благодаря таким инновационным функциям, как Local Reconstruction Codes и многоуровневое хранение (real-time tiering). Прирост эффективности касается и жестких дисков и смешанных горячих/холодных нагрузок. При этом снижается потребление ресурсов ЦП, и ресурсы можно использовать там, где они нужны больше всего — в виртуальной машине.

Управление. Используйте Storage QoS Controls, чтобы проверять перегруженные ВМ на соответствие минимальным и максимальным лимитам IOPS в расчете на ВМ. Health Service обеспечивает непрерывный мониторинг и оповещения, а новые API упрощают сбор метрик производительности и емкости по всему кластеру.

Масштабируемость. Поддерживается до 16 серверов и более 400 накопителей с несколькими петабайтами данных на кластер. Чтобы выполнить масштабирование, просто добавьте накопители или серверы; Storage Spaces Direct автоматически начнет использовать новые накопители. Эффективность и производительность хранилища повышаются предсказуемо.

Варианты развертывания

Существует два варианта развертывания Storage Spaces Direct:

1. Конвергентное (или дезагрегированное) развертывание. Масштабируемый файловый сервер (Scale-out File Server, сокращенно — SoFS) размещается поверх Storage Spaces Direct для обеспечения сетевого хранилища для файловых ресурсов общего доступа SMB3. В результате можно масштабировать вычислительные нагрузки независимо от кластера хранилища. Это важно для крупномасштабных развертываний, например инфраструктуры как услуги на базе Hyper-V, для сервис-провайдеров и крупных компаний.

2. Гиперконвергентное развертывание. Виртуальные машины Hyper-V или базы данных SQL Server запускаются непосредственно на серверах хранения, где файлы хранятся на локальных томах. Это исключает необходимость настраивать доступ к файловому серверу и разрешения и сокращает затраты на оборудование для развертываний в небольших и средних компаниях и удаленных офисах/филиалах. См. Гиперконвергентное решение с использованием Storage Spaces Direct.

Принципы работы

Storage Spaces Direct — это следующий шаг в развитии решения Storage Spaces, которое впервые было реализовано в Windows Server 2012. В нем используется множество функций, которые вам хорошо известны по опыту использования Windows Server. Например, Failover Clustering, файловая система Cluster Shared Volume (CSV), Server Message Block (SMB) 3 и Storage Spaces. Но есть в этом решении и новые технологии, такие как Software Storage Bus.

Ниже приведена обзорная информация о стеке Storage Spaces Direct:

Сетевое оборудование. Storage Spaces Direct использует SMB3, включая SMB Direct и SMB Multichannel, для взаимодействия между серверами по протоколу Ethernet. Мы настоятельно рекомендуем подключение 10+ GbE с удаленным прямым доступом к памяти (RDMA) с использованием iWARP или RoCE.

Оборудование для хранения данных. От 2 до 16 серверов с локальными накопителями SATA, SAS или NVMe. Каждый сервер должен иметь как минимум 2 твердотельных накопителя и 4 дополнительных накопителя. Устройства SATA и SAS должны находиться позади хост-адаптера шины (HBA) и расширителя SAS. Мы настоятельно рекомендуем использовать тщательно спроектированные и проверенные платформы от наших партнеров (скоро).

Failover Clustering. Встроенная в Windows Server функция кластеризации используется для подключения серверов.

Software Storage Bus. Software Storage Bus — это новая функция, реализованная в Storage Spaces Direct. Она охватывает кластер и устанавливает программно-определяемую фабрику хранения, где все серверы могут видеть все локальные накопители друг друга. Это своего рода замена дорогостоящих и ограниченных по своим возможностям решений Fibre Channel и Shared SAS.

Storage Bus Layer Cache. Software Storage Bus динамически привязывает самые быстрые накопители (например, SSD) к более медленным (например, HDD), чтобы обеспечить кэширование чтения/записи на стороне сервера для увеличения количества операций ввода-вывода и повышения пропускной способности.

Пул хранения. Набор накопителей, который формирует основу Storage Spaces, называется пулом хранения. Он создается автоматически, и все накопители автоматически обнаруживаются и добавляются в него. Мы настоятельно рекомендуем использовать один пул на кластер с настройками по умолчанию.

Storage Spaces. Storage Spaces обеспечивают отказоустойчивость виртуальных дисков посредством зеркалирования, erasure coding или и той, и другой технологии. Это своего рода распределенный, программно-определяемый массив RAID с использованием накопителей в пуле. В Storage Spaces Direct виртуальные диски обычно устойчивы к двум одновременным сбоям накопителей или серверов (например, благодаря трехстороннему зеркалированию, при котором каждая копия данных хранится на разных серверах), хотя отказоустойчивость шасси и стойки также возможно реализовать.

Отказоустойчивая файловая система (ReFS). ReFS — это файловая система, предназначенная для виртуализации. В ней реализованы улучшения операций с файлами .vhdx, таких как создание, расширение и слияние контрольных точек, а также встроенные контрольные суммы для обнаружения и исправления ошибок в битах. Кроме того, в ней реализована технология хранения данных в реальном времени, которая перемещает данные между так называемыми «горячими» и «холодными» уровнями хранения в реальном времени на основе объема потребления.

Общие тома кластера (Cluster Shared Volumes, сокращенно — CSV). Файловая система CSV объединяет все тома ReFS в одно пространство имен, доступное на любом сервере, так что каждый сервер и каждый том выглядят и работают так, как если бы они были установлены локально.

Масштабируемый файловый сервер. Этот финальный уровень необходим только в конвергентных развертываниях. Он обеспечивает удаленный доступ к файлам с использованием протокола SMB3 для клиентов, таких как кластер на базе Hyper-V, по сети. Это позволяет превратить Storage Spaces Direct в сетевое хранилище (NAS).

Storage Spaces Direct

Storage Spaces Direct позволяет поставщикам услуг и предприятиям использовать стандартные серверы с внутренними дисками для создания высокодоступного и масштабируемого программного обеспечения. Использование серверов с внутренними дисками уменьшает сложность, увеличивает масштабируемость и позволяет использование устройств хранения, которые ранее были недоступны. Например, твердотельные диски SATA, для снижения стоимости флэш-памяти, или твёрдотельные диски NVMe, для повышения производительности.

Storage Spaces Direct

Storage Spaces Direct устраняет необходимость общей структуры SAS, упрощает развёртывание и настройку. Вместо этого, как структуру хранения, он использует сеть, применяя для высокоскоростного, низколатентного CPU-эффективного хранения SMB3 и SMB Direct (RDMA). Для масштабирования, для повышения ёмкости и производительности ввода/вывода, просто добавьте дополнительные серверы.

Ниже приведены некоторые дополнительные особенности и характеристики Storage Spaces Direct:

• Хранилище для Hyper-V и стека Microsoft Azure. Возможность первичного использования Storage Spaces Direct — как хранилище для виртуальных машин Hyper-V или стека Azure.
• Hardware/Аппаратные средства. Storage Spaces Direct позволяет создавать высокодоступные и масштабируемые решения для хранения данных с использованием современных аппаратных средств хранения данных, таких как SATA SSD, для более низких затрат и SSD NVMe для повышения производительности и меньшей загрузки процессора. А также, для хранения, он может использовать сетевую инфраструктуру с поддержкой RDMA, с меньшей задержкой и затратами на процессор, чем традиционные Ethernet. Сокращение затрат процессорных ресурсов означает повышенную плотность рабочей нагрузки.
• Предписывающие конфигурации. Корпорация Майкрософт тесно сотрудничает со своими производящими аппаратные средства партнёрами для определения и проверки предписывающих конфигураций серверов Storage Spaces Direct. Использование этих конфигураций серверов обеспечивает наилучший опыт работы с Storage Spaces Direct с полным набором функций и лучшей производительностью.
• Конфигурации хранилища. Вы можете использовать Storage Spaces Direct с различными конфигурациями хранилищ. Наиболее распространённые конфигурации:

1. SSD с традиционными жёсткими дисками, где для ускорения производительности ввода-вывода, SSD используются в качестве кеша чтения/записи.
2. All-flash конфигурация с SSD-накопителями NVMe и SSD-накопителями SATA, для чрезвычайно высокой производительности ввода-вывода.
3. Три уровня физического хранения, SSD-накопители NVMe, SSD-диски SATA и традиционные жёсткие диски.

• Выбор развёртывания. Storage Spaces Direct предоставляет клиентам выбор для развёртывания: как гиперконверсированную инфраструктуру, либо как конвергентную инфраструктуру. В гиперконверсированной инфраструктуре, ресурсы вычислений и хранения предоставляются теми же машинами, что упрощает масштабируемость и управление. В конвергентной инфраструктуре, вычислительные ресурсы отделены от ресурсов хранилища, что позволяет увеличить масштабируемость и независимое масштабирование вычислений и хранения.
• Fault Tolerance/Отказоустойчивость. Storage Spaces Direct устойчив к сбоям. Когда диски дали сбой, испорченные данные автоматически восстанавливаются на остальных дисках. Storage Spaces Direct поддерживает три типа доменов отказов: a) «server», b) «chassis» и c) «rack», всё размещение данных, восстановление данных и перебалансировка данных будут соответствовать конфигурации домена отказа.
• Accelerated Erasure Coding/Ускоренное кодирование Erasure. Storage Spaces Direct, в дополнение к существующим типам зеркал и кодировки стирания, вводит гибридные тома. Гибридные тома смешивают лучшее зеркало (производительность) с наилучшим качеством кодирования (эффективность) стирания в одном томе, с автоматическим многоуровневым хранением в режиме реального времени.
• Efficient VM check-points/Эффективные контрольные точки VM. Storage Spaces Direct использует новую файловую систему ReFSv2, которая в сочетании с Hyper-V может выполнять очень быстрые и эффективные контрольные точки VM.
• Scalability/Масштабируемость. Storage Spaces Direct может масштабироваться от 2 до 16 серверов. Вы можете добавлять серверы по мере необходимости, и, чтобы наилучшим образом использовать дополнительные ресурсы, данные можно перебалансировать. Microsoft и Intel продемонстрировали развёртывание 16 серверов Storage Spaces Direct с использованием всех твердотельных накопителей NVMe в IDF 2015.
• Health Service/Обслуживание жизнеспособности. Storage Spaces Direct включает интеллектуальный встроенный механизм диагностики, который позволяет администраторам с ограниченными техническими знаниями контролировать и управлять системой каждый день.

1. Health Service, для обнаружения проблем и создания предупреждений, содержащих точные инструкции о том, как реагировать, активно следит за базовым кластером, оборудованием хранения и определённым программным стеком хранения.
2. Информация о производительности и мощности агрегирована для представления целостного, высокого уровня обзора имеющихся ресурсов.
3. Частые задачи, такие как замена привода и обновления прошивки накопителя, чтобы снизить нагрузку на администратора, автоматизированы.

Чтобы лучше понять Storage Spaces Direct, давайте начнём с изучения пространств хранилищ в системах хранения данных Windows Server 2012 R2 HA. В Windows Server 2012 R2, использующая Storage Spaces, система HA требует, чтобы устройства привода были физически подключены ко всем узлам хранения. Для этого, они должны находиться во внешней раме JBOD, причём каждый узел хранения имеет физическую связь с внешним JBOD.

Кроме того, поскольку несколько узлов хранения будут подключаться к каждому диску, устройствам диска необходимо последовательно подключить SCSI (SAS). Так как протокол SAS позволяет общий доступ, хотя такие диски как SATA, не допускают многопользовательский инициатор. Из-за этих требований это развёртывание, чтобы контрастировать с Storage Spaces Direct, называется Storage Spaces Shared JBOD. На рисунке ниже показано развёртывание разделов JBOD для хранилищ.

Пример развёртывания разделов JBOD в хранилищах

Storage Spaces Shared JBOD, по сравнению с прошлыми системами хранения HA, предоставляет множество преимуществ. Тем не менее, требуя, чтобы устройства привода были физически подключены к каждому узлу, ограничивает тип возможных к использованию устройств привода, и может привести к сложным конфигурациям SAS, особенно, если эти развёртывания масштабируются.

С помощью Storage Spaces Windows Server 2016 теперь вы можете создавать системы хранения HA. Используя для этого узлы хранения только с локальным хранилищем, которое либо устройство привода, внутреннее для каждого узла хранения, либо устройство привода в JBOD, где каждый JBOD подключён только к одному узлу хранилища. Это полностью исключает структуру SAS и её сложность, но позволяет использовать устройства привода, такие как устройство привода SATA, которое может дополнительно снизить стоимость или повысить производительность. На следующем рисунке показано развёртывание хранилищ с прямым доступом.

Пример прямого развёртывания хранилищ

Также важно понимать, что Storage Spaces Direct — это эволюция Storage Spaces, означая, что это расширение существующего стека SDS для Windows Server. Другим важным аспектом является то, что Storage Spaces Direct, для всей интранодной (также называемой восточно-западной) связи, использует SMB 3.0 и все мощные функции SMB 3.0, такие как SMB Direct (RDMA-совместимые сетевые карты) для высокоскоростной связи и связи с малой задержкой, и многоканальное SMB, для агрегации пропускной способности и отказоустойчивости сети.

Детали реализации Storage Spaces Direct

Storage Spaces Direct интегрируется с современными функциями, создавая стек Windows Server SDS, включая SOFS (SMB 3.0), кластерную общую файловую систему томов (CSVFS), пространства хранения и отказоустойчивую кластеризацию.

Прямой стек хранилищ

Обновленный стек включает в себя следующее:

• Hardware/Аппаратные средства. Система хранения состоит из минимум четырёх узлов хранения с локальным хранилищем. Каждый узел хранения может иметь внутренние диски или диски во внешнем подключённом к SAS корпусе JBOD. Приводными устройствами могут быть диски SATA или диски SAS.
• Software Storage Bus/Шина для хранения программного обеспечения. Шина для программного обеспечения Software Storage охватывает все узлы хранения и объединяет локальное хранилище в каждом узле, поэтому все диски видны выше на уровне хранилищ.
• Storage Spaces/Место хранения. Пространства хранилищ предоставляют пулы хранения и виртуальные диски. Пул хранения может охватывать все локальные хранилища через узлы. Виртуальные диски обеспечивают отказоустойчивость для отказов дисков или узлов, поскольку копии данных хранятся на разных узлах хранения.
• Resilient File System (ReFS)/Устойчивая файловая система (ReFS). ReFS предоставляет файловую систему, в которой хранятся файлы VM Hyper-V. ReFS — главная файловая система Windows Server 2016 для виртуализированных развёртываний, включает в себя оптимизацию для хранилищ, такое как обнаружение ошибок и автоматическая коррекция. Кроме того, ReFS обеспечивает ускорения для операций VHD (X), таких как фиксированное создание VHD (X), динамический рост VHD (X) и слияние VHD (X). Уровни CSVFS в ReFS приносят все смонтированные тома в единое пространство имён.
• SOFS. Это верхний уровень стека хранилища, который обеспечивает удалённый доступ к системе хранения с использованием протокола доступа SMB 3.0.

Улучшенная масштабируемость

Вы можете развернуть Storage Spaces Direct, используя узлы хранения с локальным хранилищем или не совместными JBOD. В предыдущих версиях Windows Server, для масштабирования решений Storage Spaces, требовалось одновременное увеличение масштаба SAS-структуры, которая соединяла узлы хранения с общими SAS JBOD. Напротив, с помощью Storage Spaces Direct, вы можете настроить модель, которая устраняет сложности структуры SAS, делая масштабирование столь же простым, как добавление нового узла хранения, либо с внутренним хранилищем, либо прикреплённым не совместным JBOD. Масштабирование путём добавления узлов хранения, обеспечивает большую гибкость планирования хранения, поскольку расширение хранилища больше не связано количеством слотов для накопителей в общем SAS JBOD.

Для поддержки этой модели масштабирования «точно в срок» Storage Spaces Direct, по сравнению с предыдущими версиями Windows Server, улучшает масштабируемость, так как теперь вы можете управлять большим количеством устройств привода в одном пуле хранения. Увеличение количества устройств привода в одном пуле, уменьшает количество создаваемых пулов хранения, что упрощает управление решением для хранения.

Оптимизированный пул Storage Spaces Direct

Storage Spaces Direct может оптимизировать пул хранилищ для равномерного распределения данных по совокупности входящих в пул физических дисков. Со временем, когда физические диски добавляются или удаляются или когда записываются или удаляются данные, распределение данных между входящим в пул набором физических дисков, может стать неравномерным. В некоторых случаях, это может привести к полному заполнению некоторых физических дисков, тогда как другие диски в одном и том же пуле имеют гораздо более низкое потребление.

Аналогичным образом, если вы добавите новое хранилище в пул, оптимизация существующих данных для использования нового хранилища, приведёт к повышению эффективности хранения в пуле и, возможно, благодаря новой доступной пропускной способности физического хранилища, к повышению производительности. Оптимизация пула — это задача обслуживания, выполняемая администратором. Когда запускается команда оптимизировать пул, Storage Spaces Direct перемещает данные между физическими дисками в пуле. Перемещение данных — фоновая операция, предназначенная для минимизации воздействия на рабочие нагрузки переднего плана или арендатора.

Настройка Storage Spaces Direct (S2D) в Windows Server 2016

10.01.2019
itpro
Hyper-V, Windows Server 2016
комментариев 50

Storage Spaces Direct (S2D) – новая технология распределенного хранения данных, представленная в Windows Server 2016. Благодаря использованию Storage Spaces Direct локальные диски нескольких серверов можно организовать в отказоустойчивое, масштабируемое хранилище, защищенное от выхода из строя как отдельных дисков, так и целых серверов. Цена такого «программного» хранилища получается значительно меньше, чем стоимость организации полноценного SAN или NAS, а за счет простого масштабирования (до 16 серверов и 400 дисков) и возможности использовать различных накопителей (в том числе SSD и NVMe) можно обеспечить значительную производительность.

Что такое Storage Spaces Direct (S2D)

S2D является дальнейшим развитием технологии Storage Spaces и позволяет объединить локальные диски узлов (серверов) кластер Hyper-V в пулы хранения (Storage Pool). На данных пулах можно создать виртуальные тома (диски) и использовать их в качестве общего тома кластера Cluster Shared Volume (CSV) для хранения файлов виртуальных машин Hyper-V и файловых шар SOFS-серверов. При необходимости расширить размер хранилища достаточно добавить в S2D новый сервер или накопитель. По сути, технология Storage Spaces Direct является ответом Microsoft на VMware vSAN.

Требования к Storage Spaces Direct

В S2D поддерживаются следующие типы устройств хранения:

• Обычные HDD диски (SAS)
• SATA / SAS SSD диски
• NVMe (Non-Volatile Memory Express) — SSD диски, подключенные не через классический интерфейс SATA/SAS, а через более скоростную шину PCI Express

В дальнейшем разные типы дисков можно комбинировать в различные массивы (по скорости и емкости), например, логично расположить кэш и транзакционные логи приложений на скоростных NVMe SSD, медленные и недорогие диски лучше использовать для хранения больших файлов, доступ к которым не требует повышенной производительности и т.д.

Для работы S2D нужно организовать отказоустойчивый кластер, к узлам которого выдвигаются следующие требования:

Требования к узлам кластера S2D

— DataCenter
На серверах нужно установить следующие компоненты: роли Hyper-V, File Services и фичу Failover Clustering

Итак, предполагаем, что у нас уже собран отказоустойчивый кластер из двух серверов с Windows Server 2016 (можно собрать такой кластер даже в рабочей группе).

Перед тем, как включить Storage Spaces Direct, проверьте, что ваши диски можно объединить в такой пул.

Get-PhysicalDisk –CanPool $True | Sort Model

Включаем Storage Spaces Direct

Активируем S2D с помощью командлета:

Командлет отрабатывает довольно долго (около 10 минут), в течении которых будет проанализированы все доступные диски и их производительность, и автоматически создан кластерный пул. Также автоматически создаются два тира: Performance и Capacity с разным типом отказоустойчивости хранения: mirror и parity соответственно.

Всего поддерживаются 3 типа организации отказоустойчивого хранения данных:

• Mirrored (3) – данные синхронно реплицируются между 3 (или 2 в минимальной конфигурации) узлами. Высокая скорость чтения обеспечивается распределением операции между всеми серверами.
• Parity (2) – данные с хранением четности распределены между разными дисками. Данные хранятся более эффективно, т.к. не надо как в первом случае хранить несколько копий одних и тех же данных.
• Tiered (1) – используется комбинация обоих техник.

Примечание 1. В том случае, если при выполнении команды Enable-ClusterS2D появится ошибка «no disks with supported bus types found to be used for S2D», скорее всего тип шины (BusType) ваших дисков – RAID (что с точки зрения S2D – неподдерживаемая конфигурация). Проверим тип шины

Get-Disk | select Number, FriendlyName, OperationalStatus, Size, PartitionStyle, BusType | sort Number | ft -AutoSize Так и есть – во всех случаях это RAID. Решение — обновить драйверы/ firmware контроллеров (в случае серверов HP установить последний HPE Support Pack). Проверим тип BusType еще раз (теперь он сменился на SAS).Кроме того, есть небольшой трюк позволяющий в реестре изменить тип шины на SATA для нужного типа контроллера:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\arcsas\Parameters
«BusType»=dword:0000000b (вместо 00000008)Другие примеры использования командлетов PowerShell для управления локальными дисками приведены в статье Управление дисками и разделами из PowerShell.

Откроем консоль управления кластером и убедимся, что в разделе Storage новый появился Cluster Pool 1.

Выбрав пул, можно увидеть из каких дисков он состоит.

В случае необходимости, имя пула можно изменить:

Set-StoragePool –FriendlyName “Cluster Pool 1” –NewFriendlyName “S2D”

Если нужно создать том из определенных дисков, можно воспользоваться к примеру, такой командой. Сначала выбираем все диски с LUN 3, а затем собираем из них пул.

$HDDs = Get-PhysicalDisk | ? PhysicalLocation -like «*LUN 3»
New-StoragePool -StorageSubSystemFriendlyName *Cluster* -FriendlyName S2DPool -ProvisioningTypeDefault Fixed -PhysicalDisk $HDDs

Вывести список дисков в пуле:

Get-StoragePool -FriendlyName S2D | Get-PhysicalDisk | ft PhysicalLocation

Добавить в пул новый диск:

$HDDs = Get-PhysicalDisk | ? PhysicalLocation -like «*LUN 4»
Add-PhysicalDisk -PhysicalDisks $HDDs -StoragePoolFriendlyName S2D

Диски, помеченные как S2D, в консоли управления дисками более не отображаются, это нормально.

При наличии разнородных накопителей можно использовать тиринг (не обязательно). Тир типа зеркало из SSD дисков создается так:

New-StorageTier -StoragePoolFriendlyName S2D -FriendlyName «Mirror_Tier» -MediaType SSD -ResiliencySettingName Mirror

Тир из обычных HDD с хранением четности:

New-StorageTier -StoragePoolFriendlyName S2D -FriendlyName «Parity_Tier» -MediaType HDD -ResiliencySettingName Parity

Теперь можно создать том CSV (Cluster Shared Volume):

New-Volume –StoragePoolFriendlyName S2D –FriendlyName CSV001 –PhysicalDiskRedudancy 2 -FileSystem CSVFS_ReFS -Size 200GB

Список томов и типом избыточности можно вывести так

Get-VirtualDisk | ft FriendlyName, ResiliencySettingName, PhysicalDiskRedundancy

Новый CSV том появится в консоли управления дисками.

Данный том можно использовать для размещения виртуальных машин Hyper-V или сетевого хранилища Scale-out File Server.

Итак, при использовании Storage Spaces Direct из нескольких серверов с локальными дисками можно с легкостью создать программное сетевое хранилище данных. За счет технологии S2D обеспечивается как защита от одновременного выхода из строя любых двух дисков или двух серверов (4+ нодовый кластер). Кластер S2D автоматически запускает процесс перераспределения данных между оставшимися устройствами в случае обнаружения неполадок с дисками или серверами. В тестовой среде можно убедится, что при отключении двух любых дисков хранилище продолжает быть доступным, а ВМ, запущенные на нем штатно работают. Процедура замены неисправного диска в хранилище S2D описана в следующей статье.

Предыдущая статья Следующая статья

alt=»синхронизация данных в програмном raid 1 в windows» width=»58″ height=»56″ /> Программный RAID1 (зеркало) для загрузочного GPT диска в Windows 10/ Server 2016
alt=»установка hyper-v server» width=»58″ height=»56″ /> Установка и настройка Windows Hyper-V Server 2019 (2016)
alt=»Установка Windows отменена. Не удалось найти лицензионное соглашение.» width=»58″ height=»56″ />Не удалось найти лицензионное соглашение — oшибка установки Windows
alt=»wbadmin резевное копирование виртуальных машин hyper-v» width=»58″ height=»56″ />Резервное копирование виртуальных машин Hyper-V: текущие тенденции и решения

Штука, безусловно, хорошая — у нас есть десяток стареньких серверов с внутренними дисками. Их как раз можно объединить в логический массив S2D. Но вот то-что для этого Datacenter нужен, это не есть хорошо.

Согласен. Я тоже считаю что требовать за это лицензию Datacenter довольно опрометчиво, т.к. сильно сужает область применения технологии такого распределенного хранилища.
Применять Storage Spaces Direct смогут только крупные хостинг- и облачные провайдеры. А крупному корпоративному сектору она не будет интересна, т.к. почти у всех уже все заточено под внешние массивы с подключением через SAN или iSCSI.
Хотя использовать ее имеено для сборки такого оставшегося старья в одно большое хранилище было бы интересно…

Если Вы используете виртуализацию по полной то выходит все равно дешевле чем покупать хранилище, + меньше точек отказа. А если все совсем серьезно то покупать надо две схд, так все равно дешевле выходит, а для дома можно либо 180 дневную скачать либо торрент edition, что бы пощупать технологию.

Есть же Линуксовые продукты , типа freeNas . Из старых серверов можно собрать неплохие NAS .

А виртуальные диски для этого не подходят? Попробовал тоже самое VMware Workstation. При воде командлета Enable-ClusterStorageSpacesDirect. Ошибка нет подходящих дисков.

Проверьте, какой тип шины возвращается для этих дисков:
Get-Disk | select Number, FriendlyName, OperationalStatus, Size, PartitionStyle, BusType | sort Number | ft -AutoSize
+Диски должны быть неотформатированными…

BusType возвращается как SATA. PartitionStyle как RAW. Все равно выдает ошибку: имеет неподдерживаемый тип носителя

Выполнилие команду
get-physicaldisk
Убедитесь, что у диска отсуствет серийный номер (поле SerialNumber пустое). Он нужен, чтобы S2D собрал диски в пул.
Отредактируйте конфигурационный файл диска VMX и добавьте строку
disk.EnableUUID=”true”
Перезагрузите ВМ и убедитесь, что у диска появился серийный номер
После этого кластерное хранилище должно собраться

Доброго дня. Угуглился, решения так и не нашел. Не знаете ли вы решения как установить UUID для vhdx диска? Hyper-V на 2012r2, гость 2016.
Эксперементирую на виртуалках.

2Max
К сожалению, я тоже не знаю, как изменить UUID для виртуального диска. Опишите ваш сценарий, зачем вам понадоилась смена UUID, может смогу предложить какой-то другой вариант.

Хотел собрать S2D хранилище на виртуалках, проверить отказоустойчивость и тд и тп, прежде чем заказывать пару одинаковых VDS в датацентре.

Т.е. планируется перенос тестовой среды в продакш? Наверно придется добавить в S2D кластер новые диски / сервера, и после окончания синхронизации постепенно убрать старые диски их хранилища.

Планируется хотябы создать тестовую среду) Сейчас я этого не могу сделать, так как в S2D не добавляются диски, так как у них нет GUID. На ней провести тесты. Потом поднять аналогичный кластер на железе и перенести на него продакшн.
Но видимо придется все сразу делать на железе.

Чего хочу:
Взять 2 сервера DELL R640, нашпиговать ssd, в тч nvme + пара hdd и памятью.
Итого 5 raid1 на каждом сервер, SSD массив под системы, а 4 из них в S2D: , SSD под БД, SSD под хранилище Hyper-V, hdd под локальные бэкапы, 1 в резерве, возможно hot-swap или кэш, не определился еще.

На этих же серверах поднять MSSQL AlwaysOn, на них же запускать виртуальные машины.
По идее получу и HA и failover решение.

Был опыт сборки S2D стенда на базе виртуальных машин VMware с SCSI контролером в режиме Physical SCSI Bus Sharing. Соотвественно, нужно поменить один из виртуальных дисков как SSD (Vmware это умеет).

Интересая вещь, но подскажите:
Есть серверы, на каждом по одному контроллеру рейд.
Я захожу в конфигурацию — выставляю режим JBOD.
Вопрос: а куда мне ставить Windows, если у меня контроллер в режиме JBOD, на один из дисков, тогда не будет отказоустойчивости для диска с ОС!?

Да, отказоустойчивости хостовой ОС не будет. Желательно использовать RAID под диски ОС.

Т.е. отдельный RAID controller? Я ни разу не собирал в режиме JBOD, но я правильно понял, что нельзя их совмещать?
Но этот отдельный диск под ОС уже не будет участвовать в этом JBOD массиве?

JBOD и Raid взаимоисключающие вещи. Но скорее всего, раз ваш контроллер поддерживает JBOD, то и raid 1 как минимум он должен уметь создавать.
Зачем вам, собственно JBOD, понадобился?

Тут то и затык! Если собрать рейд 1 из двух дисков под ОС, а остальные диски оставить просто unassigned (или как-там называется? В разных контроллерах по разному), то Винда не даст собрать S2D, она не увидит дисков. А я надеялся на такой вариант.

Так что если хотим — S2D, то переводим контроллер в режим JBOD, получаем S2D, теряем отказоустойчивость для диска с ОС..

Или использовать встроенные средства ОС и собрать зеркало.

На серверах нужно установить следующие компоненты: роли Hyper-V, File Services и фичу Failover Clustering

а зачем роль Hyper-V на нодах? Впервые вижу что она нужна.
У кого получилось подня тест.стенд на ВМ под ЕСХи?

как бы оно для этого и делалось, чтобы на хостах виртуализации было общее отказоустойчивое хранилище для ВМ

Подскажите пжл, что делать если get-physicaldisk |ft mediatype Выдает Unspecified, на подключенные диски, и не хочет enable-clusterS2d ?
на этих же нодах до этого подключались iscsi диски, может с этим связано.

попробуйте задать тип диска вручную
Set-PhysicalDisk -UniqueId «hd-uid» -MediaType SSD
или
Set-PhysicalDisk -UniqueId «hd-uid» -MediaType HDD

+ CategoryInfo : InvalidOperation: (StorageWMI:ROOT/Microsoft/…_StorageCmdlets) [Set-PhysicalDisk], CimException
+ FullyQualifiedErrorId : StorageWMI 1,Set-PhysicalDisk

Если в пул объединять то -MediaType меняет, а просто у дисков нет.

дополню, после объединения дисков в пул, выполнил
Get-Physicaldisk | where size -gt 506870912000 | Set-PhysicalDisk –MediaType HDD
а уже после
Enable-ClusterS2D
все прошло.

Отлично, что разобрались и оставили решение здесь ��

Подскажите, пожалуйста, при включении S2D процесс зависает на 15%

Enable-ClusterStorageSpacesDirect -Verbose
Выполнено 0/1
[ ]
Включение локальных дисковых пространств кластера
Ожидание затребования физических дисков
[ooooooooooooooo ]

Enable-ClusterStorageSpacesDirect -Verbose
ПОДРОБНО: 2019/01/16-15:54:04.821 Подтверждение поддержки S2D на всех узлах
ПОДРОБНО: 2019/01/16-15:54:04.821 Запрос сведений о хранилище
ПОДРОБНО: 2019/01/16-15:54:05.680 Сортированные типы дисков (от быстрого к медленному): HDD. Число типов: 1
ПОДРОБНО: 2019/01/16-15:54:05.680 Подтверждение поддержки необходимого состояния кэша на узлах
ПОДРОБНО: 2019/01/16-15:54:05.696 Подтверждение поддержки необходимого состояния кэша всеми дисками
ПОДРОБНО: 2019/01/16-15:54:06.961 Отключение ресурса работоспособности
ПОДРОБНО: 2019/01/16-15:54:07.367 Создание ресурса работоспособности
ПОДРОБНО: 2019/01/16-15:54:07.524 Настройка свойств кластера
ПОДРОБНО: 2019/01/16-15:54:07.524 Задание сведений о состоянии домена сбоя по умолчанию в подсистеме кластерного
хранилища
ПОДРОБНО: 2019/01/16-15:54:07.633 Ожидание затребования физических дисков
ПОДРОБНО: 2019/01/16-15:54:10.649 Число затребованных дисков на узле «DEV-16-HC-001»: 0/14
ПОДРОБНО: 2019/01/16-15:54:10.649 Число затребованных дисков на узле «DEV-16-HC-002»: 0/6

В отчет тестирования кластера есть следующие строчки:

На узле «DEV-16-HC-002.apkholding.ru» найден диск с неподдерживаемым типом носителя. Поддерживаемые типы носителей: SSD и HDD.
На узле «DEV-16-HC-001.apkholding.ru» найден диск с неподдерживаемым типом носителя. Поддерживаемые типы носителей: SSD и HDD.

Перед этим по совету Василия я добавлял диски в пул и изменял тип командой

Get-Physicaldisk | where size -gt 506870912000 | Set-PhysicalDisk –MediaType HDD

В результате тип изменился на HDD, но S2D все равно не создается.

Судя по логу на первом сервере 14 дисков, на втором — 6. Возможно какие-то диски не поддерживаются. Диски физические или логические (вы не собирали из них RAID на уровне контроллера сервера?)
Что возвращает на обоих серверах команда
Get-PhysicalDisk –CanPool $True | Sort Model

В Server 2019 ужесточили требования к железу. Если посмотреть лог там будет что-то вроде «your hardware is not tested and not supported». Перед включением S2D попробуйте сделать следующее на каждой ноде кластера:
New-ItemProperty «HKLM:\SYSTEM\CurrentControlSet\Services\ClusSvc\Parameters» -Name S2D -Value 1 -PropertyType DWORD -Force

После этого заново запустите Enable-ClusterS2D. Хочу предупредить что это неподдерживаемое решение и не рекомдуется в продуктовой среде

Диски физические, подключены через RAID контроллер Adaptec 5805 в режиме jbod.

PS C:\Windows\system32> Get-PhysicalDisk –CanPool $True | Sort Model

FriendlyName SerialNumber CanPool OperationalStatus HealthStatus Usage Size
———— ———— ——- —————— ———— —— —-
Hitachi HDS722020ALA330 JK1131YAGB6DRV True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1131YAG0PAES True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1121YAG5RJDS True OK Healthy Auto-Select 1.82 TB
Hitachi HDS722020ALA330 JK1131YAG0MDLS True OK Healthy Auto-Select 1.82 TB
HITACHI HUS153014VLS300 JNVLAZLC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG3H8C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLPLHC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVES49C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG2X3C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVM00RC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVG8HMC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVK944C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLXHMC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JNVLYTJC True OK Healthy Auto-Select 136.81 GB

PS C:\Windows\system32> Get-PhysicalDisk –CanPool $True | Sort Model

FriendlyName SerialNumber CanPool OperationalStatus HealthStatus Usage Size
———— ———— ——- —————— ———— —— —-
HITACHI HUS153014VLS300 JFYUGUNC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYU9R7C True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYUGTTC True OK Healthy Auto-Select 136.81 GB
HITACHI HUS153014VLS300 JFYUNNNC True OK Healthy Auto-Select 136.81 GB
SEAGATE ST3146356SS 3QN4NGRS00009130KJU9 True OK Healthy Auto-Select 136.61 GB
SEAGATE ST3146356SS 3QN4Q51X00009130KJYH True OK Healthy Auto-Select 136.61 GB

Возвращает ли какие-то ошибки тест валидации кластера?
У меня была похожая проблема, в журнале встречалась ошибка Even ID 200 «Windows was unable to read the disk header for physical disk «.
В моем случае, оказалось, что хранилище не собиралось из-за того, что на трех серверах WS2016 была установлена в режиме Legacy, после переустановки ОС в нативном UEFI режиме проблема пропала.

Тест валидации показывает такие ошибки:
На узле «DEV-16-HC-002.apkholding.ru» найден диск с неподдерживаемым типом носителя. Поддерживаемые типы носителей: SSD и HDD.
На узле «DEV-16-HC-001.apkholding.ru» найден диск с неподдерживаемым типом носителя. Поддерживаемые типы носителей: SSD и HDD.

Железо старое, UEFI не поддерживается.

1) Есть ли ошибки в тесте:
test-cluster -include «Storage Spaces Direct»
2) Обновите по максимому firmware и драйвера (мать, контроллеры) на серверах.
Также возможно, что ваш контроллер просто не поддерживается S2D.
Требования к железу для S2D описаны в статье:
_https://docs.microsoft.com/en-us/windows-server/storage/storage-spaces/storage-spaces-direct-hardware-requirements

Количество дисков на нодах должно быть одинаковым. Иначе у вас будет использоваться только наименьшее количество дисков

Отказ двух дисков или двух серверов поддерживается только для лунов с резервированием Dual-Parity или Three-Way-Mirror. В остальных случаях — 1 диск/нода.
Еще хотелось бы сказать пару слов про файловую систему: если очень хочется использовать ReFS и держать виртуальные машины в кластере (HCI сценарий), необходимо чтобы количество лунов было равно количеству серверов, и необходимо сделать так, чтобы ВМ использующие некий лун должны располагаться на ноде владельце луна — при использовании ReFS CSV работает в режиме FileSystemRedirected, что означает: все операции записи на лун будут идти через его владельца

небольшой трюк позволяющий в реестре изменить тип шины на SATA для нужного типа контроллера:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\arcsas\Parameters
«BusType»=dword:0000000b (вместо 00000008)

— Не рабочий трюк.
Вот рабочий (get-cluster).S2DBusTypes=”0x100″

Спасибо! У меня кроме шины ещё MediaType был Unspecified, в итоге две волшебные команды помогли
Get-Physicaldisk | where CanPool -eq True | Set-PhysicalDisk -MediaType HDD
(get-cluster).S2DBusTypes=»0x100″

Спасибо огромное за статью!
Не знаете как по надежности данное решение?
особенно в сравнении с vmware vsan?

В моем окружении есть примеры внедрения как S2D, так и VSAN.
На мой взгляд VSAN навороченее и удобнее в управлении, но цена…
А как вариант подешевле S2D вполне себе ничего…

В целях изучения что-то не получается развернуть Storage Spaces Direct в Windows Server 2019 в виртуальной среде на базе VMware vSphere 7. При создании пула носителей возникает ошибка:

Не удалось создать пул носителей. Failover clustering was enabled for the storage object but it failed to come online.

В подробных сведениях неработающего кластерного пула следующая информация:

Устройство не опознаёт команду.
Код ошибки 0x80070016

Что я только не пытался делать, но ошибка всегда одна и та же.
Исходная информация, и что было проделано:
— в качестве физических накопителей выступают три Intel DC S3700 200 Gb (SSDSC2BA200G301);
— на всех накопителях созданы хранилища с VMFS 6;
— перебраны различные комбинации настроек Virtual Device Node (LSI Logic SAS, VMware Paravirtual), SCSI Bus Sharing (Physical, Virtual), Disk Mode (Independent — Persistent), Disk Provisioning (Thick Provision Eager Zeroed).

Не совсем понял конфигурацию.
Диски используются только под VMFS хранилища? Если да — нужно создать на них виртуальные vmdk диски через настройки ваших VM. Вы это сделали? Windows увидела тома?

А скажите пожалуйста, почему нужно отключать SMB 1.0 ?

Подскажите пожалуйста, если используется 3 сервера, и в них диски под S2D планируются такие:
в одном 4 SDD по 8TB
во втором 2 SDD по 2TB
в третьем 2 SSD по 1TB и 2 HDD по 2TB
то S2D соберется? Будет ли использоваться все пространство? Или нужно все диски разнести по серверам максимально равномерно?
Или как вообще правильно планировать размещение дисков на серверах под S2D?

Здравствуйте, есть 4 SATA высокоскоростных и 4 sas диска(2 сервера с такой конфигурацией), куда ставить ОС на какой диск? Чтобы отказоустойчивость была тоже??

Для системных дисков ОС не получится использовать s2d, она только для оказоусточйивого хранения данных.
Решите, можно ли взять два из ваших дисков под обычный raid1 для системного драйва.

Облако на Microsoft Hyper-V, часть 3: хранилище Storage Spaces

Сегодня расскажем, как устроено хранилище на базе Storage Spaces и с какими сложностями мы столкнулись при его построении.

Продолжаем серию статей о виртуальной инфраструктуре на Microsoft Hyper-V.

Сегодня расскажем, как устроено хранилище на базе Storage Spaces и с какими сложностями мы столкнулись при его построении.

Архитектура хранилища

Самой сложной задачей при создании облака Cloud-V оказалось создание быстрого программно-определяемой СХД на базе Microsoft Storage Spaces.

В основе хранилища — кластер на базе двух серверов Dell PowerEdge 730 с подключенным к ним дисковым массивом Dell PowerVault 3060e.

Архитектура Storage Spaces.

Вместо традиционной сети хранения SAN мы построили конвергентную локальную сеть с пропускной способностью 40 Гбит. В кластере развернули роль Scale-out-file server с поддержкой компонентов SMB Direct и SMB Multichannel.

SMB Multichannel позволяет балансировать подключения узлов вычислительного кластера к ресурсам хранилища при наличии нескольких сетевых адаптеров на сервере. Мы использовали сетевые адаптеры Mellanox ConnectX-3 Pro 40GbE, поддерживающие функцию ROCE (RDMA over Converged Ethernet).

Компонент SMB Direct использует ROCE для прямого доступа к памяти удаленного сервера, что снижает сетевые задержки. Приложения с одного узла обращаются непосредственно к памяти приложений на другом узле, минуя сетевой стэк операционной системы. В результате существенно ускоряется передача данных между узлами.

Взаимодействие приложения и дискового хранилища: без RDMA (слева) и с RDMA (справа).

Высокая производительность программно-определяемой СХД Storage Spaces достигается за счет использования разного типа дисков (SATA, SAS, SSD). Фактически у нас получилось многоуровневое хранилище, данные в котором распределяются по разным типам дисков в зависимости от интенсивности использования. Storage Spaces фильтрует данные и отправляет редко используемые на нижний уровень (HDD), а “горячие” данные – на быстрые SSD-диски на верхнем уровне. Такой тип хранилища позволяет более эффективно использовать ресурсы.

Запись и фильтрация данных в многоуровневом хранилище.

Проблема производительности хранилища на Storage Spaces

Чтобы получить такое умное хранилище и заставить его работать, нам пришлось повоевать. Проблема, с которой мы столкнулись, – низкая скорость обработки данных. Показатели записи SSD-дисков не превышали 100 Мбит/сек, что в 10 раз ниже необходимых для нормальной производительности. Проблема появилась сразу же при развертывании ВМ из шаблона: одна ВМ размером 10 Гб разворачивалась 30–40 минут, развертывание двух ВМ занимало порядка двух часов.

Подозрение пало на прошивку дисков: дефолтная не поддерживала одновременный доступ с разных нод кластера. После обновления прошивки развертывание нескольких ВМ перестало приводить к такому сильному падению производительности. Однако все происходило по-прежнему долго.

Мы продолжили искать проблему на самом нижнем уровне архитектуры и стали анализировать процесс обмена данными драйвера ОС с диском, а именно: чтение и запись секторов на диск. Существует два определения сектора: логический и физический. Логическим сектором оперирует драйвер операционной системы, физическим – непосредственно контроллер жесткого диска. В данное время жесткие диски делятся на три типа по соотношению размера логический/физический сектор:

• 512 Native – логический 512, физический 512;
• 512е – логический 512, физический 4096;
• 4096 Native – логический 4096, физический 4096.

Когда в пуле находятся диски одного типа, никаких проблем с создаваемым CSV-томом и располагающимися на нем файлами виртуальных жестких дисков нет. Проблемы начинаются, когда в пуле объединены диски разного типа. В нашем случае пул содержал 512 Native (SATA) и 512е (SSD) диски. Логично думать, что CSV-том будет создан с логическим сектором 512 байт. В реальности оказалось, что для вновь создаваемых ВМ разработчики установили по умолчанию создание CSV-тома с логическим сектором 4096.

В итоге получалась следующая картина:

Схема взаимодействия. Физический сектор учитывается только на уровне контроллера жесткого диска.

Сложилась ситуация, в которой у вышележащего диска логический сектор меньше, чем у нижележащего. Это привело к выполнению политики Read-Modify-Write: чтение сектора 4К в кэш, правка необходимых 512 байт, запись 4К обратно на диск. Как следствие, к катастрофическому падению производительности дисковой подсистемы во время записи в 8 раз.

Процесс записи 512-байтного сектора на носитель с 4096-байтным сектором.

Мы нашли два пути решения проблемы:

1. Пересоздание существующих виртуальных жестких дисков с размером логического сектора 4К. В итоге этот вариант нам не подошел, так как не все компоненты архитектуры поддерживают виртуальные диски, расположенные на томах с сектором 4096.
2. Миграция существующих виртуальных жестких дисков во временное расположение и пересоздание тома CSV с размером логического сектора 512. Этот вариант мы и выбрали. В таблице ниже показаны значения скорости до и после внедрения этого решения. В случае “после” проверка проводилась одновременным запуском тестирования DiskSpd на 15 виртуальных машинах.

Что впереди: Storage Spaces Direct

В рамках Windows Server 2016 вышла обновленная версия Storage Spaces – Storage Spaces Direct. Как обещает вендор, в новом решении устранены проблемы текущей реализации программно-определяемой СХД и есть новые возможности:

• Многопоточная дедупликация, которая позволяет выделять определенные ядра процессора на процесс дедупликации. В Storage Space сейчас доступна только однопоточная дедупликация на базе одного ядра процессора. Дедупликация в реальном времени невозможна, а сам процесс занимает много времени.
• Ребалансировка. Все данные можно перераспределять по томам. Это позволяет добиться большей производительности дисковой подсистемы. В Storage Space при добавлении новых жестких дисков в пул данные начнут попадать на добавленные жесткие диски только после заполнения изначально выделенных дисков.
• Различные варианты масштабирования. В Storage Spaces масштабирование происходит только путем добавления новых дисковых полок, что дорого и неудобно.

Мы уже начали экспериментировать со Storage Spaces Direct и в ближайшее время расскажем о первых впечатлениях. Задавайте вопросы в комментариях.