Основные принципы хранения данных в системе Huawei OceanStore

0 голосов
просмотров 46
спросил пользователь GeFo 07 Июнь | категория: Компьютеры и т.п.
Основные принципы хранения данных в системе Huawei OceanStore

2 Ответы

0 голосов
ответил пользователь Сергей 07 Июнь

Основные принципы хранения данных в OceanStore

Системы хранения предоставляют пространство для хранения серверов приложений. Системы хранения OceanStor 5300 V3 / 5500 V3 / 5600 V3 / 5800 V3 / 6800 V3 используют технологию виртуализации блоков для поддержки динамического размещения и расширения ресурсов хранения в пулах хранения. Это сокращает время отклика для чтения / записи данных в пулах хранения и времени восстановления после сбоя диска.

Базовые концепты

Приступайте к работе со следующими основными понятиями.

  1. Дисковый домен: состоит из дисков одного типа или разных типов. Дисковые домены изолированы друг от друга. Поэтому службы, переносимые разными доменами диска, не влияют друг на друга с точки зрения производительности и сбоев.
  2. Пул хранения: контейнер ресурсов хранения, созданный в домене диска. Ресурсы хранения, используемые серверами приложений, - это все из пулов хранения. На основе носителя данных пул хранения может иметь три уровня хранилища, включая уровень высокой производительности, уровень средней производительности и уровень мощности.
  3. Уровень хранения: набор носителей данных, обеспечивающих такую же производительность в пуле хранения. Уровни хранения используются для управления носителями данных с различной производительностью и обеспечения соответствующего пространства для хранения приложений, имеющих разные требования к производительности.
  4. CHUNK: CK для коротких, последовательных физических пространств фиксированного размера на диске.
  5. CHUNK Группа: CKG для краткости, логический набор CHUNK на разных дисках. Группа CHUNK обладает свойствами группы RAID.
  6. Блочная виртуализация: новый тип избыточного массива независимых дисков (RAID). Блочная виртуализация делит диски на несколько CHUNK фиксированного размера и организует их в несколько групп CHUNK. Когда происходит сбой диска, в восстановлении участвуют все диски, на которых находятся другие CHUNK в той же группе CHUNK, что и CHUNKs на поврежденном диске. Это значительно увеличивает количество дисков, участвующих в реконструкции, устраняя недостатки в производительности при восстановлении традиционных групп RAID и улучшая скорость восстановления данных. Кроме того, блок виртуализации распределяет данные по всем дискам в системе хранения и использует возможности обработки ввода-вывода в системе хранения.
  7. Экстент. Объем - это логическое пространство для хранения с фиксированным размером, разделенным на CKG. Размер варьируется от 512 КБ до 64 МБ. Размер по умолчанию - 4 МБ. Экземпляр - это наименьшая единица (гранулярность) для сбора данных и сбора статистики данных о точках доступа.
  8. Зерно: в режиме файловой системы экстенты далее делятся на зерна. Размер зерна по умолчанию составляет 64 КБ. Зерна являются основными единицами, которые составляют файловую систему.
  9. Горячее резервное пространство: пространство, используемое для восстановления поврежденных блоков данных в блочной виртуализации. Когда CHUNK неисправен, система позволяет использовать CHUNK из горячего запасного пространства и инструктирует другие CHUNK в группе CHUNK выполнить восстановление данных с использованием горячего запасного пространства. Это обеспечивает целостность данных и производительность чтения / записи.
  10. Реконструкция: Реконструкция - это процесс восстановления данных, сохраненных на неисправном диске, до горячих запасных частей и замены кусков на неисправном диске горячими запасными кусками. Во время восстановления данных действительные данные и данные четности должны быть прочитаны и обработаны для восстановления данных, сохраненных на неисправном диске, в горячее пространство, обеспечивая тем самым безопасность и надежность данных. Традиционные технологии восстановления позволяют задействовать только все диски в той же группе RAID, что и неисправный диск. Технология RAID 2.0 + позволяет всем дискам в том же домене диска, что и неисправный диск, участвовать в реконструкции, повышать скорость восстановления данных и сокращать продолжительность восстановления данных.
  11. Квота. Администратор может указать количество файлов и размер места для разных каталогов. Функция управления квотами, разработанная Huawei, называется SmartQuota.
  12. Дерево квот: Дерево квот является корневым каталогом файловой системы. Можно управлять количеством файлов или дисковым пространством под квотой.
  13. Тонкая файловая система: тонкая файловая система является логическим пространством, доступным для хоста, который настроен с начальной производительностью при создании и динамически распределяет требуемые ресурсы хранения, когда его доступная емкость недостаточна.
  14. Толстая файловая система. Толстая файловая система является логическим пространством, доступным для хоста, которому выделяется фиксированная емкость ресурсов хранения в соответствии с емкостью, заданной при создании с использованием технологии тонкой настройки.

Пул хранения состоит из трех уровней хранилища. Каждый уровень хранения построен на одном и том же носителе.

Высокопроизводительный уровень состоит из твердотельных накопителей (SSD). Высокий уровень производительности обеспечивает высокую производительность при высокой стоимости. Он используется для хранения часто используемых данных.

Уровень производительности состоит из последовательно подключенных дисков SCSI (SAS). Уровень производительности обеспечивает высокую производительность при умеренных затратах. Он используется для хранения менее часто используемых данных.

Уровень мощности состоит из дисков Near Line SAS (NL-SAS). Уровень мощности обеспечивает умеренную производительность и большую емкость на диске при низкой стоимости. Он используется для хранения большого количества данных и редко используемых данных.

0 голосов
ответил пользователь Сергей 07 Июнь

Процесс виртуализации блоков

Система хранения разделяет носители на дисковых доменах в CHUNK. Каждый CHUNK имеет фиксированный размер, который не может быть изменен.

CHUNK на каждом уровне хранения настраиваются в группы CHUNK и горячие резервные CHUNK на основе политики RAID и политики «горячего резервирования», указанной в DeviceManager. Вы можете установить политику RAID и политику горячего резервирования для каждого уровня хранилища.

Политика RAID определяет уровень RAID и количество блоков данных и блоков четности в группе RAID.

Возможные значения политики «Горячие резервные»: Высокие и Низкие. Основываясь на указанном значении, система хранения устанавливает соответствующее количество CHUNK как горячее резервное пространство.

Система хранения делит CKG на экстенты на основе детализации миграции данных, настроенной на DeviceManager. Размер - наименьшая единица файловой системы. Экстенты могут варьироваться в зависимости от пулов хранения, но должны быть одинаковыми в одном пуле хранения. Файловые системы, используемые серверами приложений, состоят из экстентов.

Файловые системы, используемые серверами приложений, состоят из зерен. При создании файловой системы вы можете указать, что емкость файловой системы поступает из уровня хранилища. В этом случае файловая система состоит из зерен на уровне хранилища. В противном случае данные в файловой системе распространяются зерном на уровни хранения в пуле хранения.

Принцип работы SmartThin

Понимание принципа работы SmartThin может помочь вам в полной мере использовать пространство систем хранения. SmartThin обеспечивает режим управления хранилищем, который поддерживает распределение по требованию.


SmartThin применяется к следующим сценариям:

Основные системные службы, которые имеют высокие требования к непрерывности обслуживания, используют SmartThin для онлайн-расширения, обеспечивая непрерывные сервисы. Например, SmartThin применяется к финансовым системам.

Услуги, чей рост данных трудно предсказать, используют SmartThin для распределения физического пространства на основе требований, избегая потери пространства для хранения. Например, SmartThin применяется к службам электронной почты и веб-диска.

Смешанные службы, которые имеют разнообразные требования к хранению, используют SmartThin, чтобы конкурировать за физическое пространство для хранения и добиваться оптимальной конфигурации физического пространства для хранения. Например, SmartThin применяется к услугам операторов.

Процедура доступа к файловой системе сервера приложений

Создайте файловую систему. Система хранения создает файловую систему на основе введенного имени, емкости и количества и выбирает для нее пул хранения. После включения функции тонкой настройки файловой системы система хранения выделяет пространство для хранения файловой системы по требованию, исходя из возможностей сайта, используемых хостами.

Совместное использование файловой системы. После создания файловой системы вы должны создать общий ресурс, а затем совместно использовать файловую систему, чтобы серверы приложений могли обращаться к файловой системе. Файловые системы могут совместно использоваться в нескольких режимах. Укажите имена файловой системы и дерева квот для совместного использования. Общий каталог состоит из имени файловой системы и имени квоты. При совместном использовании файловой системы вы можете настроить значение квоты для дерева квот и задать объем хранилища и количество файлов квоты для оптимального использования ресурсов хранилища. Вы также можете установить разрешения для общего доступа (в том числе полный контроль, чтение и запись, только чтение и запрет) для пользователей или групп пользователей для обеспечения простого управления пользователями и обслуживания данных.

Используйте сервер приложений для доступа к общей файловой системе. Используйте сервер приложений для прямого доступа к общей файловой системе. Вы можете выполнять связанные операции, основываясь на своем разрешении на доступ.

Конфигурация квоты

Принцип работы SmartQuota: система хранения использует жесткие квоты (включая жесткие квоты емкости и файлов), чтобы ограничить максимальное количество ресурсов, доступных каждому пользователю. Процесс заключается в следующем: в каждой операции ввода-вывода записи проверяйте, превышает ли предварительно установленная жесткая квота накопленная квота (квоты использованной емкости и количества файлов + квоты увеличенной емкости и количества файлов в этой операции). Если накопленная квота не превышает заданную жесткую квоту, последующие операции могут быть выполнены. В противном случае операция ввода-вывода записи завершится с ошибкой. После того, как операция ввода-вывода записи разрешена, добавьте инкрементную емкость и количество файлов к ранее используемой емкости и количеству файлов. Затем обновите квоту (последняя емкость + количество последнего файла) и разрешите запись данных квоты и ввода-вывода в файловую систему. Операция ввода-вывода и обновление квот завершаются успешно или не выполняются одновременно, гарантируя, что использованная емкость является правильной в каждой проверке ввода-вывода.

Гарантируя правильность используемой емкости при каждой проверке ввода-вывода. Если квота каталога, квота пользователя и квота групп одновременно настроены в общей папке, в которой выполняются операции, каждая операция ввода-вывода записи будет ограничена тремя квотами. Вы должны проверить каждый тип квот. Если жесткая квота одного типа квот не проходит проверку, ввод-вывод будет отклонен.

904 вопросов

951 ответов

13 комментариев

29 пользователей

...