Какую технологию следует внедрить чтобы обеспечить высокую доступность систем хранения данных

Обновлено: 02.07.2024

Быстрый рост объема хранимых данных и, что еще более существенно, необходимость быстрой их обработки, побуждают производителей систем хранения данных совершенствовать свои решения. В частности — разрабатывать и внедрять новые технологии записи.

Ускорение доступа

Ускорить работу с данными можно разными способами. Один из путей, например, создание энергонезависимой памяти, которая будет сочетать в себе скорость работы оперативной памяти и и энергонезависимость.

Другой путь — поиск технологий, которые бы позволили создать устройства хранения, близкие по своим характеристикам к оперативной памяти.

Возможен и третий путь — изменение архитектуры самих систем хранения, которая позволит ускорить их работу за счет переноса части вычислений в сами СХД.

Перспективные технологии записи данных

Поиск новых методов записи и хранения данных идет в самых разных направлениях. Большая часть усилий тратится на совершенствование твердотельных накопителей, однако и жесткие диски имеют потенциал для совершенствования.

CNT (Carbon NanoTube) RAM. Модули CNT NVRAM от Nantero должны появиться в продаже в 2020 г. Эта память работает почти так же быстро, как DRAM, но потребляет меньшую мощность. Она считается наиболее многообещающим типом NVRAM для массового внедрения уже в 20-х годах.

FRAM (Ferroelectric RAM). Оперативная память, схожая с DRAM, но для энергонезависимости использующая слой сегнетоэлектрика: электрический диполь меняет полярность при воздействии внешнего электрического поля. Однако температурные факторы и электрические разряды приводят к тому, что со временем в такой памяти возникают сбои.

MAMR (Microwave Assisted Magnetic Recording). Технология микроволновой магнитной записи основана на усилении магнитных свойств головки диска при помощи генератора магнитного поля с использованием микроволн. Резонанс, возникающий во время работы генератора, усиливает магнитное поле головки, намагничивающей зерна специального материала пластины. Вектор намагниченности отклоняется от вертикальной оси, что, в сочетании с ферромагнитным резонансом, усиливает магнитное поле головки в 3-4 раза. Все это позволяет уменьшить размер магнитных доменов и, соответственно, повысить плотность записи.

MRAM (Magnetoresistive RAM). MRAM основана на магнитном состоянии ферромагнитного материала. Она не деградирует со временем и не подвержена влиянию температуры. Важнейшие преимущества MRAM — высокая скорость записи и чтения (сравнимая с RAM и превышающая флэш-память в 500 раз), длительное хранение данных (более 20 лет), неограниченное число циклов перезаписи, широкий температурный диапазон.

PCM (Phase-Change Memory). Энергонезависимая память с фазовым переходом позволяет создавать более долговечные носители, чем твердотельные накопители с их проблемой износа. На базе этой технологии созданы упоминавшиеся микросхемы Intel Optane. Она считается одной из самых перспективных технологий, по оценкам Reports and Data рынок памяти с фазовым переходом достигнет $46,52 млрд к 2026 г.

RRAM или ReRAM (Resistive RAM). Резистивная оперативная память считается одной из самых перспективных новых технологий памяти благодаря своей высокой скорости, низкой стоимости, повышенной плотности хранения, потенциальным приложениям в различных областях и хорошей масштабируемости. С помощью многоуровневых ячеек RRAM можно увеличить плотность хранения и снизить стоимость. Потенциальные области применения RRAM — безопасность, нейроморфные вычисления и энергонезависимые логические системы.

SRAM (Static Random Access Memory). Статическая память с произвольным доступом — полупроводниковая память, в которой каждый бит хранится в схеме с положительной обратной связью. SRAM имеет малое время доступа — примерно в четыре раза меньше DRAM, но она намного дороже.

Стоимость 1 гигабайта, $, хранимого по данной технологии

Источник: Yole Development, 2019

Второй фактор, определяющий возможности технологии — плотность записи, измеряемая в гигабайтах на квадратный дюйм.

Плотность хранения по данной технологии, Гбайт/кв. дюйм

Источник: Yole Development, 2019

Цитируемое исследование посвящено перспективам памяти MRAM. Как полагают в Yole, уже в ближайшие годы она существенно подешевеет и, одновременно, появится возможность создавать на ее основе более вместительные чипы. По обоим параметрам она не догонит DRAM, но приблизится к ее показателям. Можно предположить, что и другие технологии будут прогрессировать аналогичным образом. По крайней мере те, которые будут восприняты рынком.

Оперативная память DRAM работает быстро, но при отключении электричества все данные, находящиеся в этот момент в ее микросхемах, пропадают. Заполнить нишу между ОЗУ и постоянной памятью призвана энергонезависимая память, в частности — модули памяти NVDIMM (non-volatile dual in-line memory module).

Модули NVDIMM-N объединяют на одной планке микросхемы DRAM, флеш-память и конденсатор — при отключении электричества мощности последнего хватает на то, чтобы переписать информацию из DRAM в флеш-память. Емкость таких миксросхем — десятки гигабайт, время задержки — десятки наносекунд.

Модули NVDIMM-F состоят из микросхем флеш-памяти, обращение к которым происходит по шине DRAM. Возможная емкость — терабайты, но время задержки — уже десятки микросекунд.

Также разрабатывается спецификация NVDIMM-P, которая должна будет обеспечить поддержку интерфейса DDR5 и всех типов новых технологий памяти (MRAM, PCM, ReRAM и т. д.) на уровне интерфейса.

Преимущества энергонезависимой памяти наиболее очевидны в транзакционных приложениях и в приложениях с интенсивными вычислениями в памяти, таких как базы данных in memory, анализ потоковых данных. Поэтому неудивительно, что соответствующему рынку сулят быстрый рост. Как полагают в Grand View Research, в 2019 г. выручка от продажи микросхем NVDIMM составила почти $913 млн, с 2020 по 2027 г. она будет расти в среднем на 39,7% в год.

И сервер, и хранилище

Вычислительное хранение привлекает сегодня все большее внимание ввиду развития ИИ и приложений интернета вещей, которые требуют дополнительных вычислительных ресурсов. Тенденция перемещения этих ресурсов ближе к системам хранения наблюдается уже несколько лет и может получить массовое распространение, особенно в связи с развитием периферийных вычислений.

Данные — критически важный актив любого бизнеса. Компании используют данные, чтобы оптимизировать операции, усиливать свою конкурентоспособность и искать неочевидные взаимосвязи, которые позволят повысить прибыльность. Поэтому отказоустойчивость хранилища данных – важнейшая задача управления ИТ-системой компании.

Бизнесу требуются производительные распределенные файловые системы (ФС), способные обеспечить масштабируемость для растущих объемов данных, бесшовную интеграцию с аналитическими платформами и возможность расширения в рамках мультиоблачных архитектур. Увеличивается и количество приложений, генерирующих данные.

Управление ростом объемов информации и эволюцией ИТ-инструментов внутри компании — комплексный процесс. Если не опираться в нем на правильные и эффективные решения, данные могут оказаться изолированы в своих хранилищах, стать недоступными для поиска и анализа или просто пропасть.

Файловая система: роль, тип, задачи

Файловая система (далее будем называть ее ФС) выполняет роль связующего инструмента между хранилищем с прикладным ПО, которое использует данные, так как именно через нее осуществляется доступ к конкретным файлам. Приложения имеют в своем распоряжении только информацию об имени, размере и атрибутах необходимого им файла при запросе к БД.

Тип носителя, на котором записан файл, применяющаяся в его отношении структура хранения данных и ряд других важных параметров приложение получает от драйвера файловой системы.

ФС занимаются размещением и упорядочиванием файлов на носителе, создают, удаляют их и позволяют считывать, назначают и меняют атрибуты: размер, время создания и изменения, владелец и создатель файла, доступность только для чтения, скрытые, временные и архивные файлы, максимальная длина имени и так далее.

С их помощью также определяется структура файла, происходит поиск файлов, организуются каталоги для логической организации файлов. Одна из главных задач ФС — защита файлов при системном сбое, а также от несанкционированного доступа и изменения их содержимого.

Файловых систем довольно много: под различные платформы и ОС, а также под особые задачи, например под работу СХД.

Все эти соображения учитываются нами при разработке СХД и программного обеспечения для управления ими. Например, серьезный вызов появился перед нами в ходе работ по созданию собственного гиперконвергентного (HCI) решения AerodiskvAIR.

Гиперконвергентные ИТ-инфраструктуры или ГКС – формат, где в единой программно-аппаратном комплексе вендор поставляет сразу все элементы ИТ: север, сетевые компоненты и СХД, плотно интегрированные между собой.

Мы проанализировали рынок и требования современных файловых систем, и приняли решение разработать собственную. На этапе выбора архитектуры мы отказались от использования готовых опенсорс-решений под Linux-подобные операционные системы — ceph, gluster, lustre.

Мы поставили цель создать не решение под конкретный проект у заказчика, а собственный продукт, который можно будет легко тиражировать под разные задачи.Разработка заняла 2 года, после чегосвет увидела файловая система ARDFS –AerodiskFileSystem.

Структура ARDFS

ARDFS в рамках всех доступных нод кластера организует логический пул, включая в него все доступное дисковое пространство. Такой пул представляет собой разметку, то есть ноды с установленным ПО виртуализации ресурсов.

При добавлении ноды к кластеру они автоматически добавляются в общий пул ARDFS. Таким образом дисковые ресурсы автоматически становятся общими на весь кластер и доступны для хранения данных.

Такой подход позволяет добавлять и удалять ноды без какого-либо серьезного влияния на уже работающую систему. При возникновении необходимости ее можно масштабировать по модульному принципу.

Далее, поверх пула ARDFS создаются виртуальные диски (объекты хранения для ВМ) которые строятся из виртуальных блоков размером 4 мегабайта. Непосредственно на этих виртуальных дисках и хранятся данные.

При этом для организации отказоустойчивости используется модель RAIN(RedundantarrayofindependentNodes), то есть отказоустойчивость измеряется, автоматизируется и управляется, исходя из нод, а не дисков (RAID).

Кластер в нашей парадигме оперирует именно нодами, хотя RAID-подход также реализуем, например, для сценария работы со множественными отказами на маленьких кластерах.

Схемы отказоустойчивости: RFvs. EC

Система под управлением vAIR предусматривает две схемы отказоустойчивости.

Первая - Replication factor (RF) или простая репликация. Выполняется синхронная репликация между нодами с фактором 2 (2 копии на кластер) или 3 (3 копии).

Рассмотрим на примерес ВМ в 8 МБ и 4-мя нодами:

В случае отказа одной из нод (например, ноды №3, где содержится копия B1), данная копия автоматически активируется на ноде, где нет копии её копии (то есть копии B2).

Таким образом, виртуальный диск (и ВМ, соответственно) легко переживут отказ одной ноды в схеме RF-2. Очень надежная схема, а ее единственный, но ощутимый минус – маленький объем свободного полезного дискового пространства.

Итого получаем два набора по 4МБ, в каждом из которых лежит по два двухмегабайтных куска. Далее, для каждого из этих наборов вычисляется чётность объемом не более одного куска (т.е. 2-х МБ), получаем дополнительно + 2 куска чётности (A-P и B-P). Итого имеем 4x2 данных + 2x2 четность.

В случае отказа одной ноды (допустим, тоже третьей) упавший блок B1 будет автоматически восстановлен из чётности B-P, которая хранится на ноде №2, и будет активирован на ноде, где нет B-четности, т.е. куска B-P. В данном примере – это нода №1.

Это – базовое описание работы обеих схем. В кастомном решении собственной разработки есть наши авторские нюансы, которые демонстрируют возможности ФС для достижения высокого уровня отказоустойчивости СХД.

ARDFS: уникальные особенности

Прежде всего, отметим, что Erasure coding в ARDFSреализован с упором на высокий уровень гибкости.

Увеличение же числа кусков четности (Y) улучшает надежность виртуального диска. Чем больше значение Y, тем больше нод в кластере может выйти из строя. Само собой, увеличение объема четности снижает объем полезной емкости, но такова плата за надежность.

В рамках пула ARDFS можно использовать любые схемы отказоустойчивости и их комбинации.

Ниже приведена таблица сравнения нескольких схем RF и EC.

Второй важной особенностью ARDFS является самостоятельная синхронизация данных и метаданных, относящихся к хранению.

Стандартная синхронизация метаданных ФС с помощью внешней СУБД создает риски ситуации, когда в случае повреждения метаданных аналогично разрушаются данные ФС.

Подсистема синхронизации метаданных для ARDFS размещается абсолютно независимо от смежных подсистем. То есть ни одна другая подсистема в случае своего отказа не может повредить данные ARDFS.

В итоге, разработав ARDFS, мы получили гибкую и надежную файловую систему, дающую выбор, где можно сэкономить на емкости или пожертвовать ресурсами ради производительности. Также можно сделать хранилище сверхнадежным за умеренную плату, просто снизив требования к производительности.

В данной статье рассматривается определение целесообразности внедрения систем хранения данных, а также их классификация по функциональности и области применения.

Ключевые слова: информационная система, ресурсы данных, сервер, накопитель, систематизация данных.

В настоящее время актуальным является вопрос о целесообразности внедрения систем хранения данных в ИС, а также их классификация с точки зрения функционального назначения и области применения. Прежде чем определить тип наиболее подходящий в каждом конкретном случае системы хранения данных (СХД), следует определить целесообразность такого решения в целом. Чтобы сделать это, посмотрим на то, какие задачи способно оно решить и какие выгоды оно может принести в инфраструктуру предприятия.

Система хранения централизованное хранилище. Из этого следует целый ряд важных преимуществ:

более экономное потребление памяти;

высокая доступность данных;

простота емкости расширяемости хранения.

централизованный подход к управлению и мониторингу.

При использовании централизованного хранилища емкости могут быть выделены логически и изменяться в соответствии с растущими потребностями конкретного сервера. Кроме того, в случае централизованного хранилища, его емкость используется более рационально, равномерно распределяясь между серверами. Расширение возможностей хранилища, путем централизации гораздо проще: просто нужно добавить необходимое количество дисков в хранилище. Использование системы хранения данных также позволяет упростить и ускорить управление и мониторинг хранилища [1].

Внедрение современных систем хранения данных требуют значительных финансовых вложений и затрат во времени. С реализацией таких систем следует также учитывать, что существующая информационная системы, возможно, какое-то время будет работать в нештатном состоянии, что в свою очередь может привести к сбоям на предприятии. Для успешной реализации необходимо учитывать не только основные характеристики системы хранения данных, но и общую структуру всей информационной системы, которая, вероятно, претерпит значительные изменения в их организации. Несмотря на трудности в реализации, системы хранения данных может удовлетворить широкий спектр потребностей владельца информационной структуры. Когда рациональные затраты на внедрение подхода и техническое обслуживание возмещаются достигаемыми результатами из-за преимуществ использования системы хранения данных [1]. Организация в целях удовлетворения своих бизнес-процессов, как правило, использует самые последние серверные приложения. Современные серверные приложения, в свою очередь, для выполнения задач и достижения максимальной эффективности представляют высокие требования к информационной структуре организации. Эти требования распространяются не только на аппаратную мощность и производительность вычислительных ресурсов, но и степень отказоустойчивости, а также эффективность в распределении вычислительных ресурсов.

Важной функцией СХД является обеспечение доступности данных. Для многих организаций может быть жизненно-важной не только потеря данных, но и ситуация, в которой эти данные не доступны в течении относительно коротких периодов времени. Именно поэтому большинство решений по реализации хранения данных на сегодняшний день сосредоточены на использовании инструментов, которые могут увеличить процент безотказной работы. В условиях ограниченных ресурсов и бюджетов в области разработки решений следует также стремиться к максимизации использования вычислительных ресурсов и консолидация данных. Если необходимо, решение может удовлетворить возможности распределения физических емкостей хранения на виртуальные. Это позволяет более гибкое выделение дискового пространства и управление, в качестве хранилища и всей инфраструктуры [1].

Также одним из важных преимуществ для решений по внедрению системы хранения данных является обеспечение расширяемости структуры. В удовлетворении потребностей развития и расширения компании, соответственно, растет и компьютерный парк. Это требует соответствующего увеличения емкости системы хранения данных. Таким образом, эффективность решения определяется также наличием простой и гибкой системы расширяемости для системы хранения данных. Несмотря на все преимущества реализации сети хранения данных, оно сопровождается значительными затратами, и интеграция такой системы должна сопровождаться тщательным анализом существующей инфраструктуры и потребностей заказчика. В процессе создания системы хранения данных должно быть достигнуто оптимальное соотношение трех основных показателей: максимальности, доступности, максимальной производительности, минимальной общей стоимости.

Разделим условно виды организаций и развернутых в них инфраструктур на следующие типы: мелкие, средние и крупные, распределенные и охарактеризуем каждый из них. В этом случае, вспомним, что ключевой проблемой в реализации СХД является достижение баланса между максимальной доступностью, максимальной производительностью и минимальной стоимостью решения [2].

В данном контексте малая организация характеризуется небольшой информационной структурой с небольшим количеством пользователей. В общем случае универсальным рецептом может служить применение файлового хранилища, которое может быть доступно посредством файлового доступа. Такое решение не потребует серьезных изменений в инфраструктуре и будет наиболее эффективным с точки зрения стоимости и удовлетворения потребностей организации. Инфраструктура более крупного масштаба предполагает использование объединенных аппаратных ресурсов и решений. Кроме того, выбор зависит от критичности доступа и выделенного бюджета для реализации СХД.

В случае распределенной информационной структуры выбор должен непременно падать на FiberChannel сети хранения данных. Также физической средой передачи данных должна выступать оптическая сеть, позволяющая соединять распределенные центры обработки данных на максимальных скоростях и обеспечить высокий уровень доступности. Поскольку эти структуры часто используются крупными организациями, то факторы передачи данных в этом случае являются наиболее важными. Кроме того, бюджет, израсходованный на реализацию такой системы будет наиболее подходящим.

Таким образом, были рассмотрены и классифицированы различные способы организации систем хранения данных. В соответствии с типом доступа и методом организации сети хранения данных были установлены критерии отбора в отношении масштаба организации.

Основные термины (генерируются автоматически): хранения данных, системы хранения данных, систем хранения данных, сети хранения данных, внедрения систем хранения, организации хранения данных, реализации хранения данных, случае системы хранения, емкости расширяемости хранения, Использование системы хранения, емкости системы хранения, характеристики системы хранения, использования системы хранения, внедрению системы хранения, создания системы хранения, передачи данных, хранения централизованное хранилище, реализации сети хранения, организации систем хранения, современных систем хранения.

Система хранения данных (СХД) — это комплекс аппаратных и программных структур, необходимых для содержания информации, которая, как правило, поставляется в значительном объеме. Объекты, помещаемые внутрь подобной конфигурации, могут обладать самым разным форматом: от классических медиа файлов до объемных баз. В качестве основных носителей используются всевозможные гибридные решения, состоящие из SSD и HDD. Главные отличия СХД от обыкновенной компьютерной памяти — это внушительная архитектура, возможность объединения контейнеров для транспортировки в сеть, присутствие отладочного управленческого ПО, а также техники копирования, архивирования и виртуализации.

Сфера разработки систем для содержания и обработки данных предоставляет возможному пользователю внушительный выбор, позволяя ему выбирать нужные классы устройств, предназначенных для решения конкретных задач по индивидуальным характеристикам. Однако подобное разнообразие ассортимента конструкций существовало не всегда: отрасль развивалась постепенно, претерпевая огромное количество модернизаций, изменяясь под тот объем работы, который требовался человеку в определенное время.

Однако несмотря на наличие глобальных модификаций, сам принцип содержания остался неизменным. Физика полупроводниковых инноваций в конечном счете сводится к поиску новых научных достижений, обеспечивающих увеличение плотности транзисторов, размещенных на подложке. Схемы и микропроцессоры, взаимодействующие между собой, создают стройную систему, которая, кстати, пришла на смену модулям прошлого, состоящих из вакуумных ламп и отдельных электропроводящих элементов.

Как хранили данные раньше

Огромный технологический скачок рассматриваемая сфера совершила в течение последних 60-70 лет. За указанное время люди успели придумать, разработать и выпустить многочисленное количество устройств, применяемых для аккумулирования информации в рамках единого носителя. К их числу относились:

магнитные и перфорированные ленты;
барабаны;
диски;
оптические винты;
перфокарты.

Каждый прибор характеризовался собственным набором преимуществ и недостатков. Создание любого из них постепенно приближало исследователей к успешно используемой современной аппаратуре.

Носители данных, использующие перфорацию

Самый первый модуль, являющийся прообразом всех нынешних систем, предназначенных для сбора и обработки информационных контейнеров. Их главная особенность – наличие значительного числа отверстий правильной формы, расположенных прямиком на листовом материале. В качестве подложки может приобретаться буквально все, вплоть до специального тонкого картона. Наиболее широко они применялись во второй половине XX века. С течением времени были заменены новыми конструкциями, представленными в виде компактных, быстрых и удобных полупроводниковых, магнитных или оптических носителей.

Перфокарты

Перфорированные элементы – это оборудование, применяемое людьми задолго до изобретения первого компьютера. Они задействовались, например, в ткацких станках, часах-карильонах, обыкновенных шарманках и пр. Первый человек, задумавшийся об использовании таких аппаратов для хранения данных – Герман Холлерит. Он реализовал свою идею для обработки статистики, полученной во время переписи населения. Позже ему удалось перенести информацию на другие приложения – это открытие привело современную группу компаний IBM к периоду благополучия, длящемуся до сих пор.

Перфоленты

На первый взгляд, более практичные носители, которые, к сожалению, в бизнесе и на крупных предприятиях практически не применялись. Основные проблемы устройства (последовательный доступ, небольшая емкость и низкая скорость ввода/вывода) сильно мешали дальнейшему распространению. Узкие 5-колонные ленточки с 1857 года можно было найти на телеграфах, а их широкие аналоги на 24 колонки задействовались в электромеханическом калькуляторе, изобретенном порядка 80 лет назад.

Магнитные ленты

Виды и средства хранения данных начали преобразовываться в 1924 г., с момента создания катушечных магнитных носителей. Такое оборудование обладало сильными преимуществами, выгодно отличаясь от устаревших перфокарт практически по всем фронтам. Побуждением к совершенствованию технологии стало то, что уже в середине восьмидесятых годов прошлого столетия, емкости дисков измерялись гигабайтами, а работать с такими величинами могли исключительно накопители нового формата. За три десятка лет исследователи разработали огромное количество подобных модулей, однако самым распространенным стандартом стал LTO. Именно на такой основе выпускают многие современные картриджи.

Магнитный барабан

Промежуточный вариант способ решения спора между регламентом пошаговой записи и нуждой обеспечения доступа к данным, расположенным во внешнем устройстве. Произведен в 1932 г, а его создателем считается Густав Тучек. Такие конструкции эксплуатировались до 1980 г: ими комплектовались машины ЭВМ БЭСМ-6, а также ее современники.

Гибкие диски

Организация хранения данных: почему возникла необходимость в СХД

По результатам опросов бренда IDC Perspectives, до 23% от расходов в сфере IT уходит на операции по аккумулированию информационных контейнеров. Упомянутое положение дел обеспечивается чрезвычайно высокими темпами роста современного бизнеса: предприятия нуждаются в надстройках, способных сохранять и обрабатывать огромные потоки цифровых структур. Безвозвратная потеря каких-либо важных записей – это настоящая катастрофа, способная привести к краху даже самую успешную, и, казалось бы, непоколебимую корпорацию.

Факторы, способствующие развитию

Перед тем как начать разбираться с большим вопросом о том, что такое система хранения данных (СХД) в нынешнем формате, следует уточнить перечень причин, позволяющих говорить о чрезвычайной необходимости модернизации в целом:

Развитие конкурентоспособности многих фирм, а также сложные характеры внутри рыночного противостояния
Появление брендов, предлагающих решения для обустройства сеток предпринимательских учреждений.
Пользовательская нужда в адаптивных платформах, способных работать с аналитикой в различных формах.

Все перечисленные факторы сыграли чрезвычайно важную роль во всем процессе становления отрасли.

Сферы применения СХД

В 2021 году рассматриваемые классы устройств используются в максимально широком ассортименте самых различных сфер:

формирование отчетности;
выработка прогнозов;
бизнес-аналитика;
переход на электронный документооборот в правительственном масштабе и пр.

На самом деле, намного проще перечислить отрасли, в которых подобные конструкции использованы не были.

Требования

В 2008 г., компания ТИМ выполнила исследование, основной целью которого стало получение данных от пользователей о приоритетных характеристиках аппаратуры, применяемой для аккумулирования информации. Исходя из результатов сотен опросов, можно сделать вывод о том, что люди, приобретающие рассматриваемые структуры, выделяют следующий набор их претенциозных качеств:

функциональность;
совокупная стоимость;
прямые затраты;
объем потерь на издержках при содержании;
наличие рисков в плане обслуживания;
присутствие гарантийного пакета и пр.

Все указанные факторы подталкивают предпринимателей к приобретению новых, более удобных, качественных и надежных модулей.

Из чего состоит

Обозреваемые структуры всевозможного класса создаются из определенного и стандартизированного числа элементов:

носитель, выступающий в роли хранителя;
инфраструктура обеспечения доступа;
внутренняя группа дополнительной архивации и восстановления;
ПО для настройки и отладки;
сервис взаимодействия и диагностики.

Практически во всех случаях модели монтируются в классический шкаф (размером 19 дюймов), а их внешняя часть комплектуется наружными интерфейсами, отверстиями для коммутации портов, аккумуляторными батареями и пр.

Дисковые массивы

В конце 1990 года был создан уникальный коммерческий накопитель, полученный в результате объединения научных баз RAID и выпускаемых тиражом винчестеров. Незамысловатая логика устройств полностью соответствовала их физической конфигурации, а размеры одного такого контейнера могли варьироваться до 64 терабайт (конечно же, на современных аналогах). Впоследствии идея получила продолжение: дорогие и примитивные модули были заменены на легендарные версии 4200-ICDA, работа которых обеспечивалась мощностями 32-разрядного процессора.

Ключевые требования к СХД

Все системы обозреваемых классов предполагаются для использования в реальных, и достаточно непростых эксплуатационных условиях. Коммутацию к ним на практике осуществляют десятки и сотни серверов – этот фактор диктует основные условия, выдвигаемые к подобным интерфейсам:

надежность и отказоустойчивость;
доступность информации;
наличие средств настройки и управления;
производительность;
масштабируемость.

Конечно, существуют и другие качества, однако представлять их следует именно в таком перечне.

Типы СХД

Комплект из достаточно сложных технических устройств функционирует по собственным регламентам, отладкой которого первоначально занимается разработчик, а затем – пользователь.

Дисковые

Модули применяются для оперативного взаимодействия с информационными контейнерами и формирования промежуточных копий. В 2021 году практикуется использование таких версий:

для рабочих файлов;
для резервного копирования;
для долговременной архивации.

Все перечисленные виды storage-аппаратов обладают чрезвычайно широким набором сфер возможного применения.

Ленточные

Используются для создания вторичных дубликатов и архивированных структур. Как правило, поставляются в формате следующих категорий:

отдельные полноформатные накопители;
автоматические загрузчики;
ленточные библиотеки.

Аналогичным образом применяются практически повсеместно.

Варианты подключений СХД

Для коммутации жестких дисков, пребывающих в составе единого хранилища, задействуются все возможные внутренние интерфейсы:

Также оборудование подобного профиля комплектуется и внешними средами:

Еще есть узел взаимодействия между кластерами – Infiniband, также применяемый для получения доступа к рассматриваемым конструкциям.

Возможные топологии

Каждое стандартизированное хранилище состоит из набора некоторых активных элементов, обеспечивающих непосредственную функциональность всей аппаратуры:

модуль коммутации серверов;
емкости для хранения;
компоненты сейфовых сетей и пр.

Такая архитектура была разработана в середине девяностых годов прошлого столетия. Она обладает некоторым перечнем неотъемлемых преимуществ: сниженные затраты, простое управление, уменьшенный трафик локальных сеток, высокая степень готовности и отличная протекция.

Системы прямого подключения (DAS)

Модели Direct Attached Storage, коммутация которых выполняется непосредственно к серверной части всего построения. По сути, представляют собой разумный способ дискового расширения отдельно взятой ячейки, позволяющей пользователям взаимодействовать с конструкцией через сеть, в дистанционном, удаленном формате.

Устройства хранения данных, подключаемые к NAS

Накопитель, подключенный к сетевым настройкам, обеспечивающий файловый доступ к информации для сред LAN/WAN. Главные преимущества – высокая скорость развертывания, отлично организованные операции взаимодействия с контейнерами и возможность использования в узконаправленных секторах.

Структура блочного формата – отдельная сеть, служащая для организации доступа со стороны серверов и рабочих станций, отвечающих за мероприятия по обработке внутренних аккумулированных единиц. Благодаря наличию такого интерфейса, оборудование получает отличную готовность и хорошие параметры, связанные с интенсивностью осуществления запросов.

Решётка

Дополнительный вариант соединения, посредством которого создается архитектура с узлами, образующими регулярный одномерный решетчатый сервис. При этом каждое ребро полученного построения расположено параллельно наличествующей оси, и объединяет две смежных точки.

Кольцо

Сеть с такой топологией единообразно формирует все элементы, выстраивая их в окружность, коммутируемую каналами связи. Выход одного компьютера подключается к входу другого, а начав движение из одного места, сведения в итоге возвращаются в начало.

Центрально-распределенная система обработки и хранения данных

Каскадная решетка, основным предметным отличием которой являются элементы, с числом включений, варьирующимся в зависимости от топологических параметров всей конструкции. Используется в качестве принципиального модуля для создания распределительных структур, в формате сложных программируемых объектов.

Многоуровневая топология

Понятие Data multi tiering – наверное, один из самых классических аспектов процесса виртуализации. Первоначальный термин получил огласку в 1959 году, выступая в качестве обозначения виртуальной внешней памяти на дисках, расширяющих внутреннее контейнерное устройство, собираемое из магнитных сердечников. В рамках прогресса специалисты сумели создать сеть, состоящую из четырех отдельных уровней, на нулевом цикле которой монтируется классическая версия SSD. Далее идут быстрые узлы SAS, а затем – ленты.

Программный и аппаратный RAID

Все комплексы СХД, существующие и активно использующиеся в 2021 году, подразделяются на два класса:

Использование отдельного RAID-контроллера с собственным процессором и кэшируемой памятью.
Специализированное создание обеспечения, применяемого для расчета RAID.

Наиболее современным и качественным видом ПО считается именно программируемая структура. Например, в российском прайс-листе брендов, занимающихся поставками рассматриваемых архитектур, системы занимают до 20-30% от общей стоимости всей разработки.

Системы хранения информации на мировом рынке

Для того чтобы понять, что СХД – это элемент, обладающий по-настоящему весомой важностью во всемирном масштабе, можно просмотреть некоторые статистические показатели. Уже в 2018 году объем сектора составил порядка 5,9 млрд долларов, а, по прогнозам экспертов, ежегодный прирост отрасли колеблется в районе 24,53%. Таким образом, уже через несколько лет общая операционная прибыль сегмента достигнет планки в $17,8 – невероятные величины, даже в условиях повальной цифровизации абсолютно любых аспектов жизнедеятельности. Основными потребителями подобной продукции остаются классические дата-центры.

Российский рынок

По аналогичным показателям формируется и отрасль разработки и продажи систем хранения данных в Российской Федерации. Наша страна не отстает от мировых тенденций: объем профильного рынка еще в 2010 году достиг величины в 65 млн долларов.

Чрезвычайная динамика развития обусловлена молодостью большинства крупных фирм – отечественные создатели ПО и архитектур стремятся наверстать упущенные годы, постепенно зарабатывая авторитет на европейских и американских площадках. Сегодня подобными модулями пользуются не только традиционно крупные организации, но и бренды, представляющие различные отрасли малого и среднего бизнеса.

Основные этапы проектов создания хранилищ данных

Чтобы понять, что такое СХД на самом деле, следует просмотреть небольшую карту построения формаций:

Выбор носителя.
Создание технологии для оборудования ХД.
Построение логической модели.
Размещение информации из подобранных источников.

Конечно, каждый этап делится на огромное количество подкатегорий, обладающих различными нюансами. Мероприятия по формированию подобной конструкции отнимают множество времени, а проведением изысканий, как правило, занимаются специалисты с внушительным опытом практической деятельности.

Тенденции и перспективы

Компания Western Digital провела обширное исследование, основная цель которого – определение того, как именно будет развиваться вся отрасль СХД в обозримом будущем. Результаты, опубликованные в апреле 2020 года, выглядят приблизительно так:

увеличение численности ЦОД;
появление новых архитектур;
стандартизация ИИ;
способы простого развертывания периферийных устройств;
деление базовых компонентов структуры на дополнительные уровни;
появление инноваций в областях создания носителей;
формирование решений для унификации доступа к контейнерам и пр.

Конечно, представленные идеи – это всего лишь прогнозы, которые, однако, могут с высокой вероятностью перейти в реальную жизнь.

Сравнение технологий обмена данными

Понять прогресс всего рынка в целом можно, например, благодаря сравнительному анализу прошлых, базисных устройств, используемых для компиляции классических сеток, с нынешними веяниями и аппаратами отрасли. Нетрудно догадаться, что новые серверные базы, а также совершенные комплексы, достигли невероятных высот как в плане технических характеристик, так и в функциональности. Прошлые перфокарты и решетчатые сервисы все еще существуют на отдельных порталах, однако до их полной замены осталось совсем небольшое количество времени.

Система обработки и хранения данных: отказоустойчивость

Один из самых главных показателей, влияющих как на стоимость, так и на привлекательность модуля в глазах потребителя. Оценить его можно по двум основным коэффициентам.

RPO (recovery point objective)

Максимальный период, за который может быть потеряна сохраняемая информация в результате какого-либо катастрофического и неприятного инцидента. Грубо говоря, представляет собой границу, в рамках которой специалисты могут действовать для проведения восстановительных работ.

RTO (recovery time objective)

Промежуток времени, в течение которого конструкция остается недоступной после аварийной деактивации. Чем меньше показатель, тем больше ресурсов требуется на финансовое обеспечение всей сетки.

Резервное копирование

Возможность создавать вторичные копии и дубликаты с определенной частотой. Такими модулями комплектуются практически все современные структуры, так что его важность уходит на второй план.

Как выбрать

Хранение данных – это отрасль, характеризующаяся по-настоящему широким ассортиментом решений, каждое из которых подходит под индивидуальные параметры конкретной задачи. Чтобы подобрать качественную и эффективную в заданных условиях конструкцию, потребитель должен обратить внимание на некоторый перечень показателей: число серверов, наличие блочного и файлового доступа, количество контроллеров, форм-фактор дисков, планируемый годовой рост архитектуры и требуемый рабочий объем. Учитывая все величины, пользователь без труда совершит нужную и действительно стоящую своих денег покупку.

Читайте также: