06апреля

Как выбрать хранилище SAN для видео продакшн (Часть первая): Компоненты

 

Эта статья предназначена для первопроходца в мире SAN, который надеется быстро освоиться в материале.

 

Хранилище SAN - это критически важная часть продакшна или постродакшна как отдельного производственного процесса, требующего хранения видеоматериалов. Если вы абсолютно не знаете, что такое SAN (Storage Area Network), или вам нужен NAS (Network Attached Storage), то, пожалуйста, прочтите прошлые статьи на тему SAN or NAS:

 

 

Признаки что вам нужен SAN

Вот список проблем, которые SAN предназначен решать:

  • К одному и тому же видеофайлу одновременно требуется доступ нескольких компьютеров.
  • У вас есть команда из пяти или более рабочих станций.
  • Вы не можете позволить себе потерю кадров или задержки.
  • Вам необходимо централизованное хранение в серверной комнате.
  • Вы работаете как с Mac, так и с ПК (Windows), и даже с Linux, Android, iOS и т.д.
  • Вы зарабатываете достаточно денег, чтобы оправдать SAN.
  • Ваши данные критически важны.

В том и только в том случае, если все перечисленные выше условия выполнены, вам стоит задуматься об инвестировании в SAN. Например, если у вас есть двадцать рабочих станций, но им не требуется доступ к одним и тем же данным, значит SAN - перебор. Любой NAS или DAS будет лучше в этом случае.

С другой стороны, если вы соответствуете всем критериям, но не можете позволить себе SAN, тогда что-то не так с вашей бизнес-моделью!

 

 

Как выбрать правильного системного интегратора

Если вы хороший специалист по ИТ или сетевым технологиям, вы можете сами построить SAN. Это не так сложно (не похоже на создание камеры или программирование NLE с нуля). На самом деле, во многих случаях, если вы на полпути (имеете некоторый опыт работы в сети и у вас есть время и склонность к решительным действиям), это может стоить риска.

С другой стороны, 99% видеопрофессионалов не являются ИТ инженерами и не хотят беспокоиться о миллионах проблем, возникающих при настройке архитектуры сетевого хранилища. Лицо или организация, которые заставляют SAN работать, называется системным интегратором или просто интегратором. Их задача - изучить потребности вашего рабочего процесса в обозримом будущем и предложить подходящих поставщиков. Если вы заплатите им достаточно, они будут следить за установкой, а также нести ответственность за обслуживание.

Вот некоторые вещи, которые вы должны искать в хорошем системном интеграторе (не очень отличающийся от поиска хорошего сантехника):

  • Должны находиться в том же регионе, что и вы, поэтому они могут физически присутствовать при необходимости.
  • Должно иметь опыт установки хранилищ SAN для нескольких схожих с вашим объектов, в идеале к которым можно позвонить и научиться работы с системой.
  • Не должны быть аффилированы ни с одним поставщиком, то есть, никакого скрытого умысла. Это железобетонно.
  • Должны знать сетевую инфраструктуру изнутри. Если они не могут или не хотят отвечать на ваши вопросы, или если они говорят с вами поверхностно, избегайте их.
  • Должны предлагать упреждающие предложения. Если вы «просто еще один клиент» для них, то не становитесь их клиентом. Не поддавайтесь ложным обещаниям.
  • Они должны быть готовы рассказать вам, как построить SAN самому. Если у них есть «коммерческие секреты», это неправильно. В сетевых технологиях нет секретов, недоступных в Интернете, есть только опыт правильного использования.

Только вы можете решить, нужен вам системный интегратор или нет. Вот один из способов узнать: если у вас возникли проблемы с чтением двух статей по ссылкам в начале, и вы не поняли ни слова из того, что я написал в этой статье, то вам будет трудно без помощи хорошего системного интегратора.

 

Стоит ли строить SAN самому?

Вы не поймете насколько холодная вода, если не намочить какую-то часть тела. Поэтому настоятельно рекомендуется рассмотреть возможность создания SAN самостоятельно, прежде чем проконсультироваться с кем-либо. Это займет около недели исследований, но это будет неоценимо. Большинство из нас потерпят неудачу в этом начинании, но мы получим более широкую картину. На это есть две причины:

  • Вы знаете свой рабочий процесс лучше, чем кто-либо другой. Вы сможете говорить на языке, который вы сейчас понимаете.
  • Никто не сможет манипулировать вами. Чем больше вы знаете, тем более эффективней будет коммуникация с вашим интегратором.
  • Когда ваш бизнес вырастет и наступит время расширить или заменить ваш SAN, вы должны будете изучить намного больше информации.

 

Что необходимо для построения SAN?

Вы можете построить SAN с общедоступным оборудованием. Это самая легкая часть. Трудная часть - это программное обеспечение. Давайте разберем его до четырех основных разделов:

  • Хранилище
  • Сеть
  • Рабочие станции
  • Софт

Давайте рассмотрим каждый раздел по очереди. Помните, что основная причина, по которой построение SAN считается сложным, состоит в том, что на каждом шагу слишком много вариантов. Это похоже на шахматы, где один ход может иметь несколько разветвлений вниз по линии, которую вы не можете даже увидеть в данный момент.

 

Хранилище

Многие ошибочно полагают, что SAN - это просто хранилище. На самом деле, это все, что находится в сети (Storage Area Network, помните?). Хранилище - это всего лишь одна часть SAN.

 

Как оценить требования к хранилищу

Вам нужны накопители для хранения данных. Поскольку данные будут доступны одновременно, вам потребуется быстрое хранилище. Единственный дешевый способ сделать это с избыточностью - это RAID.

Ваша SAN - рабочий зверь и не всегда требуется архивировать свои данные. Например, если вы работаете преимущественно с записью в 4K 25 fps ProRes 422 HQ, ваша скорость передачи данных для одного потока составляет 99 МБ/с. Если у вас есть несколько редакторов (скажем три), работающих над документальным фильмом с 200 часами отснятого материала, вам понадобится:

  • Скорость чтения 297 МБ/с для всего лишь одного потока для трех редакторов.
  • 68 ТБ свободного пространства.

Допустим, вы используете 6 ТБ 7200 об/мин диски, RAID 6. Вам понадобится 16 дисков (всего 96 ТБ), из которых вы получите 76 ТБ доступного пространства. Обычно сейчас мастер процесс понижается до 2К и скорости упадут до 142МБ/с на поток.

Если каждый накопитель может поддерживать 100 МБ/с, этот массив будет обеспечивать максимальную скорость чтения 1400 МБ/с (14 потоков на редактор). Это будет очень хорошо для рабочих процессов ProRes HQ.

 

Диски

Добро пожаловать в первый большой выбор. Мы приняли в расчет диски 7200 об/мин, но это не так просто. У вас есть следующие варианты: SATA III 6 Gbps, SAS 12 Gbps, SSD с тем же выбором, SSD NVMe.

SAS (Serial Attached SCSI) - это то, что используется на серверах, потому что по дизайну они должны быть самыми надежными. Они работают при более высоких напряжениях, благодаря чему вы можете использовать кабели SAS длиной до 10 метров, в то время как SATA может работать только до 1 м.

С другой стороны, диски SATA дешевле и имеют более быстрые версии (10 000 об/мин, 15 000 об/мин), которые почти полностью вытеснены агрессивно дешевеющими SSD.

Какой из них выбрать? Если вы создаете свой собственный SAN, тогда вам будет хорошо с SATA (если Backblaze может с ними жить, то и вы можете). Хорошие результаты показывают диски линейки Seagate Enterprise Capacity 3.5 объемом 6-10 ТБ.

SSD, в свою очередь, давно перешагнули виртуальную планку ненадежности и начали активно использоваться как кэш или горячий уровень хранения к основному массиву на жестких дисках, а то и как основное хранилище.

 

RAID контроллер

Чтобы получить 16 дисков, работающих вместе как часы, вам понадобится надежный аппаратный RAID-контроллер. Функции, которые нужно обратить внимание:

  • Контроллер RAID должен принимать 16 дисков.
  • Контроллер RAID должен поддерживать RAID 6/RAID 60.
  • SAS или SATA или оба в зависимости от обстоятельств.
  • Какие технологии интерфейса PCI он поддерживает.
  • Какую операционную систему она поддерживает (Сервер, скорее всего, будет работать на Linux).

Некоторые производители RAID-контроллеров: ATTO, LSI, Areca, Highpoint, Adaptec. Примером может быть ATTO ExpressSAS R608 8 Port Internal 6Gb/s SAS/SATA RAID Adapter with CacheAssure. У него есть ряд полезных технологий именно для видео продакшна, поэтому такие контроллеры и используются у большинства лидеров рынка хранилищ под видео, как например Dell EMC.

 

Материнская плата

Теперь вам нужно купить надежную материнскую плату, поддерживающую слоты PCIe 2.0 x 8, лучше два процессора Intel Xeon. AIC Libra - это отличное соотношение цены и качества, когда речь заходит о материнских платах и серверах. Если у вас есть подходящая материнская плата, вы можете найти к ней процессор и поместить в корпус. Размер корпуса (называемого шасси) зависит от размера материнской платы и количества дисков, которые должны находиться в ней. Кроме того, вам понадобится слот для загрузочного диска (в идеале SSD). Шасси 3U AIC SB302-LB на 16 дисков – очень популярный размер шасси для сетей SAN.

 

Избыточность

Вы уже используете RAID для избыточности данных. Но есть и другие виды:

  • Источник питания. Вам понадобится резервный источник питания, чтобы в случае сбоя SAN продолжал работать. Он, очевидно, будет использоваться в тандеме с ИБП и сетевым фильтром.
  • Модуль резервного питания батареи (BBM) для RAID-контроллера - предотвращает потерю данных в кэше, если есть сбой питания.
  • Дополнительные жесткие диски.
  • Оперативная память с поддержкой коррекции ошибок ECC.
  • Другой сервер (называемый резервным сервером), который может состоять в активном кластере с основным серверном как в том же шасси, так и в отдельном.

Вернемся к первой строке этой статьи. Если SAN не критически важен, это бессмысленно. Резервирование - это то, как вы гарантируете, что система продолжает работать в случае сбоя.

 

Сервер

Все компоненты вместе образуют сервер (компьютер, обслуживающий файлы по сети). Этот сервер предназначен для хранения и называется массивом хранения. Корпус обычно монтируется в стойке, поэтому он должен быть аккуратно размещен в хорошо охлаждаемой серверной комнате (здесь также стоит не забывать об избыточности охлаждения и пожаротушения). У сервера будут большие шумные кулера, чтобы он достаточно охлаждался. Процессоры будут работать 24 часа в сутки 7 дней в неделю. Каждая деталь должна быть подобрана таким образом, чтобы она соответствовала шасси и работала плавно. Прокладка кабеля выполняется аккуратно, чтобы обеспечить простоту технического обслуживания, когда (не если) происходит сбой.

На самом деле, все компоненты сервера рассчитаны на работу 24 часа в сутки и 7 дней в неделю, а в случае сбоя резервный сервер включается в работу. Занятое постпроизводство, которое сильно зависит от SAN требует не меньшего. Все, что требуется, чтобы сделать массив хранения избыточность и резервирование.

До сих пор мы строили наш массив хранения, и настало время перейти к более сложным вещам. Есть еще несколько частей, которые принадлежат к массиву хранения, которые мы опустили, потому что их легче понять как часть их собственных разделов.

Во второй части мы рассмотрим составные сети, рабочие станции и программное обеспечение. Мы также посмотрим, сколько стоит собрать все это вместе.

Posted in Статьи

06.04.17