Организация автоматизированного цифрового видеоархива на базе ПО XenData

Организация автоматизированного цифрового видеоархива на базе ПО XenData

Приложение Video Edition серии XenData Archive управляет автоматизированной ленточной библиотекой данных. Оно работает на платформе Windows Server 2003 и позволяет создать цифровой видеоархив, оптимально подходящий для задач, стоящих перед вещательной индустрией.

Приложение является высокопроизводительным, обеспечивающим многократную запись и чтение со скоростью, в несколько раз превышающей реальное время. К тому же оно не привязано к конкретным программно-аппаратным средствам, то есть построено как цифровой архив в виде стандартной файловой системы Windows, что позволяет использовать такую систему для множества различных приложений. В дополнение к этому, такой видеоархив легко наращивается от нескольких терабайт до более чем петабайта на каждый сервер.

В этой статье рассматриваются такие вопросы, как архитектура системы, выбор формата цифровой ленты, ленточной библиотеки и аппаратных средств сервера, а также варианты управления видеофайлами, обслуживание системы и обучение персонала.

Введение

Цифровое архивирование видео в телевизионном вещании обычно предусматривает использование систем со сложной архитектурой, специализированных форматов и таких же специализированных интерфейсов. В результате получаются комплексы, которые довольно сложно устанавливать и обслуживать.

Напротив, программное приложение Video Edition серии XenData Archive позволяет создать цифровой архив на платформе Windows Server 2003, отличающийся довольно простой и понятной архитектурой и стандартными интерфейсами. Приложение тесно интегрируется с операционной системой Windows Server, что означает высокую производительность в сочетании с простой и элегантной конфигурацией.

XenData Archive имеет стандартный интерфейс файловой системы, представленный в виде логического диска, обозначенного латинской литерой (стандарт для Windows). Приложение оптимизировано для работы со стандартным сетевым протоколом Windows (CIFS) или FTP для обмена файлами. Такой подход, исключающий специализированные программно-аппаратные средства реализации интерфейса, означает, что архив становится доступным для множества приложений и не привязывает пользователя к какой-либо системе управления активами или автоматизации.

В дополнение к стандартному интерфейсу файловой системы, приложение имеет и ряд других достоинств:

• файлы всех типов могут архивироваться в системе. Частичное восстановление файла из архива реализовано таким способом, что не зависит от типа файла;
• в системе использован стандартный формат TAR для записи на ленту хранения данных;
• все информационные сообщения, предупреждения об ошибках и сигналы тревоги заносятся в стандартный журнал Windows Event Log;
• система полностью соответствует модели обеспечения безопасности Microsoft на базе Active Directory. Это означает, что не требуется сложных процедур специального администрирования правами доступа к файлам.

Архитектура системы

Конфигурация сети цифрового видеоархива

Сервер цифрового видеоархива, на котором работает приложение XenData, представляет цифровую ленточную библиотеку и буфер на базе RAID-массива как единый логический диск Windows. Комбинированное хранилище, состоящее из ленточной библиотеки и RAID-массива, воспринимается сервером как магнитный жесткий диск очень большой емкости.

Базовая конфигурация сети показа на рисунке. Цифровая ленточная библиотека подключается к серверу через интерфейс SCSI или Fibre Channel. Буфер RAID может использоваться разными способами, например, как напрямую подключенный массив дисков SATA (вариант DAS) или как элемент SAN.

Приложение XenData Video Edition оптимизировано для перемещения больших файлов по сети посредством протокола FTP или стандартного сетевого протокола Windows CIFS. Поддерживаются и другие сетевые протоколы, но именно FTP и CIFS рекомендованы для достижения максимальной производительности при работе с приложениями обработки цифрового видео.

Сочетание управления активами и цифрового архива

Управление цифровыми активами (Digital Asset Management — DAM) обеспечивает индексирование цифрового материала, возможность поиска и извлечения необходимых активов. Система управления активами сохраняет индексированный материал в виде файлов, которые содержатся в одном или нескольких цифровых архивах видео.

Приложение XenData создает цифровой видеоархив, управляя цифровой ленточной библиотекой, буфером RAID и представляя эти физические устройства хранения как стандартные в смысле файловой системы Windows. Более того, приложение обеспечивает иерархическое администрирование хранилища, защиту данных путем копирования ленточных картриджей, возможности частичного восстановления файлов и их защиту.

И DAM, и цифровой видеоархив могут работать на отдельных специализированных серверах (см. рис.).

Система DAM и приложение видеоархива могут работать на разных серверах

Но для малых комплексов система DAM и приложение видеоархива могут работать на одном и том же сервере.

Аппаратные средства

Выбор формата цифровой ленты

До недавнего времени для удовлетворения потребностей в сфере профессионального цифрового видео требовались специализированные форматы ленты. Теперь ситуация изменилась, поскольку появились форматы среднего уровня, разработанные для общего применения в сфере IT. Они по своим параметрам даже превосходят требования, предъявляемые к носителям для хранения цифрового видео. Во всех передовых ленточных форматах этого типа используются очень стабильные материалы, а срок хранения картриджей достигает 30 лет. Это является большим преимуществом по сравнению с традиционными видеокассетами, которые могут храниться в течение гораздо более короткого времени.

Существует два лидирующих формата среднего класса, которые оптимально подходят для архивирования цифрового видео: SAIT и LTO-3.

Надо иметь в виду, что срок службы носителей LTO-3 может зависеть от конкретного производителя ленты, поэтому необходимо наводить справки в каждом случае.

Лента SAIT(Super Advanced Intelligent Tape — сверхсовременная интеллектуальная лента) была разработана компанией Sony и получила очень широкое распространение на рынке цифровых видеоприложений. Имея емкость 500 ГБ, она обеспечивает максимальный объем на картридж. Если запись выполняется с потоком 25 Мбит/с, то на картридж помещается 44,4 ч материала.

Лента LTO (линейная лента с открытым форматом), известная также под маркой Ultrium, сегодня выпускается уже в третьем поколении. Этот формат является наиболее распространенным на рынке информационных систем общего назначения и объединяет высокую емкость с очень большими скоростями обмена данными.

Картриджи LTO-3 имеют емкость 400 ГБ, что эквивалентно 35 ч записи материала с потоком 25 Мбит/с. Приводы записи/чтения картриджей выпускаются тремя компаниями: Certance, Hewlett Packard и IBM.

Ленточные библиотеки

Ленточные библиотеки под форматы картриджей SAIT и LTO-3 выпускаются различными производителями систем автоматизации, включая Breece Hill, Hewlett Packard, Overland Storage, Qualstar, Quantum, Rorke Data, Sony, StorageTek и Spectra Logic. Список ленточных библиотек, поддерживаемых в настоящее время приложениями XenData, находится на web-сайте компании.

Число приводов в библиотеке является важным параметром и основным фактором, влияющим на цену устройства. Есть несколько соображений, которые необходимо принимать во внимание при выборе библиотеки:

• для малых архивов с единственным приводом в библиотеке важно уделить внимание установке правил управления файлами, чтобы избежать ситуации, когда единственный привод становится «узким местом», что влечет падение производительности. Если используется только один привод, настоятельно рекомендуется использовать RAID-буфер большого объема. В этом случае конфигурируется только один комплект картриджей и следует так составить расписание копирования данных, чтобы оно выполнялось в то время, когда нет иной активности чтения/записи;
• если установлены два привода, проблема падения производительности становится куда менее острой по сравнению с системой на базе одного привода. Но даже в этом случае рекомендуется использовать только один сконфигурированный набор картриджей;
• библиотеки с тремя и более приводами рекомендуются для больших архивов. Приложение XenData способно «интеллектуально» управлять большим количеством приводов, позволяя одновременно выполнять запись и получать доступ к множеству файлов. Имея три и более приводов, администратор может сконфигурировать несколько наборов картриджей и сгруппировать при необходимости связанные файлы на одном и том же наборе картриджей.

Серверные аппаратные средства

Если на сервер, на котором запущено приложение XenData, записываются большие файлы, скорости передачи данных для операций чтения и записи обычно ограничены только пропускной способностью сети или ленточных приводов. Например, для конфигурации с приводами SAIT, сетью 1 GB Ethernet и установленными в сервере двумя процессорами с тактовой частотой 2,4 ГГц каждый установившаяся скорость передачи данных в более чем 30 МБ/с достигается без особых проблем.

Минимальные аппаратные требования к серверу также есть на интернет-сайте компании XenData. Даже сервер, соответствующий самым скромным требованиям, способен обеспечить довольно высокую производительность. Однако важно, чтобы сервер имел достаточный объем оперативной памяти (RAM). Минимальное значение для ОЗУ составляет 1 ГБ, но рекомендуется устанавливать 2 ГБ и более.

Требуемая емкость RAID-буфера очень сильно зависит от стратегии HSM (Hierarchical Storage Management — иерархическое управление хранением) и от правил резервного копирования данных, которые устанавливаются системным администратором. Тем не менее, для большинства приложений рекомендуется использовать буфер объемом не менее 1 ТБ.

Выбор правил управления файлами

Установка администратором правил HSM и защиты данных

Системный администратор определяет правила, в соответствии с которыми выполняется физическое размещение файлов данных в цифровом видеоархиве. Эти правила поддерживают иерархическое управление хранением HSM и автоматическое копирование данных со старых картриджей на новые.

Приложение серии XenData Archive поддерживает три основных уровня иерархии хранения:

• онлайновый, когда одна копия файла хранится в RAID-буфере, еще одна или несколько копий могут находиться на ленте (но не обязательно). В этом случае файл легко можно получить из буфера по сети;
• оперативный (near-line). В этом режиме как минимум одна копия файла находится на ленте в библиотеке и ни одной копии этого файла нет в RAID-буфере. Если файл, находящийся в оперативном архиве, запрашивается по сети, приложение XenData автоматически перемещает его с ленты в RAID-буфер. Как только начинается процесс переноса данных, файл становится доступным для передачи по сети;
• длительный (off-line). В этом режиме копии файла в RAID-буфере нет. Одна или более копий находятся на ленточных картриджах, которые не загружены в приводы библиотеки.

Защита данных достигается посредством автоматического создания нескольких копий одного и того же файла. Приложение XenData автоматически создает копии цифровых лент для длительного хранения вне ленточной библиотеки.

В случае конфигурации на базе единого сервера могут применяться иные правила, оптимизированные в соответствии с потребностями архивирования файлов разных типов. Типичный набор правил (политика) управления файлами в среде XenData иллюстрируется диаграммой. На стадии записи файла он сначала записывается в RAID-буфер. Как только файл успешно сохранен на дисках, он ставится в очередь на запись на основной ленточный картридж библиотеки. После выполнения этой операции получаются уже две копии файла — на диске и на ленте.

Диаграмма, иллюстрирующая политику управления файлами

Резервное копирование данных с картриджа на картридж является дополнительной (не обязательной) операцией и выполняется по расписанию, соответствующему задаваемой администратором политике. Для библиотеки с большим количеством приводов оно может быть запланировано так, чтобы начинаться сразу по истечении определенного периода времени или с определенной частотой. Другим вариантом может быть ежедневное копирование или в конкретно определенное время.

В результате этой операции файл записывается на один или более ленточных картриджей, после чего его можно удалить из RAID-буфера. После удаления бит атрибута offline этого файла устанавливается в соответствующее значение и сам файл остается доступным с картриджа, установленного в ленточную библиотеку. Бит offline, понятный операционной системе Microsoft, меняет периоды ожидания в сети, позволяя осуществлять извлечения файла с носителя, то есть время доступа увеличивается. Этот же бит изменяет стиль появления файла в окне Windows Explorer — к его образу-пиктограмме слева внизу добавляется изображение маленьких часов.

Файлы с активном битом offline в окне Windows Explorer

При чтении с ленты файл автоматически восстанавливается в RAID-буфер и одновременно становится доступным для передачи по сети.

Proxy-копии в онлайновом режиме

Приложение XenData сохраняет видеофайлы в RAID-буфере и на цифровой ленте в соответствии с правилами, установленными администратором. Эти правила устанавливают, как долго файлы будут оставаться в RAID-буфере, и время сохранения файлов в буфере может быть оптимизировано для различных типов файлов, которые помещаются в архив. Это означает, что есть возможность постоянно хранить копии низкого разрешения в RAID-буфере в онлайновом режиме, тогда как вещательный материал высокого разрешения может быть помещен в архив оперативного хранения — на цифровую ленту, загруженную в библиотеку.

Восстановление файлов из архива частично

Приложение XenData управляет очень большими файлами путем их контролируемой фрагментации. Администратор может дополнительно задать правила, в соответствии с которыми файлы разбиваются на несколько фрагментов. Это разбиение выполняется приложением XenData таким способом, что оно скрыто от приложений, выполняющих чтение и запись файлов. Оно, в частности, является полезным при работе с файлами размером в несколько гигабайт. В приложениях работы с цифровым видео часто возникает необходимость прочитать только часть очень большого файла. Например, можно представить чтение части файла общим объемом 20 ГБ, который архивирован, будучи разбитым на 40 частей по 500 МБ. В этом случае, если часть файла считывается с ленты, приложение дает команду приводу быстро найти начало первого фрагмента, содержащего требуемую часть файла. Затем система извлекает из архива только те фрагменты, которые содержат запрошенные данные.

Без такой управляемой фрагментации, обеспечиваемой приложением XenData, пришлось бы загрузить с ленты весь файл объемом 20 ГБ, что заняло бы достаточно длительное время. На практике этот подход, предполагающий контролируемую фрагментацию файлов, очень легко реализуем и существенно повышает производительность системы, особенно при работе с большими файлами.

Определение правил доступа к файлам

Приложение серии XenData Archive полностью интегрируется с моделью безопасности Microsoft Windows, которая базируется на Active Directory. Файлы и директории имеют устанавливаемые администратором атрибуты защиты аналогично тому, как это реализовано в файловых системах Microsoft. Так же реализуется и проверка прав доступа к ним. Это означает, что не требуется никаких специальных процедур для настройки правил доступа к информации.

Эксплуатационные вопросы

Обслуживание ленточных библиотек

Периодически возникает необходимость очистки приводов библиотеки, для чего используются специальные чистящие картриджи. Рекомендуется для каждой ленточной библиотеки иметь как минимум один такой картридж установленным в систему. Этот картридж должен располагаться в слоте для обычного ленточного картриджа, и когда возникает необходимость в очистке, привод автоматически выдает сообщение об этом, которое предлагает приложению XenData автоматически выполнить цикл очистки.

Приложение серии XenData Archive постоянно осуществляет мониторинг сообщений, выдаваемых ленточной библиотекой и ее приводами, в результате чего обеспечивает комплексный набор информационных, тревожных и предупреждающих об ошибках сообщений, сохраняемый в виде журнала Microsoft Event Log. Это очень удобно в смысле заблаговременного получения предупреждений о потенциальных проблемах с аппаратными средствами и носителями.

Записи в журнале Microsoft Event Log преобразуются в сообщения электронной почты и экранные предупреждения, для чего используется подпрограмма XenData Alert Module, входящая в состав приложения. Alert Module имеет пять предварительно сконфигурированных категорий событий, которые сформированы в соответствии с задачами оператора архива и персонала системной поддержки. Например, сообщение о том, что ленточная библиотека исчерпывает свободное место на картриджах, будет отправлено оператору. А вот сообщение о том, что имеются проблемы с работой ленточного привода будут адресованы соответствующему специалисту системной (технической) поддержки.

Обучение работе с системой

Приложение серии XenData Archive очень тесно интегрировано в операционную систему Microsoft Server. Главная консоль управления выполнена в виде стандартного окна Microsoft Management Console. Она имеет три основные секции, предназначенные, соответственно, для установки правил управления файлами, ленточными картриджами и для системной диагностики.

Протоколирование событий полностью интегрируется с системой управления компьютером Microsoft. Записи о событиях появляются в соответствующих секциях специализированного окна просмотра XenData Event Viewer. Атрибуты защиты файлов и директорий определяются аналогично тому, как это делается в стандартных файловых системах Microsoft.

Таким образом, любой администратор, знакомый с операционной системой Windows Server 2003, сможет освоить работу с приложением XenData буквально в течение нескольких часов.

Материал предоставлен компанией ProVideo Systems