Hochverfügbare Scale-Out DDPs

Um die höchstmögliche Datenbandbreite über ein Netzwerk zu erhalten, sollte die Verbindung keine Metadaten transportieren. Oder die Menge der Metadaten sollte kontrollierbar und so gering wie möglich sein. Dies ist möglich, wenn Daten und Metadaten getrennt voneinander behandelt werden können. Nur ein SAN-Dateisystem kann dies gewährleisten.

Ethernet wird von allen genutzt und ist somit bezahlbar. SCSI über Ethernet (iSCSI) ist ein etabliertes SAN-Protokoll. Ethernet-Karten und -Switches sind mit einer Bandbreite von bis zu 100 GbE/s zu erschwinglichen Preisen erhältlich. Die Installation eines Ethernet-SAN-Systems ist heutzutage einfach.

Leider können Open-Source-Dateisysteme wie XFS, ZFS und andere nicht einfach so eingestellt werden, dass sie M&E-Situationen gerecht werden.

Bei einem SAN-Dateisystem werden Daten und das Dateisystem (Metadaten) voneinander getrennt gehalten und verwaltet. Die Daten werden als Rohdaten in Data Locations gespeichert. Das Single File System A/V FS befindet sich an anderer Stelle und enthält Informationen, auf welcher Data Location die jeweiligen Daten zu finden sind.

Ein einziges Dateisystem bedeutet, dass es nur einen Verzeichnis-/Ordnerbaum gibt, der den Zugriff auf alle Daten ermöglicht, egal wo sie sich befinden. Daten können zwischen Data Locations ohne Änderungen am Verzeichnis-/Ordnerbaum und transparent für die Benutzer verschoben werden.

Ein Namensraum (Name Space) beschreibt meist ein System, das mehrere Dateisysteme unter sich vereint. Ein solches System hat Einschränkungen bei der Skalierung, Kapazität und Datenbewegung.

Ja. A/V FS ist ein Ethernet SAN System mit einem einzigen Dateisystem mit einem einzigen Verzeichnis-/Ordnerbaum. Der verfügbare Speicherplatz kann bis zu 100 % genutzt werden, und es gibt keine Vorabzuweisung. Wenn mehr physischer Speicherplatz hinzugefügt wird, wird dieser automatisch in A/V FS verfügbar.

Die überwiegende Mehrheit der Systeme verwendet Caching auf Blockebene. Es gibt keine Möglichkeit zu wissen, zu welcher Datei die Daten gehören. Das grundlegende Kriterium für das Caching von Daten ist hierbei, wie oft Datenblöcke verwendet werden. Da sich Teile einer Datei im Cache befinden können und andere nicht, kann dies zu unerwarteten Unterbrechungen bei der Wiedergabe führen. Es gibt auch keinen Mechanismus zur Dateipriorisierung.

A/V FS verwendet Project Caching. Die Caching-Technologie namens Dual Path ist in das A/V FS-Dateisystem integriert. Bei der Wiedergabe kommt eine Datei entweder aus dem Cache oder von den Festplatten. Oder eine komplette Datei kann in den Cache kopiert/aufgenommen und auf die Festplatten dupliziert werden. Wenn die Datei nicht mehr im Cache ist, wird sie von den Festplatten abgerufen. Caching, Cache-Modus und Richtung sind pro Verzeichnis/Ordner wählbar.

Verschiedene MAM-Anwendungen profitieren, wenn ein Speichersystem Hard-Links unterstützt. A/V FS unterstützt Hard-Links. Sowohl Hard-Links als auch das Single File System ermöglichen es MAMs und anderen Anwendungen, Hard-Links optimal in ihrem Workflow zu nutzen.

Bei vielen Systemen mit mehreren Knoten wird eine Datei in Blöcke aufgeteilt, die auf die Knoten verteilt werden, um die Bandbreite auszugleichen. In diesem Fall müssen alle Daten auf dem Desktop vorhanden sein, bevor eine Datei verwendet werden kann. A/V FS hält eine Datei innerhalb einer eingegrenzten Data Location und ein Knoten kann mehrere Data Locations haben. So können auch kleinere A/V FS-Setups noch vom Load-Balancing profitieren. Und zum Skalieren können Speicherknoten verschiedener Marken, Kapazitäten und Herstellungsdaten hinzugefügt werden.

Ein Folder-Volume stellt einen Ordner im Dateisystem dar. Die Daten von Dateien und Unterordnern mit Dateien, die im Verzeichnis eines solchen Folder-Volumes angezeigt werden, befinden sich auf einen oder mehreren Data Locations auf den Speicher-Arrays.

Diese Data Locations werden im Festplattendienstprogramm auf dem Mac und in der Computerverwaltung unter Windows angezeigt.

Auf dem Desktop von Mac und Linux werden Volumes angezeigt. Unter Windows befinden sich die Volumes unter „Dieser PC“. Diese Volumes sind Ordner, denen über das A/V FS-Webinterface Volume-Eigenschaften zugewiesen wurden, sogenannte Folder-Volumes.

Auf dem Desktop auf dem Mac und unter Linux werden Volumes angezeigt. Bei Windows befinden sich die Volumes unter “Dieser PC“. Diese Volumes sind Ordner im Dateisystem, denen Volume-Eigenschaften zugewiesen wurden. Sie werden daher als Folder-Volumes bezeichnet.

Der Datenzugriff erfolgt parallel über eine oder mehrere Ethernet-Verbindungen und standardmäßig über das iSCSI-Protokoll. Auch SMB, FC und NVME-oF/RDMA.

A/V FS ist ein einziges Dateisystem. Es ist getrennt von den Storage-Arrays mit den Data Locations, die es verwaltet. Ein Desktop hat parallelen Zugriff auf diese Speicher-Arrays, dessen Data Locations sich unabhängig voneinander verhalten. Die Gesamtbandbreite ist also die Summe der Bandbreite der Speicher-Arrays. Auch die Kapazität kann separat erhöht werden. Also ja, A/V FS ist ein Scale-Out Dateisystem.

Fast alle Dateisysteme haben eine ACL pro Datei pro Benutzer. A/V FS verwendet ACLs pro Ordner und Benutzer. Für fast alle Aktivitäten in der M&E-Branche ist die Eigenschaft eines Verzeichnisses/Ordners maßgebend. Die Verwendung von ACL für Verzeichnisse/Ordner vereinfacht die Handhabung von Zugriffsrechten.

HA DDP fällt für Benutzer, einschließlich MAM-Servern, transparent aus. DDP verwendet ein einziges Dateisystem mit einem Verzeichnis-/Ordnerbaum. Wenn sich der MAM-Server mit ddpvolume verbindet, sind nur (Unter-)Ordner zu beachten. A/V FS unterstützt auch Hard-Links. Hard-Links in Kombination mit dem Single File System sind ideal für MAM-Systeme. Auch ohne Unterbrechung des Workflows können Bandbreite und/oder Kapazität erhöht oder Wartungen durchgeführt werden.

Der Ingest sollte in jeder Situation unterbrechungsfrei laufen und die Medien dabei sicher gespeichert werden. Mögliche Unterbrechungen können durch Probleme mit Hard- und Software oder Speicherplatten verursacht werden. HA DDP stellt sicher, dass bei einem Hard- oder Softwareausfall der Ingest während eines Fail-Overs ohne Unterbrechung weiterläuft. Darüber hinaus kann optional eine Data Location in Reserve gehalten werden, die verwendet werden kann, wenn eine der Festplatten innerhalb einer Data Location zu langsam wird.

Das Play-Out sollte unterbrechungsfrei sein. Daher ist es am besten, vom SSD-Cache auszuspielen und Cache-Material, das zum Ausspielen benötigt wird, mit der Option „Pinned“ zu speichern, damit es rechtzeitig im Cache zur Verfügung steht.

Für die Anmeldung können HTTPS und Zwei-Faktor-Authentifizierung verwendet werden. Das A/V FS-Dateisystem verbleibt im DDP getrennt von den Daten und ist für Desktops nicht sichtbar. Die Benutzer sehen nur eine Darstellung, die für das gemountete Folder-Volume erforderlich ist. A/V FS und iSCSI können physisch durch verschiedene Netzwerkanschlüsse und Subnetze voneinander getrennt werden. Bei Verwendung geeigneter Speicherplatten kann auch eine hardwarebasierte Festplattenverschlüsselung eingesetzt werden. A/V FS ist ISO 27001- und MPAA-konform. Audit-Informationen werden während des Betriebs zusammengestellt und müssen nicht nachträglich generiert werden.

A/V FS in Kombination mit einem Dual DDP Head kann zum clustern von iSCSI-, FC- und Infiniband-Speichersystemen verwendet werden, auch wenn das bevorzugte Protokoll iSCSI ist. Die Systeme fungieren dann als Datencontainer, die von A/V FS verwaltet werden.

HA A/V FS läuft unter Linux und unterstützt auch SMBI, FC und NVME-oF/RDMA. Es enthält standardmäßig den aktuellen Linux SMB-Server, der intern im Dual DDP Head über iSCSI angebunden ist. Bei Verwendung von SMB werden sowohl Daten als auch Metadaten über den Dual DDP Head geroutet, während iSCSI/A/V FS, FC und NVME-oF/RDMA parallel auf die Daten zugreifen. Bei Verwendung von SMB wird Scale-Out und transparentes Daten-Failover nicht unterstützt.

AD- und OD-Benutzernamen können importiert und synchronisiert werden. Die Authentifizierung erfolgt über AD oder OD. Zugriffsrechte und andere Attribute für diese Benutzer werden in A/V FS erstellt und verwaltet.

Archiware P5 wird standardmäßig als Teil von A/V FS geliefert. In einem kleineren Setup kann P5 verwendet werden, um einen Tape Streamer oder ein anderes mit SAS ausgestattetes Bibliotheksgerät zu steuern. Oder es kann als Client verwendet werden. Wenn HA A/V FS verwendet wird, ist es am besten, einen separaten P5-Server zu verwenden und das HA A/V FS ddpvolume über iSCSI/A/V FS zu mounten.

Ja, es können SNMP-Server und andere Speicherüberwachungsgeräte verwendet werden.

HA A/V FS ist eine Eigenentwicklung von Ardis Technologies. Dies hat den Vorteil, dass Probleme gelöst werden können, ohne dass eine andere Partei hinzugezogen werden muss. Dadurch ist eine kurze Reaktionszeit gewährleistet. HA A/V FS ist Eigentum von Ardis Technologies, dem Hersteller von Dynamic Drive Pool, kurz DDP-Serie von Speicherservern.

Ein HA DDP wird mit HA A/V FS ausgeliefert. HA A/V FS wird vom Administrator über das Webinterface verwaltet. Obwohl es möglich ist, müssen die Benutzer nicht mit der Webinterface konfrontiert werden.