High Availability DDP

Hochverfügbare Scale-Out DDPs

Ein HA Scale-Out DDP besteht aus einem Dual DDP HA Head mit dem Ardis Virtual File System AVFS für die Metadaten.

Die Datenspeicherung erfolgt auf einem oder mehreren redundanten DDP Speicher-Arrays.

Das Dual DDP Head mit AVFS kann mit 3rd Party und Legacy Storage Arrays mit bis zu 200 GbE/s Bandbreite kombiniert und zwischen Desktops mit RoCE, FC, NVME-oF oder Infiniband verwendet werden. Weitere Details finden Sie auf der Seite Technologie. Da das Dual HA DDPHead AVFS intern die Spezifikationen, Möglichkeiten und Failover von AVFS verwendet, findet man weitere Informationen hierzu auch auf der Seite Dual HA AVFS Head.

Der Standardzugriff zwischen HA DDP und Desktops erfolgt jedoch über iSCSI/AVFS unter Verwendung von Ethernet. Ein Beispiel hierfür ist in den beiden Abbildungen dargestellt.

Scale-Out Dual HA DDP mit SSD-Cache und Festplatten.
Ab 5 GB/s je nach SSD-Packs und Arrays.
Fragen Sie uns nach anderen Konfigurationen und Preisen.

Scale-Out Dual HA DDP mit Festplatten
Hier mit 5 GB/s -oder mehr- , und Petabytes (PB) Kapazität.
Fragen Sie uns nach anderen Konfigurationen und Preisen.

HIGH AVAILABILITY DDP

Dual HA DDP Head
Contentdual MB each with dual 10GbE/RJ45, 10 GbE/SFP+, dual Xeon, 32GB
Maximum bandwidth5GB/s
Available PCIe slots2 x 2
SSD4 or SSD8 packs2 x 2 raid 1- SSDs hold the operating system
HD4 or HD8 packs-
Ethernet cards10GbE, 25GbE, 40GbE, 100GbE, 2PCIe slots each
FC cardson request
Infiniband cardson request
Other cardson request
DDP dimensions72 x 44 x 4,5(h) cm / 28.25 x 17.2 x 1.75 inch
DDP power usage1000W/2 x dual power supplies
Package dimensions97 x 76 x 22(h) cm / 38.2 x 29.9 x 8.7 inch
Package weight28 kg / 61.7 lbs / base system with rails in carton, packed
Remarkredundant HA DDP Controller

Die Tabellen zeigen die Spezifikationen. Auch redundante RAID-Arrays von Drittanbietern können bestellt werden.

High Availability DDP Speicher-Array

60 bay redundant array24 bay redundant array24 bay redundant array
ContentRedundant Dual 10, 25 or 40GbERedundant Dual 10, 25 or 40GbERedundant Dual 10, 25 or 40GbE
SSD4 or SSD8 packsSSD8 up to 8; 0.96, 1.92, 3.80, 7.68, 15.36, 30.75TB SASSSD8 up to 3; 0.96, 1.92, 3.80, 7.68, 15.36, 30.75TB SASSSD8 up to 3; 0.96, 1.92, 3.80, 7.68, 15.36, 30.75TB SAS
HD4 or HD8 packsHD8: up to 8; 4, 6, 8, 10, 12, 14, 16TB SASHD8: up to 3; 4, 6, 8, 10, 12, 14, 16TB SAS
DDP dimensions45 x 88 x 17,5 cm / 17.7 x 34.7 x 6.9 inch45 x 50 x 17,4 cm / 17.7 x 19.7 x 6.9 inch45 x 50 x 8,8 cm / 17.7 x 19.7 x 3.5 inch
DDP power usage460W / dual power supplies460W / dual power supplies460W / dual power supplies
Package dimensions115 x 67 x 63 cm / 45.3 x 26.4 x 24.8 inch59 x 78 x 47 cm / 23.2 x 30.7 x 18.5 inch59 x 78 x 34 cm / 23.2 x 30.7 x 13.4 inch
Package weight52 kg / 114.6 lbs without drives28 kg / 61.7 lbs without drives20 kg / 44.1 lbs without drives
RemarkHA storage arrayHA storage arrayHA storage array

Diese redundanten Speicher-Arrays sind Arrays von Drittanbietern, die für DDP zertifiziert sind und von Ardis Technologies geliefert werden. Die gezeigten Bilder sind nur Beispiele.

Skalierung der Kapazität

Das HA DDP kann mit Speicher-Arrays mit SSD- und HD-Packs unterschiedlicher Kapazitäten erweitert werden. Die Speicher-Arrays können dem DDP ohne Ausfallzeit hinzugefügt werden.

Skalierung der Bandbreite

Desktops haben gleichzeitigen parallelen Zugriff auf alle Speicher-Arrays. Durch Hinzufügen von Speicher-Arrays kann die Bandbreite schrittweise um 10 GB/s erhöht werden, abhängig vom hinzugefügtem Speicher-Array.

Das HA AVFS-Dateisystem ist ein Ethernet SAN System, das für die Medien- und Unterhaltungsbranche (M & E) entwickelt wurde.

M & E benötigt ununterbrochen hohe Datenraten für Audio-, Video- und Filmdateien über Ethernet. Dies kann nur mit Block IO (SAN) Datenzugriff gewährleistet werden. In Rechenzentren ist das Standardprotokoll hierfür oft iSCSI. iSCSI ist also eine perfekte Wahl.

Um den Speicher gemeinsam nutzen zu können (Shared Storage Server), wird ein Dateisystem/Metadatensystem mit folgenden Anforderungen benötigt:

  1. Es muss sich um ein einzelnes Dateisystem handeln, das unabhängig in Leistung und Kapazität skaliert werden kann.
  2. Es muss einen kleinen Footprint haben und in der Lage sein, Metadaten schnell und mit minimalem Overhead zu verarbeiten
  3. Dateisystem/Metadaten müssen unabhängig und getrennt von Datencontainern sein
  4. Es muss einen parallelen Datenzugriff zwischen Clients und Speicher-Arrays ermöglichen
  5. Es muss in der Lage sein, verschiedene Arten und Marken von Speicher-Arrays zu integrieren
  6. Es muss in der Lage sein, SSD- und HD-Packs mit unterschiedlichen Kapazitäten zu einem wettbewerbsfähigen Preis-Leistungs-Verhältnis zu integrieren
  7. Es muss über ein verzeichnis-/ordnerbasiertes System zur Verwaltung von Zugriffsrechten und Quotas verfügen
  8. Es muss über dateibasiertes SSD-Caching verfügen
  9. Es muss die Möglichkeit haben, Daten zwischen den Tiers transparent für die Kunden zu verschieben
  10. Es muss über eine transparente Daten- und/oder Metadaten-Failover-Fähigkeit für Schreiben und Lesen verfügen, die für die Kunden transparent ist.

Als Ardis Technologies feststellte, dass die auf dem Markt erhältlichen Dateisysteme diese Anforderungen nicht erfüllten, wurde die Entscheidung getroffen, ein eigenes System zu entwickeln. Seit mehr als 10 Jahren werden nun DDPs mit AVFS ausgeliefert und AVFS selbst hat sich zu dem entwickelt, was es heute bietet, einschließlich seiner Dateicaching- und Hochverfügbarkeitsfunktionen.

FAQ

Dual HA DDPHead 1U
Dual-HADDP-3rdParty

Um die höchstmögliche Datenbandbreite über ein Netzwerk zu erhalten, sollte die Verbindung keine Metadaten transportieren. Oder die Menge der Metadaten sollte kontrollierbar und so gering wie möglich sein. Dies ist möglich, wenn Daten und Metadaten getrennt voneinander behandelt werden können. Nur ein SAN-Dateisystem kann dies gewährleisten.

Ethernet wird von allen genutzt und ist somit bezahlbar. SCSI über Ethernet (iSCSI) ist ein etabliertes SAN-Protokoll. Ethernet-Karten und -Switches sind mit einer Bandbreite von bis zu 100 GbE/s zu erschwinglichen Preisen erhältlich. Die Installation eines Ethernet-SAN-Systems ist heutzutage einfach.

Leider können Open-Source-Dateisysteme wie XFS, ZFS und andere nicht einfach so eingestellt werden, dass sie M&E-Situationen gerecht werden.

Bei einem SAN-Dateisystem werden Daten und das Dateisystem (Metadaten) voneinander getrennt gehalten und verwaltet. Die Daten werden als Rohdaten in Data Locations gespeichert. Das Single File System AVFS befindet sich an anderer Stelle und enthält Informationen, auf welcher Data Location die jeweiligen Daten zu finden sind.

Ein einziges Dateisystem bedeutet, dass es nur einen Verzeichnis-/Ordnerbaum gibt, der den Zugriff auf alle Daten ermöglicht, egal wo sie sich befinden. Daten können zwischen Data Locations ohne Änderungen am Verzeichnis-/Ordnerbaum und transparent für die Benutzer verschoben werden.

Ein Namensraum (Name Space) beschreibt meist ein System, das mehrere Dateisysteme unter sich vereint. Ein solches System hat Einschränkungen bei der Skalierung, Kapazität und Datenbewegung.

Ja. AVFS ist ein Ethernet SAN System mit einem einzigen Dateisystem mit einem einzigen Verzeichnis-/Ordnerbaum. Der verfügbare Speicherplatz kann bis zu 100 % genutzt werden, und es gibt keine Vorabzuweisung. Wenn mehr physischer Speicherplatz hinzugefügt wird, wird dieser automatisch in AVFS verfügbar.

Die überwiegende Mehrheit der Systeme verwendet Caching auf Blockebene. Es gibt keine Möglichkeit zu wissen, zu welcher Datei die Daten gehören. Das grundlegende Kriterium für das Caching von Daten ist hierbei, wie oft Datenblöcke verwendet werden. Da sich Teile einer Datei im Cache befinden können und andere nicht, kann dies zu unerwarteten Unterbrechungen bei der Wiedergabe führen. Es gibt auch keinen Mechanismus zur Dateipriorisierung.

AVFS verwendet Caching auf Dateiebene. Die Caching-Technologie namens Dual Path ist in das AVFS-Dateisystem integriert. Bei der Wiedergabe kommt eine Datei entweder aus dem Cache oder von den Festplatten. Oder eine komplette Datei kann in den Cache kopiert/aufgenommen und auf die Festplatten dupliziert werden. Wenn die Datei nicht mehr im Cache ist, wird sie von den Festplatten abgerufen. Caching, Cache-Modus und Richtung sind pro Verzeichnis/Ordner wählbar.

Verschiedene MAM-Anwendungen profitieren, wenn ein Speichersystem Hard-Links unterstützt. AVFS unterstützt Hard-Links. Sowohl Hard-Links als auch das Single File System ermöglichen es MAMs und anderen Anwendungen, Hard-Links optimal in ihrem Workflow zu nutzen.

Bei vielen Systemen mit mehreren Knoten wird eine Datei in Blöcke aufgeteilt, die auf die Knoten verteilt werden, um die Bandbreite auszugleichen. In diesem Fall müssen alle Daten auf dem Desktop vorhanden sein, bevor eine Datei verwendet werden kann. AVFS hält eine Datei innerhalb einer eingegrenzten Data Location und ein Knoten kann mehrere Data Locations haben. So können auch kleinere AVFS-Setups noch vom Load-Balancing profitieren. Und zum Skalieren können Speicherknoten verschiedener Marken, Kapazitäten und Herstellungsdaten hinzugefügt werden.

Ein Folder-Volume stellt einen Ordner im Dateisystem dar. Die Daten von Dateien und Unterordnern mit Dateien, die im Verzeichnis eines solchen Folder-Volumes angezeigt werden, befinden sich auf einen oder mehreren Data Locations auf den Speicher-Arrays.

Diese Data Locations werden im Festplattendienstprogramm auf dem Mac und in der Computerverwaltung unter Windows angezeigt.

Auf dem Desktop von Mac und Linux werden Volumes angezeigt. Unter Windows befinden sich die Volumes unter „Dieser PC“. Diese Volumes sind Ordner, denen über das AVFS-Webinterface Volume-Eigenschaften zugewiesen wurden, sogenannte Folder-Volumes.

Auf dem Desktop auf dem Mac und unter Linux werden Volumes angezeigt. Bei Windows befinden sich die Volumes unter “Dieser PC“. Diese Volumes sind Ordner im Dateisystem, denen Volume-Eigenschaften zugewiesen wurden. Sie werden daher als Folder-Volumes bezeichnet.

Der Datenzugriff erfolgt parallel über eine oder mehrere Ethernet-Verbindungen und standardmäßig über das iSCSI-Protokoll.

AVFS ist ein einziges Dateisystem. Es ist getrennt von den Storage-Arrays mit den Data Locations, die es verwaltet. Ein Desktop hat parallelen Zugriff auf diese Speicher-Arrays, dessen Data Locations sich unabhängig voneinander verhalten. Die Gesamtbandbreite ist also die Summe der Bandbreite der Speicher-Arrays. Auch die Kapazität kann separat erhöht werden. Also ja, AVFS ist ein Scale-Out Dateisystem.

Fast alle Dateisysteme haben eine ACL pro Datei pro Benutzer. AVFS verwendet ACLs pro Ordner und Benutzer. Für fast alle Aktivitäten in der M&E-Branche ist die Eigenschaft eines Verzeichnisses/Ordners maßgebend. Die Verwendung von ACL für Verzeichnisse/Ordner vereinfacht die Handhabung von Zugriffsrechten.

HA DDP fällt für Benutzer, einschließlich MAM-Servern, transparent aus. DDP verwendet ein einziges Dateisystem mit einem Verzeichnis-/Ordnerbaum. Wenn sich der MAM-Server mit ddpvolume verbindet, sind nur (Unter-)Ordner zu beachten. AVFS unterstützt auch Hard-Links. Hard-Links in Kombination mit dem Single File System sind ideal für MAM-Systeme. Auch ohne Unterbrechung des Workflows können Bandbreite und/oder Kapazität erhöht oder Wartungen durchgeführt werden.

Der Ingest sollte in jeder Situation unterbrechungsfrei laufen und die Medien dabei sicher gespeichert werden. Mögliche Unterbrechungen können durch Probleme mit Hard- und Software oder Speicherplatten verursacht werden. HA DDP stellt sicher, dass bei einem Hard- oder Softwareausfall der Ingest während eines Fail-Overs ohne Unterbrechung weiterläuft. Darüber hinaus kann optional eine Data Location in Reserve gehalten werden, die verwendet werden kann, wenn eine der Festplatten innerhalb einer Data Location zu langsam wird.

Das Play-Out sollte unterbrechungsfrei sein. Daher ist es am besten, vom SSD-Cache auszuspielen und Cache-Material, das zum Ausspielen benötigt wird, mit der Option „Pinned“ zu speichern, damit es rechtzeitig im Cache zur Verfügung steht.

Für die Anmeldung können HTTPS und Zwei-Faktor-Authentifizierung verwendet werden. Das AVFS-Dateisystem verbleibt im DDP getrennt von den Daten und ist für Desktops nicht sichtbar. Die Benutzer sehen nur eine Darstellung, die für das gemountete Folder-Volume erforderlich ist. AVFS und iSCSI können physisch durch verschiedene Netzwerkanschlüsse und Subnetze voneinander getrennt werden. Bei Verwendung geeigneter Speicherplatten kann auch eine hardwarebasierte Festplattenverschlüsselung eingesetzt werden. AVFS ist ISO 27001- und MPAA-konform. Audit-Informationen werden während des Betriebs zusammengestellt und müssen nicht nachträglich generiert werden.

AVFS in Kombination mit einem Dual DDP Head kann zum clustern von iSCSI-, FC- und Infiniband-Speichersystemen verwendet werden, auch wenn das bevorzugte Protokoll iSCSI ist. Die Systeme fungieren dann als Datencontainer, die von AVFS verwaltet werden.

Ja, aber nur installiert auf einem Dual DDP Head. Ein Dual DDP Head kann in Kombination mit kapazitätsabhängigen Lizenzkosten erworben werden, um beispielsweise das Dateisystem eines Drittanbieters in einer bestehenden Umgebung mit bereits vorhandenen Speichersystemen zu ersetzen.

HA AVFS läuft unter Linux und unterstützt SMB. Es enthält standardmäßig den aktuellen Linux SMB-Server, der intern im Dual DDP Head über iSCSI angebunden ist. Bei Verwendung von SMB werden sowohl Daten als auch Metadaten über den Dual DDP Head geroutet, während iSCSI/AVFS parallel auf die Daten zugreifen. Bei Verwendung von SMB wird Scale-Out und transparentes Daten-Failover nicht unterstützt.

AD- und OD-Benutzernamen können importiert und synchronisiert werden. Die Authentifizierung erfolgt über AD oder OD. Zugriffsrechte und andere Attribute für diese Benutzer werden in AVFS erstellt und verwaltet.

Archiware P5 wird standardmäßig als Teil von AVFS geliefert. In einem kleineren Setup kann P5 verwendet werden, um einen Tape Streamer oder ein anderes mit SAS ausgestattetes Bibliotheksgerät zu steuern. Oder es kann als Client verwendet werden. Wenn HA AVFS verwendet wird, ist es am besten, einen separaten P5-Server zu verwenden und das HA AVFS ddpvolume über iSCSI/AVFS zu mounten.

Ja, es können SNMP-Server und andere Speicherüberwachungsgeräte verwendet werden.

HA AVFS ist eine Eigenentwicklung von Ardis Technologies. Dies hat den Vorteil, dass Probleme gelöst werden können, ohne dass eine andere Partei hinzugezogen werden muss. Dadurch ist eine kurze Reaktionszeit gewährleistet. HA AVFS ist Eigentum von Ardis Technologies, dem Hersteller von Dynamic Drive Pool, kurz DDP-Serie von Speicherservern.

Ein HA DDP wird mit HA AVFS ausgeliefert. HA AVFS wird vom Administrator über das Webinterface verwaltet. Obwohl es möglich ist, müssen die Benutzer nicht mit der Webinterface konfrontiert werden.

Ein HA DDP kann über DDP-Distributoren und -Händler erworben werden.

ICT-Unternehmen, OEMs und Integratoren, die am Erwerb eines speziell für M&E-Anwendungen entwickelten Dateisystems interessiert sind, können sich per E-Mail an uns wenden, siehe Kontakt.

Das HA AVFS-Dateisystem in Kombination mit dem Dual Head (ohne DDP-Logo) ist separat erhältlich.

High Availability DDPs