La Lettre d'Alex N°2

Juillet 2013

LTO / LTFS

Linear Tape Open / Linear Tape File System

Le consortium LTO, les lecteurs de bandes et cassettes

Un File Système sur bande ... La fin des sauvegardes traditionnelles

Novice

Notion de base à connaître.

Depuis l'origine de l'informatique, l'un des problèmes récurrents est le stockage des données à long terme et en grande quantité.

On peut regrouper ces moyens de stockage en 4 générations :

Les supports physiques : la carte perforée et le ruban perforé

Les supports magnétiques : la bande magnétique, la cassette, le disque dur et la disquette

Les supports optiques : les CD, les DVD et le Blu-ray

Les supports à mémoire flash : clé USB, carte SD et carte microSD.

Le plus ancien de ces supports est la bande perforée qui fut inventé en 1887 avec la Monotype, machine de composition pour l’imprimerie mais qui utilise rapidement le code Baudot et ses évolutions (code Murray, puis code Western Union normalisé en CCITT n°2) qui est un code binaire sur 5 bits, ancêtre de notre code ASCII ou ISOLATIN actuel. De ce code, nous est resté l’unité de débit de signal le Baud.

La carte perforée ayant elle été inventée en 1890 pour le système de dépouillement du recensement américain conçu par Herman Hollerith, c’est le domaine de la mécanographie.

La bande magnétique apparaît dans les années 1950 avec un format rapidement normalisé de 2400 pieds de long pour ½ pouce de large, l’enregistrement s’effectue sur 7 pistes (6 de données et une parité) puis sur 9 pistes pour stocker les caractères sur 8 bits avec une organisation des pistes soit linéaire soit hélicoïdale. La densité d’écriture initiale était de 556 puis 800 bpi soit une capacité pour ces bandes d’environ 16 Mo.

Actuellement c’est le support de bande qui concilie le meilleur TCO par Go en moyenne 10 % du coût du stockage sur disque dur d’entrée de gamme de capacité équivalente. Cependant son accès reste séquentiel et linéaire ce qui génère un goulot d’étranglement lorsque le volume et le nombre de sauvegarde devient trop important, contrairement aux disques dont l’accès est random et parallèle. Ce qui nécessite dans ce cas la mise en place de système de sauvegarde sur disque. Ainsi le temps de positionnement moyens sur une bande est de 75 s, contre 5 ms pour un disque et 0,1ms pour la technologie Flash (disque SSD où là il n’y a aucune pièce mobile).

La cassette magnétique apparaît en 1984 avec le modèle 3480 d’IBM et une capacité accrue de 200 Mo.

Et la librairie de cassettes (robotiques) apparaît en 1993 avec le modèle 3495 d’IBM.

Depuis 1984, les formats et les capacités des bandes ont bien évolué, il reste peu de famille de formats de bandes mais elles sont incompatibles entre elles :

3592 (ou jaguar) format propriétaire IBM

T10000 (ou T10K) format propriétaire ORACLE

Le plus diffusé : LTO créé par un consortium de constructeur en 1997 (à l’origine HP, SEAGATE, et IBM) intégré par les différents constructeurs de librairie de bandes y compris par IBM et ORACLE.

Avancé

Pour ceux qui veulent aller pluis loin.

Gamme LTO et RoadMap

Chaque modèle de lecteur LTO peut lire et écrire sur des bandes du format précédent avec les performances de celui-ci, relecture également du format n-2.

Gamme IBM 3590, 3592 et RoadMap

Chaque modèle de lecteur peut lire et écrire sur des bandes du format précédent n-1 et n-2 avec des performances et capacités accrues. Les cassettes 3592 existent en 2 longueurs, normale et économique pour diminuer le temps d’accès à la donnée sur bande. A partir du modèle TS1150 la connexion directe sur Ethernet du lecteur pour recevoir le flux des sauvegardes sera possible via le protocole FCOE.

Gamme ORACLE 9940, T10000 et RoadMap

.

Expert

Connaissances plus avancées pouvant surprendre même un expert.

LTFS Linear Tape File System (annoncé initialement par IBM comme Long Term File System)

Après des démonstrateurs présentés par IBM en 2008 et 2009 fonctionnant sur des PC Linux et Mac OS X.

Il s’agit d’un system de fichier hiérarchique autonome sur bande. LTFS nécessite au moins 2 partitions sur bande, les métadonnées sont stockées dans la première partition, les données sont stockées sur une seconde partition.

Une nouvelle manière de faire des sauvegardes : maintenant les bandes peuvent être partitionnées et réécrites partiellement comme un disque, de nouveaux usages sont à construire : la sauvegarde, l’archivage et la migration sur bande sans passer par le format tar.

4 lecteurs de bandes le supportent aujourd’hui :

LTO-5 et LTO-6 (d’origine IBM, HP ou QUANTUM)

IBM TS1140,

ORACLE T10000C

Soit la totalité des lecteurs milieux et haut de gamme.

Si le format des données sur bande est open et autonome les implémentations différent suivant les constructeurs :

IBM :

LTFS SDE (Single Drive Edition) seulement pour des lecteurs standalone

LTFS LE (Library Edition) pour toutes les librairies IBM

ORACLE :

StorageTek LTFS Open Edition seulement pour des lecteurs standalone

StorageTek LTFS Library Edition pour toutes les librairies ORACLE (en cours de developpement)

HP :

Store Open Standalone avec LTFS avec un GUI intégré à l’OS et transfert des données par Drag and Drop

Store Open Automation avec LTFS présente une librairie comme un filesystem ou chaque bande est un répertoire à la racine accessible nativement dans l’OS.

QUANTUM :

Quantum LTFS, pour des lecteurs standalone avec un GUI et transfert des données par Drag and Drop

Mais aussi une gateway NAS LTFS le Scalar LTFS permettant la sauvegarde en mode NDMP.

Différents produits dans le monde de la Vidéo utilisent LTFS :

Des Appliances :

Wrangler LTO-5 Offload Stations de la société 1 Beyond Inc

Pro-Cache de la société Cache-A

StongBox T1 et T3 (il s’agit de NAS LTFS) de la société Crossroads Systems

LTR-100Hs de la société FOR-A

Des logiciels :

BRU PE de la société Tolis

FlashNet de la société SGL

QStar Archive Manager,

YoYo de la société YoYotta

Atempo Digital Archive de la société Atempo

Des services de stockage dans le Cloud :

Stockage généraliste avec la société Arkivum

Stockage dédié à la vidéo avec la société T3Media

En bilan on peut dire que seul Linux (SLES ou REHL) Mac OSX et Windows sont globalement supportés pour utiliser LTFS et seulement IBM et HP supportent actuellement l’utilisation dans une librairie, ORACLE n’est qu’en cours de développement d’une telle solution limitée à leur version de Linux (OEL).

Aucun éditeur de logiciel de sauvegarde n’annonce aujourd’hui travailler sur l’écriture de bande au format. Seul Atempo l’utilise comme support d’archivage.

On voit donc apparaître de nouveau type de NAS, après NFS, CIFS et ZFS, il existe maintenant des NAS avec export de données en mode LTFS.

L’usage principal de ces nouveaux moyens est le domaine du Broadcasting du fait de la volumétrie qu’il génère.

En effet je vous laisse le plaisir de calculer le volume d’une heure de vidéo en format raw Full HD (aussi appelé 2K) ou mieux encore 4K ou 8K avec 30, 60 et même 120 images par seconde.