En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour vous proposer des services et offres adaptés à vos centres d’intérêts.FERMER  x
Pour en savoir plus et paramétrer les cookies...

Un patrimoine cartographique bien conservé à l’IGN

Pour archiver de manière hiérarchisée et sécurisée les dizaines de téraoctets d’images collectées et de cartes produites, l’IGN a adopté la solution de l’éditeur français Active Circle.

laisser un avis
Le service de l'information en ligne (Siel) est en charge de l'archivage des données cartographiques produites par l'Institut géographique national ainsi que de celles diffusées sur son site, le géoportail. Il doit ainsi gérer deux types de données : des images vecto­risées – les cartes – et des images raster, stockées aux formats Tiff et ECW (Enhanced Compression Wavelet). «  Les unités de production de l'IGN nous envoient leurs données sous la forme de SIP (Sub­mission Information Package) qui incluent les images, compressées au préalable au format TAR, et leurs métadonnées. Les flux sont bien sûr beaucoup plus importants pour les images raster », précise Yann Le Disez, le responsable du dépar­tement diffusion et archivage au Siel.
Yann Le Disez, responsable  du département diffusion et archivage au Siel,  division de l\'IGN
Yann Le Disez, responsable du département diffusion et archivage au Siel, division de l'IGN
« Le système est bien adapté à la croissance de nos besoins »
agrandir la photo
Auparavant, la division de l'IGN utilisait le système Doro­store conjointement à un cata­logue électronique des supports externalisés. Les temps d'archivage et de restauration étaient très longs. En 2007, pour faire face à la croissance exceptionnelle des informations à archiver (50 To jusqu'en 2007 et 25 To estimés à l'époque pour 2008), le Siel décide de changer de système et d'opter pour un archivage unifié, sécurisé et évolutif sur cartouche LTO (Linear-Tape Open). Pour cela, il lance un appel d'offres auquel répondent quatre intégrateurs.

LES BESOINS - S’adapter aux meilleures pratiques

Sur les quatre solutions propo­sées, celle que propose l'intégrateur Komposite remporte la faveur du Siel : c'est la plus à même de s'adapter aux développements spécifiques déjà réalisés auparavant. « Conformément à un appel d'offres européen ouvert, nous avions défini trois critères de sélection : la technique, le prix et les délais de livraison. Un intégrateur très renommé nous proposait une offre avec l'intégralité des briques du système, mais cela ne convenait pas car nous voulions un outil qui nous permette de conserver les briques que nous avions déjà produites », explique Yann Le Disez.
Le département archive en effet ses données selon des procédures bien définies au travers du modèle conceptuel OAIS (Open Archival Information System). Celui-ci impose notamment de réaliser, avant de procéder à l'archivage proprement dit, des paquets d'informations compressés – les fameux SIP – reposant sur un standard de compression ouvert, plutôt que de reposer sur les fonctions et capacités de compression propriétaires du système d'archivage. L'opération est donc réalisée au niveau des unités de production par un programme développé en interne.
Une capacité d\'archivage évolutive et sécurisée
Une capacité d'archivage évolutive et sécurisée
La volumétrie importante gérée par le système est due à la fois au volume de certains fichiers mais aussi à la conservation de plusieurs niveaux de version. Il est prévu que les données restent acces­sibles sur bande sur les deux sites.
agrandir la photo

L'ARCHITECTURE - Un système tolérant aux pannes

Deux NAS haute performance d'origine Exanet hébergent, selon des règles hiérarchiques définies (les temps de rétention sont différents en fonction des contenus) les données cartographiques qui pourront être consultées depuis le site. Parallèlement, ils servent de tampons pour l'archivage défi­nitif sur les cartouches LTO4 de la bandothèque Neo 8000 installée sur le site de Saint-Mandé. C'est le logiciel Active Circle qui gère le déplacement de ces données au sein de son système de cellules. Une cellule est consti­tuée d'un espace de stockage sur un des NAS (4 To de cache et 25 To de stockage opérationnel) et d'une partition de la bandothèque Neo 8000.
Pour assurer un haut niveau de tolérance aux pannes, le Siel a donc activé deux cellules sur son site principal ainsi qu'une troisième, synchronisée, s'appuyant sur une seconde bandothèque, sur son site distant de Villefranche-sur-Cher. De la sorte, et c'est là l'un des avantages d'Active Circle qui fonctionne de la même manière qu'un système en grappe, si l'une des cellules tombe en panne, le système continue à travailler sur les deux autres le temps de la réparation.

L'EXPLOITATION - Une étape de validation obligatoire

En pratique, la procédure est plus compliquée. Les fichiers soumis par les unités de production et prêts à archiver sont déposés depuis les serveurs de production dans des répertoires de ressources partagées situés sur les deux NAS. Ces répertoires sont scrutés en permanence par un agent logiciel, qui lance dans un premier temps un script de vérification du paquetage SIP (contrôle d'intégrité, validation des métadonnées). Si le lot est incorrect, un message de notification d'erreur est envoyé par mail et le fichier est mis en quarantaine : il ne passe pas à l'étape suivante et doit être regénéré par les unités de production. S'il est correct, Active Circle reprend la main et le fichier est « poussé » vers l'une des deux cellules princi­pales du système.

LES ECUEILS - Des processus internes contraignants

Bien que la solution d’Active Circle ait répondu en grande par­tie aux besoins du Siel, quelques points ont fait défaut. « La possi­bilité de suivre la clé d’intégrité MD5, qui accompagne le SIP, n’était pas intégrée dans Active Circle », regret­te Yann Le Disez. La fonction équivalente a finalement été réalisée avec le soutien de l’intégrateur. Un autre écueil concernait non pas Active Circle mais la limitation de capacité des cartouches : le système n’était pas capable d’archiver les fichiers de plus de 800 Go. Pour ces derniers, il a donc été prévu une décomposition en deux fichiers TAR sauvegardés sur deux cartouches. Ce qui n’est pas géré avec le mécanisme intégré du logiciel Active Circle mais, en amont, au niveau de la production du contenu.

Yann Le Disez, responsable du département diffusion et archivage au Siel, division de l'IGN

agrandir la photo

«  Le système est bien adapté à la croissance de nos besoins  »

Depuis la mise en production d'Active Circle, nous n'avons fait que corriger quelques petits bogues. Nous avons fait migrer toutes les anciennes archives, soit près de 50 To. Avec des flux d'entrée qui sont en moyenne de 1 To par semaine, nous disposons désormais d'environ 110 To de données archivées. Il nous arrive d'avoir à restaurer des fichiers, environ deux à trois fois par mois, avec une volumétrie qui dépend largement du besoin, très spécifique. Cela peut représenter une vingtaine de teraoctets par an. C'est la préparation des données et l'administration qui nécessitent le plus d'attention. Pour le reste, une fois le travail en amont réalisé, il suffit de pousser les données et de laisser les procédures d'archivage s'exécuter.

L’ entreprise étudiée

Institut géographique national (IGN)
ACTIVITE : production et ventes de cartes et de bases de données géographiques.
SIEGE  : Vincennes (94).
EFFECTIF : environ 1 700 salariés.
BUDGET 2008 : 143,1 M€


PROBLEME A RESOUDRE

  • Archiver l'ensemble des données géographiques du portail de l'IGN.


SOLUTIONS DEPLOYEES

  • Active Circle, logiciel de stockage et d'archivage de l'éditeur français éponyme. Bandothèques Neo 8000 d'Overland. Serveurs NAS Exanet.


DIFFICULTES RENCONTREES

  • Suivi des clés de sécurité MD5.
  • Archivage des fichiers de plus de 800 Go.


LES COUTS

  • 238 000 € pour l'ensemble de la solution.

 

envoyer
par mail
imprimer
l'article
@01Business_fr sur
à lire aussi
SUR LES MÊMES THÈMES
IOC : le nouvel or noir des cyberdéfenseurs
Peut-on sécuriser l’open-source ?
Heartbleed : que faire face à la faille de sécurité qui fait mal au coeur ? (vidéo)
Un second bug de Chrome permet d’écouter les conversations de ses utilisateurs
Trois minutes pour transformer une application Android en malware
Cybersécurité, 2013 a vu une explosion des vols de données à grande échelle
Les objets connectés seront le nouveau paradis des malwares
Etude Juniper et Rand : portrait détaillé du marché noir de la cybercriminalité
Google Glass : leur premier spyware prend des photos toutes les dix secondes
La protection des contenus 2.0 est arrivée
Le monde connecté de demain doit-il être centré sur la personne ou sur les objets ?
Des Anonymous, partis à l’assaut d’une banque, hackent le mauvais site…
La guerre de l’authentification est déclarée
La Snecma aurait été la cible d’une attaque du type point d’eau
Cybersécurité : il n’y a pas que la LPM dans la vie…
Valve ne vous espionne pas, il cherche à évincer les tricheurs
Kickstarter hacké, les données des utilisateurs ont été compromises
Google achète SlickLogin, une start-up qui sécurise les accès au Net par le son
Google achète SlickLogin, une start-up qui sécurise les accès au Net par le son